多模态大模型

HyperTransport: Amortized Conditioning of T2I Generative Models

HyperTransport：T2I生成模型的 amortized 条件控制

Valentino Maiorca, Eleonora Gualdoni, Xavier Suau, Marco Cuturi, Luca Zappella, Pau Rodríguez

机构 * Apple（苹果公司） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 HyperTransport 通过超网络框架实现对T2I生成模型的amortized条件控制，结合连续可解释强度控制和跨模态条件，提升模型可控性与效率，验证结果在多个测试概念上优于传统方法。

PRPO: Paragraph-level Policy Optimization for Vision-Language Deepfake Detection

PRPO：用于视觉-语言深度伪造检测的段级策略优化

Tuan Nguyen, Naseem Khan, Khang Tran, NhatHai Phan, Issa Khalil

机构 * Qatar Computing Research Institute, Hamad Bin Khalifa University, Doha, Qatar（卡塔尔计算研究所，哈马德·本·哈利法大学，多哈） ； New Jersey Institute of Technology, NJ, USA（新泽西理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PRPO算法，通过段级相对策略优化提升深度伪造检测的准确性与推理能力，实验显示其在检测准确率和推理评分上均显著优于现有方法。

Comments Accepted at ICML 2026

Fine-tuning a vision-language model for fracture-surface morphology recognition

对骨折表面形貌识别进行视觉-语言模型的微调

Quanliang Liu, Jungtaek Kim, Kangwook Lee, Hyunseok Oh

机构 * Department of Materials Science & Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校材料科学与工程系） ； Department of Electrical & Computer Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校电气与计算机工程系） ； KRAFTON ； Ludo Robotics 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文通过微调开源视觉-语言模型，利用定制化的13168张骨折表面图像数据集，提升了对骨折表面形貌的识别能力，展示了在材料表征中的应用潜力。

How Far Are VLMs from Privacy Awareness in the Physical World? An Empirical Study

VLMs在物理世界中离隐私意识还有多远？一项实证研究

Junran Wang, Xinjie Shen, Zehao Jin, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 图文多模态 ：audio-visual(abstract)；分类 cs.AI

AI总结 本文通过实证研究揭示VLMs在物理环境中隐私意识的不足，提出ImmersedPrivacy框架评估模型在复杂场景中的隐私感知能力，发现现有模型在感知和隐私冲突处理上存在显著缺陷。

MSD-Score: Multi-Scale Distributional Scoring for Reference-Free Image Caption Evaluation

MSD-Score：多尺度分布评分用于无参考图像描述评估

Shichao Kan, Xuyang Zhang, Haojie Zhang, Zhe Zhu, Yigang Cen, Yixiong Liang, Lianlei Shan, Linna Zhang, Zhe Qu, Jiazhi Xia

机构 * School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； School of Computer Science and Technology and the State Key Laboratory of Advanced Rail Autonomous Operation, Beijing Jiaotong University（北京交通大学计算机科学与技术学院和先进轨道交通自主运行国家重点实验室） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Mechanical Engineering, Guizhou University（贵州大学机械工程学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出MSD-Score，一种无参考图像描述评估指标，通过多尺度分布评分方法量化语义差异，实现对局部 grounding 错误的透明诊断，优于现有无参考指标。

Comments Preprint. 17 pages, 10 figures. Code is available at: https://steinsgatesg.github.io/MSDScore/

Can Vision-Language Models Think from the Sky? Unifying UAV Reasoning and Generation

无人机视角下视觉语言模型能否思考？统一无人机推理与生成

Jintao Sun, Gangyi Ding, Donglin Di, Hu Zhang, Zhedong Zheng

机构 * Beijing Institute of Technology（北京理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61 分部） ； University of Macau（澳门大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出UAVReason数据集，用于研究无人机视角下的统一推理与生成，通过改进模型在高海拔场景下的表现，提升视觉语言模型在复杂环境中的能力。

Comments 21 pages, 12 figures, 7 tables

Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

视频主动感知：基于视觉-语言模型的高效推理时长视频理解

Martin Q. Ma, Willis Guo, Aditya Agrawal, Ankit Gupta, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MIT（麻省理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出视频主动感知方法，通过主动感知理论提升长视频问答性能，实现帧效率提升5.6倍，优于现有模型。

Comments ICCV 2025 workshop

CustomDancer: Customized Dance Recommendation by Text-Dance Retrieval

CustomDancer：通过文本-舞蹈检索实现定制化舞蹈推荐

Yawen Qin, Ke Qiu, Qin Zhang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 本文提出CustomDancer框架，通过CLIP文本编码器、音乐与运动编码器及音乐-运动融合模块，实现文本与舞蹈的多模态检索，提升舞蹈推荐的个性化与准确性。

Online Self-Calibration Against Hallucination in Vision-Language Models

在线对抗幻觉的视觉-语言模型自我校准

Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出OSCAR框架，通过蒙特卡洛树搜索和双粒度奖励机制在线校准视觉-语言模型，减少幻觉并提升多模态能力。

Comments IJCAI 2026

RosettaSearch: Multi-Objective Inference-Time Search for Protein Sequence Design

RosettaSearch：蛋白质序列设计的多目标推理时间搜索

Meghana Kshirsagar, Allen Nie, Ching-An Cheng, Fanglei Xue, Rahul Dodhia, Juan Lavista Ferres, Kevin K. Yang, Frank DiMaio

机构 * AI for Good, Microsoft Redmond（微软红mond AI for Good） ； Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； Institute for Protein Design University of Washington（蛋白质设计研究所华盛顿大学） ； Microsoft Research New England（微软新英格兰研究） ； Department of Biochemistry Institute for Protein Design University of Washington（生物化学系蛋白质设计研究所华盛顿大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 RosettaSearch通过大语言模型作为生成优化器，在受控探索与利用中改进蛋白质序列设计，实现结构保真度提升2.5倍，适用于多种LLM家族和独立结构预测 oracle。

A Multistage Extraction Pipeline for Long Scanned Financial Documents: An Empirical Study in Industrial KYC Workflows

一种多阶段提取流水线用于长扫描金融文档：工业KYC工作流的实证研究

Yuxuan Han, Yuanxing Zhang, Yushuo Wang, Yichao Jin, Kenneth Zhu Ke, Jingyuan Zhao

机构 * OCBC 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出多阶段提取框架，整合图像预处理、多语言OCR、混合页面级检索和紧凑VLM基于结构化提取，提升复杂多页文档的提取精度，实验证明在工业KYC工作中性能优于直接PDF到VLM基线。

QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding

QCalEval：用于量子校准图理解的视觉-语言模型基准测试

Shuxiang Cao, Zijian Zhang, Abhishek Agarwal, Grace Bratrud, Niyaz R. Beysengulov, Daniel C. Cole, Alejandro Gómez Frieiro, Elena O. Glen, Hao Hsu, Gang Huang, Raymond Jow, Greshma Shaji, Tom Lubowe, Ligeng Zhu, Luis Mantilla Calderón, Nicola Pancotti, Joel Pendleton, Brandon Severin, Charles Etienne Staub, Sara Sussman, Antti Vepsäläinen, Neel Rajeshbhai Vora, Yilun Xu, Varinia Bernales, Daniel Bowring, Elica Kyoseva, Ivan Rungger, Giulia Semeghini, Sam Stanwyck, Timothy Costa, Alán Aspuru-Guzik, Krysta Svore

机构 * NVIDIA ； University of Toronto（多伦多大学） ； IQM Quantum Computers（IQM量子计算机） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； Conductor Quantum（Conductor量子） ； National Physical Laboratory（国家物理实验室） ； Infleqtion ； Harvard University（哈佛大学） ； Fermi National Accelerator Laboratory（费米国家加速器实验室） ； Northwestern University（西北大学） ； EeroQ Corporation（EeroQ公司） ； Royal Holloway University of London（伦敦皇家霍洛威大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出QCalEval，首个用于评估视觉-语言模型理解量子校准图能力的基准测试，包含243个样本和87种场景类型，测试零样本和上下文学习下的六种问题类型，展示了不同模型的性能差异。

SnapGuard: Lightweight Prompt Injection Detection for Screenshot-Based Web Agents

SnapGuard: 基于截图的轻量级提示注入检测方法

Mengyao Du, Han Fang, Haokai Ma, Jiahao Chen, Kai Xu, Quanjun Yin, Ee-Chien Chang

机构 * National University of Defense Technology（国防科技大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对基于截图的网络代理面临的提示注入攻击问题，提出SnapGuard方法，通过视觉稳定指标和文本信号分析实现高效检测，达到F1得分0.75，速度提升8倍。

Comments 10 pages, 7 figures

DARC-CLIP: Dynamic Adaptive Refinement with Cross-Attention for Meme Understanding

DARC-CLIP：动态自适应细化与跨注意力机制用于表情包理解

Qiyuan Jin

机构 * The Hong Kong University of Science（香港科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出DARC-CLIP框架，通过层次化细化栈实现自适应多模态融合，提升表情包中多模态线索的建模精度，尤其在仇恨检测任务中取得显著提升。

Comments Accepted to IEEE ICASSP 2026. 5 pages, 3 figures, 4 tables

Is the Modality Gap a Bug or a Feature? A Robustness Perspective

模态间隙是bug还是feature？从鲁棒性视角

Rhea Chowers, Oshri Naparstek, Udi Barzelay, Yair Weiss

机构 * Hebrew University（希伯来大学） ； IBM Research（IBM研究院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文从鲁棒性角度探讨模态间隙的存在原因，发现减少间隙可提升模型鲁棒性而不影响清洁准确率。

Images Amplify Misinformation Sharing in Vision-Language Models

图像在视觉-语言模型中放大虚假信息的传播

Alice Plebe, Timothy Douglas, Diana Riazi, R. Maria del Rio-Chanona

机构 * Department of Industrial Engineering, University of Trento（特伦托大学工业工程系） ； Computer Science Department, University College London（伦敦大学学院计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究探讨了图像如何影响视觉-语言模型分享新闻内容的倾向，发现图像能提高虚假新闻的分享率，且不同模型对图像的反应存在差异。

Comments Accepted for oral presentation at ICWSM 2026

Probing CLIP's Comprehension of 360-Degree Textual and Visual Semantics

探测CLIP对360度文本和视觉语义的理解

Hai Wang, Xiaochen Yang, Mingzhi Dong, Jing-Hao Xue

机构 * Department of Statistical Science, University College London, UK（伦敦大学统计科学系） ； School of Mathematics and Statistics, University of Glasgow, UK（格拉斯哥大学数学与统计学学院） ； Department of Computer Science, University of Bath, UK（巴斯大学计算机科学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文探讨CLIP模型对360度全景图像-文本对语义对齐的评估能力，提出新的评价方法，发现CLIP在处理360度视觉语义时存在局限，并提出LoRA微调框架以提升其理解能力。

Comments Project Page: https://littlewhitesea.github.io/360Semantics.github.io/

A systematic evaluation of vision-language models for observational astronomical reasoning tasks

对视觉语言模型在观测天文学推理任务中的系统评估

Wenke Ren, Hengxiao Guo, Wenwen Zuo, Xiaoman Zhang

机构 * Shanghai Astronomical Observatory, Chinese Academy of Sciences（上海天文台，中国科学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文系统评估了视觉语言模型在观测天文学推理任务中的表现，发现模型性能依赖于模态，且物理知识 grounding 对提升准确性至关重要。

Comments 24 pages, 5 figures

V-SEAM: Visual Semantic Editing and Attention Modulating for Causal Interpretability of Vision-Language Models

V-SEAM：视觉语义编辑与注意力调节用于视觉-语言模型的因果可解释性

Qidong Wang, Junjie Hu, Ming Jiang

机构 * Tongji University（同济大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出V-SEAM框架，结合视觉语义编辑和注意力调节，提升视觉-语言模型的因果可解释性，通过多级语义分析增强模型性能。

Comments EMNLP 2025 Main

EXACT: an explainable anomaly-aware vision foundation model for analysis of 3D chest CT

EXACT：一种可解释的异常感知视觉基础模型，用于3D胸部CT分析

Xuguang Bai, Mingxuan Liu, Tongxi Song, Yifei Chen, Hongjia Yang, Kasidit Anmahapong, Zihan Li, Ying Zhou, Qiyuan Tian

机构 * School of Biomedical Engineering, Tsinghua University（清华大学生物医学工程学院） ； Department of Radiology, Mianyang Central Hospital（绵阳市中心医院放射科） ； Center for Biomedical Imaging Research, Tsinghua University（清华大学生物医学成像研究中心） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 EXACT通过学习空间解析表示，提升3D胸部CT的异常检测与可解释性，优于现有医学基础模型，适用于多疾病诊断和报告生成。

SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs

SMoES：在MoE-VLMs中的软模态引导专家专业化

Zi-Hao Bo, Yaqian Li, Anzhou Hou, Rinyoichi Takezoe, Ertao Zhao, Tianxiang Pan, Jiale Yan, Mo Guang, Kaiwen Long

机构 * Li Auto Inc.（李自动公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SMoES，通过动态软模态评分、专家分组机制和互信息正则化，提升MoE-VLMs的模态感知专家专业化，实验显示在多模态和语言任务上平均提升0.9%和4.2%，通信开销降低56.1%，吞吐量提升12.3%。

Comments CVPR 2026

Graph-to-Vision: Multi-graph Understanding and Reasoning using Vision-Language Models

图到视觉：利用视觉-语言模型进行多图理解与推理

Qihang Ai, Ruizhou Li, Menghui Wang, Haiyun Jiang

机构 * Nanyang Technological University（南洋理工大学） ； Shandong University（山东大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出首个评估和提升视觉语言模型多图推理能力的基准，涵盖四种常见图类型并支持复杂任务，评估了多种先进模型并验证了数据集的有效性。

Comments 26 pages, 23 figures

Object Referring-Guided Scanpath Prediction with Perception-Enhanced Vision-Language Models

基于感知增强的视觉-语言模型的物体指称引导的注视路径预测

Rong Quan, Yantao Lai, Dong Liang, Jie Qin

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ScanVLA模型，通过融合视觉和语言特征提升物体指称引导的注视路径预测性能，引入历史增强解码器和冻结分割LoRA辅助定位，提升预测精度且不增加计算成本。

Comments ICMR 2026

CLIP-RD: Relative Distillation for Efficient CLIP Knowledge Distillation

CLIP-RD：基于相对蒸馏的高效CLIP知识蒸馏

Jeannie Chung, Hanna Jang, Ingyeong Yang, Uiwon Hwang, Jaehyeong Sim

机构 * Ewha Womans University（东亚妇女大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLIP-RD框架，通过引入垂直关系蒸馏和交叉关系蒸馏方法，提升学生模型对教师模型多方向关系的保留能力，实现更高效的CLIP知识蒸馏。

Semantic-guided Gaussian Splatting for High-Fidelity Underwater Scene Reconstruction

语义引导的高斯点云法用于高保真水下场景重建

Zhuodong Jiang, Haoran Wang, Guoxi Huang, Brett Seymour, Nantheera Anantrasirichai

机构 * School of Computer Science, University of Bristol（布里斯托大学计算机科学学院） ； Submerged Resources Centre（水下资源中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SWAGSplatting框架，通过整合语义先验信息提升水下场景重建的保真度，采用语义一致性损失和自适应高斯点云重分配策略，有效解决光照不均问题，实验验证其在PSNR、SSIM和LPIPS指标上的优越性。

R-CoV: Region-Aware Chain-of-Verification for Alleviating Object Hallucinations in LVLMs

R-CoV：区域感知的验证链用于减轻LVLMs中的物体幻觉

Jiahao Xie, Alessio Tonioni, Nathalie Rauschmayr, Federico Tombari, Bernt Schiele

机构 * Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC） ； VIA Research Center（VIA研究中心） ； Google（谷歌） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 R-CoV通过区域感知的验证链方法，减轻LVLMs中的物体幻觉问题，采用六步流程，无需额外训练即可集成至多种LVLMs，实验表明有效缓解幻觉。

CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation

CLIPoint3D: 基于语言的少样本无监督3D点云领域适应

Mainak Singha, Sarthak Mehrotra, Paolo Casari, Subhasis Chaudhuri, Elisa Ricci, Biplab Banerjee

机构 * University of Trento（特伦托大学） ； MDSR Labs Adobe（Adobe MDSR实验室） ； IIT Bombay（印度理工学院班加罗尔分校） ； Fondazione Bruno Kessler（布鲁诺·科斯勒基金会） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLIPoint3D，首个基于CLIP的3D点云无监督领域适应框架，通过知识驱动的提示调优和熵引导视图采样策略，实现跨领域3D点云适应，实验表明在PointDA-10和GraspNetPC-10基准上性能提升3-16%。

Comments Accepted in CVPR 2026

Q-Mask: Query-driven Causal Masks for Text Anchoring in OCR-Oriented Vision-Language Models

Q-Mask：面向OCR的视觉语言模型中基于查询的因果遮罩用于文本锚定

Longwei Xu, Feng Feng, Shaojie Zhang, Xin Chen, Hang Li, Anan Du, Hailong Yu, Pei Fu, Zhenbo Luo, Jian Luan

机构 * MiLM Plus（小米公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出Q-Mask框架，通过因果查询驱动的遮罩解码器提升OCR任务中文本锚定的准确性与稳定性，结合大规模标注数据集提升视觉语言模型对文本区域的识别能力。

Once Correct, Still Wrong: Counterfactual Hallucination in Multilingual Vision-Language Models

一旦正确，仍错误：多语言视觉-语言模型中的反事实幻觉

Basel Mousi, Fahim Dalvi, Shammur Chowdhury, Firoj Alam, Nadir Durrani

机构 * Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈姆丹·本·哈马德大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究探讨多语言视觉-语言模型在文化背景下反事实幻觉的问题，提出M²CQA基准测试，通过17个中东国家图像和多语言对比陈述评估模型性能，发现阿拉伯语尤其在方言中反事实幻觉率显著上升。

Test-Time Perturbation Learning with Delayed Feedback for Vision-Language-Action Models

基于延迟反馈的测试时扰动学习用于视觉-语言-动作模型

Zehua Zang, Xi Wang, Fuchun Sun, Xiao Xu, Lixiang Lium, Jiahuan Zhou, Jiangmeng Li

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； National Defense University（国防大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PDF框架，通过不确定性数据增强和动作投票缓解轨迹过拟合，提升决策性能，实验显示在LIBERO和Atari任务中取得显著成效。

Comments 12 pages, 7 figures, 5 tables

Journal ref CVPR 2026 Poster