多模态大模型

Medical Context Distorts Decisions in Clinical Vision Language Models

医学语境扭曲了临床视觉语言模型的决策

David Restrepo, Ira Ktena, Maria Vakalopoulou, Stergios Christodoulidis, Enzo Ferrante

机构 * MICS（医学信息学中心） ； CentraleSupélec - Université Paris-Saclay（中央超导学院 - 巴黎萨克雷大学） ； Cancer Data Science Unit（癌症数据科学单元） ； IHU PRISM ； National Institute in Precision Oncology（精准肿瘤学国家研究所） ； University Paris-Saclay（巴黎萨克雷大学） ； CentraleSupelec（中央超导学院） ； Gustave Roussy（儒勒-维维安-圣拉扎尔医院） ； INSERM（国家医学研究院） ； CONICET（阿根廷国家科研与技术创新委员会） ； Universidad de Buenos Aires（布宜诺斯艾利斯大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究了医学语境对临床视觉语言模型决策的影响，发现模型在整合医学记录的视觉和文本信息时存在模态依赖、无关历史依赖和提示敏感性等问题，强调了在临床应用前需要建立明确的保障措施。

KVCapsule: Efficient Sequential KV Cache Compression for Vision-Language Models with Asymmetric Redundancy

KVCapsule: 用于视觉-语言模型的高效序列KV缓存压缩方法：不对称冗余

Yingbing Huang, Tharun Adithya Srikrishnan, Steven K. Reinhardt, Deming Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AMD 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出KVCapsule，一种针对视觉语言模型的KV缓存压缩框架，通过轻量压缩和重建组件实现内存节省，提升吞吐量并减少内存占用，同时保持精度。

CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning

CAVE：一种用于碎片化视觉证据推理的结构化信用分配方法

Tengda Guo, Jie Leng, Hanlei Li, Yaoyuan Liang, Qingyue Zhang, Dian Yang, Mingyu Zhang, Yuhua Fu, Shao-Lun Huang

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CAVE通过结构化过程-奖励机制提升碎片化视觉推理能力，引入三个互补信号优化推理步骤，提升模型可靠性与鲁棒性。

Comments 24 pages, 6 figures. Preprint

VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following

VLMs 跟踪无需跟踪：诊断视觉路径跟随中的失败

Hyesoo Hong, Minsoo Kim, Wonje Jeung, Sangyeon Yoon, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究VLMs在视觉路径跟随任务中的表现，发现其在面对局部相似干扰时易切换路径，揭示局部竞争导致的失败原因。

Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

你的CLIP有164个噪声维度：探索对比性预训练视觉-语言变换器的嵌入协方差特征谱

Jakub Grzywaczewski, Dawid Płudowski, Przemysław Biecek

机构 * Warsaw University of Technology（华沙技术大学） ； Centre for Credible Artificial Intelligence（可信人工智能中心） ； University of Warsaw（华沙大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。

LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning

LoRA in LoRA: 朝着参数高效架构扩展的方向：持续视觉指令微调

Chang Che, Ziqi Wang, Pengwan Yang, Qi Wang, Hui Ma, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； University of Amsterdam（阿姆斯特丹大学） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LiLoRA，一种高效的持续视觉指令微调架构扩展方法，通过共享LoRA矩阵A、低秩分解矩阵B以及余弦正则化损失，提升参数效率和任务学习性能。

Comments AAAI 2026 Oral Presentation. 9 pages

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(24):19978--19986, 2026

Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding

对图像与长描述中的森林和树木进行对齐以实现视觉基础理解

Byeongju Woo, Zilin Wang, Byeonghyun Pak, Sangwoo Mo, Stella X. Yu

机构 * Agency for Defense Development（国防发展局） ； University of Michigan（密歇根大学） ； POSTECH 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。

Comments Preprint

Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

为高能物理中的中微子事件分类适应视觉-语言模型

Dikshant Sagar, Kaiwen Yu, Alejandro Yankelevich, Jianming Bian, Pierre Baldi

机构 * Department of Computer Science, University of California, Irvine, CA, USA（计算机科学系，加州大学欧文分校，加州，美国） ； Department of Physics, University of California, Irvine, CA, USA（物理系，加州大学欧文分校，加州，美国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了将微调后的LLaMA 3.2应用于中微子事件分类，对比了Transformer架构与CNN在准确性和鲁棒性上的表现，展示了视觉-语言模型在物理事件分类中的潜力。

Comments Accepted for publication in Communications Physics (Nature Portfolio)

DistractMIA: Black-Box Membership Inference on Vision-Language Models via Semantic Distraction

DistractMIA: 通过语义干扰在视觉语言模型上进行黑盒成员推断

Hongyi Tang, Zhihao Zhu, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对部署的视觉语言模型成员推断难题，提出DistractMIA框架，通过语义干扰技术在仅观察生成文本响应的情况下，有效区分成员与非成员样本，优于现有基线方法。

Comments 23 pages, 8 figures

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

异质视觉智能体之间通过去中心化学习实现的涌现通信

Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

机构 * Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究异质视觉智能体通过去中心化学习实现的涌现通信，探讨不同视觉表示下可共享的视觉信息，通过Metropolis-Hastings Captioning Game验证共享符号的生成机制，发现编码器异质性影响共享序列的质量与对称性。

ReasonEdit: Editing Vision-Language Models using Human Reasoning

ReasonEdit：通过人类推理编辑视觉语言模型

Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ReasonEdit通过引入人类推理机制，改进视觉语言模型的编辑能力，提升编辑泛化性能。

Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination

LVLMs中的词汇劫持：通过排除惰性标记来揭示关键注意力头以缓解幻觉

Yangneng Chen, Junlin Li, Weijun Yao, Xilai Ma, Guodong Du, Wenya Wang, Jing Li

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； The Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文通过分析LVLMs的注意力机制，揭示了词汇劫持现象，提出HABI方法定位惰性标记，并引入NHAR指标评估其影响，最终提出HAVAE方法增强关键注意力头以减少幻觉。

Comments Accepted by ACL 2026 Main

CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection

CrossVL: 用于跨视角视觉语言检测的复杂度感知特征路由与配对课程学习

Zhipeng Liu, Chunbo Luo

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CrossVL框架，结合复杂度感知路径聚合和配对课程学习，提升跨视角视觉语言模型的检测性能，实验显示其在MAVREC数据集上提升了aerial mAP并缩小了地面与空中视角的性能差距。

Comments Accepted to CVPR 2026. Code available at https://github.com/1nyourlife/Crossvl_cvpr2026

When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise

关系破裂：在旋转和噪声下的视觉语言模型关系幻觉分析

Philip Wootaek Shin, Ajay Narayanan Sridhar, Sivani Devarapalli, Rui Zhang, Jack Sampson, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨了旋转和噪声对视觉语言模型关系推理的影响，发现轻微扰动显著降低模型性能，提示需更鲁棒的几何感知模型。

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

从云层到幻觉：遥感视觉-语言RAG中的大气检索劫持

Jiaju Han, Chao Li, Chengyin Hu, Qike Zhang, Xuemeng Sun, Xin Wang, Fengyu Zhang, Xiang Chen, Yiwei Wei, Jiahuan Long, Jiujiang Guo

机构 * China University of Petroleum, Beijing at Karamay（中国石油大学（北京）克拉玛依校区） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出CloudWeb攻击，通过修改输入图像实现遥感多模态RAG中的大气证据劫持，展示了大气变化对检索阶段的影响，并揭示了自然外观的天气变化可能破坏证据检索。

DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency

DINORANKCLIP：基于DINOv3蒸馏与注入的视觉-语言预训练高阶排名一致性方法

Shuyang Jiang, Nan Yu, Yiming Zhang, Zenghui Ding, Zhenyu Wu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Aimaikj（阿米亚克j） ； HFIPS, Chinese Academy of Sciences（中国科学院HFIPS） ； University of Science and Technology of China（中国科学技术大学） ； Chinese Academy of Sciences（中国科学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 DINORANKCLIP通过融合DINOv3教师模型与高阶排名一致性损失，改进CLIP在视觉-语言预训练中的表现，提升细粒度和分布外推理能力。

Comments 18 pages, 7 figures, 9 tables. Code will be made publicly available upon acceptance

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

Research on Vision-Language Question Answering Models for Industrial Robots

工业机器人中视觉-语言问答模型的研究

Ping Li, Bartlomiej Brzozka

机构 * Shandong Management University（山东管理大学） ； Maria Curie-Sklodowska University（玛丽·居里-斯洛多夫斯卡大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种层次交叉模态融合模型，解决工业机器人中语义模糊、复杂环境布局和领域术语的问题，通过多级特征融合提升问答可靠性。

Comments 8 Pages, 5 figures

Journal ref Brzozka,B.Machine Learning Algorithms in Predicting College Students' Grades:A Review.Journal of Applied Automation Technologies,2025,3,1-12

Generalized Category Discovery under Domain Shifts: From Vision to Vision-Language Models

在域偏移下进行广义类别发现：从视觉模型到视觉-语言模型

Hongjun Wang, Po Hu, Kai Han

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究在域偏移下的广义类别发现问题，提出三种适应基础模型的框架，从自监督视觉模型到视觉-语言模型，通过多级特征提取和互信息最小化等方法提升性能。

Comments Submission to TPAMI

Grounding Synthetic Data Generation With Vision and Language Models

基于视觉和语言模型的合成数据生成基础

Ümit Mert Çağlar, Alptekin Temizel

机构 * Graduate School of Informatics（信息学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种视觉-语言 grounded 框架，用于可解释的遥感合成数据增强与评估，引入 ARAS400k 数据集，包含 100k 真实图像和 300k 合成图像，用于语义分割和图像描述生成。

Comments Accepted for presentation at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Synthetic Data for Computer Vision Workshop (SynData4CV) 2026

Prompt-Induced Score Variance in Zero-Shot Binary Vision-Language Safety Classification

零样本二元视觉语言安全分类中的提示诱导分数方差

Charles Weng, Dingwen Li, Alexander Martin

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Independent（独立） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究发现零样本视觉语言模型安全分类器的单提示首词概率在语义等价提示改写下不可靠，提出训练自由的均值集成方法提升模型性能，推荐提示家族评估与均值聚合作为标准无标签可靠性基准。

Comments Preprint. 19 pages, 5 figures

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。

Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

潜在异常知识挖掘：揭示视觉-语言模型中的稀疏敏感神经元

Shaotian Li, Shangze Li, Chuancheng Shi, Wenhua Wu, Yanqiu Wu, Xiaohan Yu, Fei Shen, Tat-Seng Chua

机构 * Macquarie University（麦考瑞大学） ； Nanjing University of Science and Technology（南京理工大学） ； The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LAKE框架，通过挖掘视觉-语言模型中稀疏敏感神经元，实现异常检测的内在可解释性，实验表明其在工业基准上表现优异。

SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

SycoPhantasy: 量化小型开放权重视觉-语言模型中趋炎附势行为与幻觉现象以评估奇幻角色的视觉-语言评分

Arya Shah, Deepali Mishra, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度加尔各答理工学院） ； IIT Kanpur（印度坎浦尔理工学院） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究小型开放权重VLM在评估图像-文本对齐时是否存在趋炎附势行为，通过引入布林系数量化模型评分与视觉证据的不匹配程度，发现模型规模与趋炎附势率呈负相关。

Comments 13 pages, 12 figures, 6 tables

See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

看得更远，想得更深：通过低级视觉线索和反思提升VLM的推理能力

Zhiheng Wu, Tong Wang, Shuning Wang, Naiming Liu, Yumeng Zhang

机构 * Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ForeSight框架，通过低级视觉线索和有效视觉反馈提升VLM推理能力，构建新数据集CG-SalBench，并验证其在参数规模相同和部分指标上优于现有SOTA模型。

Comments CVPR2026

Discovering Failure Modes in Vision-Language Models using RL

通过强化学习发现视觉-语言模型的失败模式

Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Michigan State University（密歇根州立大学） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于强化学习的框架，自动发现视觉-语言模型在特定数据分布上的失败模式，通过生成问题来识别模型在细粒度视觉细节和技能组合上的不足。

CGC: Compositional Grounded Contrast for Fine-Grained Multi-Image Understanding

CGC：基于组成性 grounded 对比的细粒度多图像理解

Lihao Zheng, Zhenwei Shao, Yu Zhou, Yan Yang, Xintian Shen, Jiawei Chen, Hao Ma, Tao Wei

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Technology, Hangzhou Dianzi University（技术，杭州电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CGC框架，通过跨图像对比和内图像对比提升多图像细粒度理解，结合规则空间奖励增强属性和对齐，实验显示在多个基准上取得最佳结果，并在多模态任务中表现优异。

From Global to Local: Rethinking CLIP Feature Aggregation for Person Re-Identification

从全局到局部：重新思考CLIP特征聚合用于人重识别

Aotian Zheng, Winston Sun, Bahaa Alattar, Vitaly Ablavsky, Jenq-Neng Hwang

机构 * Department of Electrical and Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系） ； Applied Physics Laboratory, University of Washington（华盛顿大学应用物理实验室） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SAGA-ReID，通过在CLIP文本嵌入空间中对齐中间补丁标记与锚向量，改进CLIP基于的人重识别方法，提升在遮挡和跨摄像头变化下的鲁棒性，实验表明其在遮挡增加时表现更优，达到+10.6 Rank-1的提升。

Comments 14 pages, 7 figures

CLIP-SVD: Efficient and Interpretable Vision-Language Adaptation via Singular Values

CLIP-SVD：通过奇异值实现高效且可解释的视觉-语言适应

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Department of Electrical & Computer Engineering, Concordia University（康科迪亚大学电气与计算机工程系） ； Department of Computer Science & Software Engineering, Concordia University（康科迪亚大学计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 CLIP-SVD通过奇异值微调方法，以0.04%的参数量实现高效视觉-语言模型适应，提升适应性能并保留泛化能力，在11个自然和10个生物医学数据集上取得最佳分类结果。

Comments TMLR 2026

Evian: Towards Explainable Visual Instruction-tuning Data Auditing

Evian：迈向可解释的视觉指令微调数据审计

Zimu Jia, Mingjie Xu, Andrew Estornell, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Evian框架，通过分解评估模型响应的三大认知组件，解决数据审计中逻辑一致性与事实准确性不足的问题，验证高质量小规模数据优于大规模低质量数据。

Comments Accepted at ACL 2026