多模态大模型

Cross-Modal Attention Calibration for LVLM Hallucination Mitigation

跨模态注意力校准用于LVLM幻觉缓解

Jiaming Li, Jiacheng Zhang, Zequn Jie, Lin Ma, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； The University of Hong Kong（香港大学） ； Meituan（美团） ； Inspur Database Technology（Inspur数据库技术） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出一种无需训练的跨模态注意力校准方法，通过设计模态间解码和位置校准模块，缓解大型视觉语言模型中的幻觉问题。

Comments CVPR2026

TRACER: Persistent Regularization for Robust Multimodal Finetuning

TRACER: 用于鲁棒多模态微调的持久正则化

Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

机构 * School of Computing and Information Systems (CIS), Faculty of Engineering and IT (FEIT), University of Melbourne, Australia（墨尔本大学计算机科学与信息系统学院（CIS）、工程与信息技术学院（FEIT）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出TRACER方法，通过加权移动平均教师实现持久正则化，解决多模态对比微调中的灾难性遗忘和EMA坍缩问题，提升分布外鲁棒性。

Comments ICML 2026

Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance

超越文本：通过多模态双注意力和软图像引导减少大型视觉语言模型中的语言偏差

Haozhe Zhao, Shuzheng Si, Liang Chen, Yichi Zhang, Maosong Sun, Mingjia Zhang, Baobao Chang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对大型视觉语言模型因语言偏差导致的幻觉问题，提出LACING框架，采用多模态双注意力机制和软图像引导策略，在不增加训练资源的情况下增强视觉理解并减少幻觉。

Comments EMNLP 2025

CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning

CMAP: 面向多域任务增量学习的跨模态自适应提示

Sriram Mandalika

机构 * Hasso Plattner Institute（霍普斯·普拉特纳研究所） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对多域任务增量学习，提出跨模态自适应提示方法，利用CLIP文本嵌入空间进行任务路由、置信度估计和编码器适应，在MTIL基准上超越现有技术。

AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

AnatomiX：一种解剖学感知的胸部X光解读多模态大语言模型

Anees Ur Rehman Hashmi, Numan Saeed, Christoph Lippert

机构 * Hasso Plattner Institute（霍普夫纳研究所） ； MBZUAI（穆萨大学人工智能研究所） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出AnatomiX，一种两阶段解剖学感知多模态大语言模型，通过先识别解剖结构再执行下游任务，在解剖定位、短语定位、定位诊断和定位描述任务上相比现有方法提升超过25%。

Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models

更深入的思考，更弱的目标：理解并缓解多模态大语言模型推理过程中感知障碍

Ruiying Peng, Xueyu Wu, Jing Lei, Lu Hou, Yuanzheng Ma, Xiaohui Li

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Huawei Technologies（华为技术） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型在推理过程中出现的视觉感知障碍问题，提出了一种无需训练的视觉区域引导注意力框架，通过选择和重新加权视觉头部来引导模型关注与问题相关区域，从而提高视觉定位和推理准确性。

Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

通过跨模态语义对齐实现面向视觉-语言模型的单样本黑盒成员推断攻击

Jiaqing Li, Yajuan Lu, Xiaochuan Shi, Gang Wu, ZhongYuan Wang, Chao Liang

机构 * Wuhan University（武汉大学） ； Tarim University（塔里木大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于跨模态语义对齐的新型成员推断攻击框架，针对视觉-语言模型在单样本和黑盒场景下的数据安全风险进行评估，通过量化联合嵌入空间中的对齐程度，显著提升了攻击性能。

Neuroscience-Inspired Analyses of Visual Interestingness in Multimodal Transformers

受神经科学启发的多模态Transformer中视觉趣味性分析

Mathis Immertreu, Fitim Abdullahu, Thomas Kinfe, Helmut Grabner, Patrick Krauss, Achim Schilling

机构 * Cognitive Computational Neuroscience Group, Patter Recognition Lab, University Erlangen-Nürnberg（认知计算神经科学组、模式识别实验室、埃尔兰根-纽伦堡大学） ； IDS Institut für Data Science, ZHAW School of Engineering, Winterthur, Switzerland（IDS数据科学研究所、ZHAW工程学院、温特图尔，瑞士） ； Mannheim Center for Neuromodulation and Neuroprosthetics, University Hospital Mannheim, Heidelberg University（曼海姆神经调制与神经假体中心、曼海姆大学医院、海德堡大学） ； BGU Ludwigshafen, Germany（BGU路易斯港，德国） ； Physics and Cognition Group, MCNN, University Hospital Mannheim, Heidelberg University（物理与认知组、MCNN、曼海姆大学医院、海德堡大学） ； NeuroAI and BCI Group, MCNN, University Hospital Mannheim, Heidelberg University（神经AI与BCI组、MCNN、曼海姆大学医院、海德堡大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究通过多模态视觉语言模型Qwen3-VL-8B探讨视觉趣味性编码机制，发现CI信息可从最终层嵌入中线性解码，揭示了无监督下视觉趣味性的结构化编码。

One Single Hub Text Breaks CLIP: Identifying Vulnerabilities in Cross-Modal Encoders via Hubness

一个单一的枢纽文本破坏CLIP：通过枢纽性揭示跨模态编码器的漏洞

Hiroyuki Deguchi, Katsuki Chousa, Yusuke Sakai

机构 * NTT, Inc.（NTT公司） ； Nara Institute of Science and Technology（奈良科学技术大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出方法识别枢纽嵌入及其对应文本，揭示跨模态编码器的漏洞，实验显示单一枢纽文本在图像描述评估中表现优异，暴露了编码器的缺陷。

Comments Accepted at ACL2026 (main)

Cross-Modal Taxonomic Generalization in (Vision-) Language Models

跨模态分类泛化在（视觉-）语言模型中

Tianyang Xu, Marcelo Sandoval-Castaneda, Karen Livescu, Greg Shakhnarovich, Kanishka Misra

机构 * Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了语言模型在无显性证据情况下通过跨模态泛化恢复超范畴知识的能力，发现语言模型能基于语言线索实现泛化。

Comments ACL 2026 (main conference)

AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

AdaMMS: 为异构多模态大语言模型设计的模型融合方法

Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University（计算机科学与技术系，人工智能研究院，清华大学） ； Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； State Key Laboratory of Multimedia Information Processing, Peking University（多媒体信息处理国家重点实验室，北京大学） ； School of Software Microelectronics, Peking University（软件微电子学院，北京大学） ； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Jiangsu Collaborative Innovation Center for Language Competence, Jiangsu, China（江苏省语言能力协同创新中心，江苏，中国） ； ModelTC Open Source Organization, Beijing, China（ModelTC开源组织，北京，中国） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出AdaMMS，一种针对异构多模态大语言模型的模型融合方法，通过映射、融合和搜索三个步骤解决异构模型融合难题，无需标注数据即可在视觉语言基准测试中超越现有方法。

Comments CVPR 2025

Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering

通过局部跨模态对齐与引导实现几何感知的CLIP检索

Nirmalendu Prakash, Narmeen Fatimah Oozeer, Xin Su, Phillip Howard, Shaan Shah, Zoe Wanying He, Shuang Wu, Shivam Raval, Roy Ka-Wei Lee, Meenakshi Khosla, Amir Abdullah

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Martian ； Thoughtworks ； UCSD（加州大学圣塔莫尼卡分校） ； Harvard University（哈佛大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过局部跨模态对齐与引导改进CLIP检索，通过匈牙利匹配实现邻居级重排序，并利用查询条件局部引导提升属性绑定和组合检索性能。

Revisiting Change VQA in Remote Sensing with Structured and Native Multimodal Qwen Models

重新审视遥感中的变化视觉问答问题：结构化与原生多模态Qwen模型

Yakoub Bazi, Mohamad M. Al Rahhal, Mansour Zuair, Faroun Mohamed

机构 * Computer Engineering Department, College of Computer and Information Sciences, King Saud University（计算机工程系，计算机与信息科学学院，沙特国王大学） ； Applied Computer Science Department, College of Applied Computer Science, King Saud University（应用计算机科学系，应用计算机科学学院，沙特国王大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文重新审视遥感中的变化视觉问答问题，比较了结构化视觉语言模型与原生多模态模型在CDVQA基准上的表现，发现原生模型在语义变化推理中更有效。

Cross-Modal Attention Analysis and Optimization in Vision-Language Models: A Study on Visual Reliability

视觉-语言模型中的跨模态注意力分析与优化：对视觉可靠性的研究

Lijie Zhou

机构 * School of Computer Science（计算机科学学院） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中跨模态依赖性问题，通过对抗性评估框架发现优化模型能显著降低跨模态依赖，提升视觉特征关注度。

Multimodal Claim Extraction for Fact-Checking

多模态声明提取用于事实核查

Joycelyn Teo, Rui Cao, Zhenyun Deng, Zifeng Ding, Michael Sejr Schlichtkrull, Andreas Vlachos

机构 * Defence Science and Technology Agency, Singapore（新加坡国防科学与技术局） ； University of Cambridge, UK（英国剑桥大学） ； Queen Mary University of London, UK（英国伦敦大学学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出首个多模态社交媒体声明提取基准，评估了最先进的多模态大语言模型，在语义对齐、忠实度和去上下文化框架下发现基线模型难以建模修辞意图和上下文线索，引入意图感知框架MICE提升关键意图场景性能。

Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames

艺术图像中引发的社会概念的自动建模作为多模态框架

Delfina Sol Martinez Pandiani, Valentina Presutti

机构 * Department of Computer Science and Engineering (DISI), University of Bologna, Italy（博洛尼亚大学计算机科学与工程系（DISI）） ； Department of Modern Languages, Literatures and Cultures (LILEC), University of Bologna, Italy（博洛尼亚大学现代语言、文学与文化系（LILEC）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出将社会概念表示为多模态框架的方法，通过整合多感官数据提取和分析视觉艺术材料的多模态特征，以解决社会概念自动检测中的语义鸿沟问题。

Comments First International Workshop on Multisensory Data and Knowledge at the 3rd Conference on Language, Data and Knowledge (2021)

GIST: Multimodal Knowledge Extraction and Spatial Grounding via Intelligent Semantic Topology

GIST：通过智能语义拓扑进行多模态知识提取与空间定位

Shivendra Agrawal, Bradley Hayes

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GIST通过智能语义拓扑提取多模态知识，构建语义标注的导航拓扑，实现复杂环境中的空间定位与人类-AI交互任务。

MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining

MixAtlas: 多模态大语言模型中训练过程中的数据混合优化方法

Bingbing Wen, Sirajul Salekin, Feiyang Kang, Bill Howe, Lucy Lu Wang, Javier Movellan, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Washington（华盛顿大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MixAtlas通过双轴分解训练语料，结合小代理模型与高斯过程代理，优化多模态大语言模型的训练混合策略，提升性能和泛化能力。

Seeing is Believing: Robust Vision-Guided Cross-Modal Prompt Learning under Label Noise

见仁见智：在标签噪声下鲁棒的视觉引导跨模态提示学习

Zibin Geng, Xuefeng Jiang, Jia Li, Zheng Li, Tian Wen, Lvhua Wu, Sheng Sun, Yuwei Wang, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； PCALab, VCIP, College of Computer Science, Nankai University（南开大学计算机学院PCALab, VCIP） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisPrompt框架，通过跨模态注意力机制将视觉语义注入提示表示，提升在标签噪声下的鲁棒性，实验表明其在多个数据集上表现优于现有基线。

Mosaic: Multimodal Jailbreak against Closed-Source VLMs via Multi-View Ensemble Optimization

Mosaic: 通过多视图集成优化实现对闭源视觉语言模型的多模态劫持

Yuqin Lan, Gen Li, Yuanze Hu, Weihao Shen, Zhaoxin Fan, Faguo Wu, Xiao Zhang, Laurence T. Yang, Zhiming Zheng

机构 * Beihang University（北京航空航天大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Mosaic框架，通过多视图集成优化减少对单一代理模型的依赖，提升对闭源VLMs的多模态劫持效果，实验显示其在安全基准上的攻击成功率和毒性均达到最优。

Comments 14pages, 9 figures

Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models

跨模态代理演化用于领域外检测与视觉-语言模型

Hao Tang, Yu Liu, Shuanglin Yan, Fei Shen, Shengfeng He, Jing Qin

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出CoEvo框架，通过双向样本条件适应文本和视觉代理，动态挖掘上下文文本负样本并迭代优化视觉代理，提升跨模态对齐和领域外检测鲁棒性。

Comments Accepted by AAAI 2026

Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection

双向多模态提示学习与尺度感知训练用于少样本多类异常检测

Yujin Lee, Sewon Kim, Daeun Moon, Seoyoon Jang, Hyunsoo Yoon

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AnoPLe框架，通过双向交互文本与视觉提示，实现高效多类异常检测，在MVTec-AD等数据集上超越现有方法，且具备良好的泛化能力。

Comments accepted to CVPR 2026

DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

DiG：通过差异 grounding 提升多模态大语言模型的细粒度感知

Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiG框架，通过学习相似图像对的差异识别提升多模态大语言模型的细粒度感知能力，实验表明其在多个视觉感知基准上表现优异。

Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought

增强推理的多模态链式推理

Shin'ya Yamaguchi, Kosuke Nishida, Daiki Chijiwa

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RED方法，通过KL约束奖励最大化提升多模态链式推理的准确性和忠实度，实验表明其在多个基准和模型上显著优于传统方法。

Comments Accepted to CVPR 2026 (Main); Code is available at https://github.com/yshinya6/red/

K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging

K-MaT: 基于知识的流形传输用于医学影像中的跨模态提示学习

Jiajun Zeng, Shadi Albarqouni

机构 * University of Bonn（波恩大学） ； University Hospital Bonn（波恩大学医院） ； Clinic for Diagnostic and Interventional Radiology（诊断与介入放射科） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 K-MaT通过基于知识的流形传输实现跨模态提示学习，提升医学影像模型在不同模态间的泛化能力。

VisionPangu: A Compact and Fine-Grained Multimodal Assistant with 1.7B Parameters

VisionPangu：一个紧凑且细粒度的多模态助手，参数为17亿

Jiaxin Fan, Wenpo Song

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 VisionPangu通过高效多模态对齐和高质量监督，实现17亿参数紧凑多模态模型，在无需激进扩展的情况下提升图像描述的结构和细节。

Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

动态多模态激活引导用于大型视觉-语言模型中的幻觉缓解

Jianghao Yin, Qin Chen, Kedi Chen, Jie Zhou, Xingjiao Wu, Liang He

机构 * East China Normal University（华东师范大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态多模态激活引导方法，通过构建语义真实性引导向量数据库，实现幻觉缓解，提升模型性能。

Comments Accepted by ICLR 2026

Causal Decoding for Hallucination-Resistant Multimodal Large Language Models

因果解码用于抗幻觉的多模态大语言模型

Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

机构 * Rutgers University（新泽西罗格斯大学） ； Meta Ranking AI（Meta 排名人工智能） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出因果解码框架，通过针对性干预减少多模态大语言模型中的物体幻觉，提升响应的准确性和忠实度。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026

EarthSpatialBench: Benchmarking Spatial Reasoning Capabilities of Multimodal LLMs on Earth Imagery

EarthSpatialBench: 多模态大语言模型在地球影像上空间推理能力的基准测试

Zelin Xu, Yupu Zhang, Saugat Adhikari, Saiful Islam, Tingsong Xiao, Zibo Liu, Shigang Chen, Da Yan, Zhe Jiang

机构 * University of Florida（佛罗里达大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 EarthSpatialBench是一个用于评估多模态大语言模型在地球影像上空间推理能力的综合基准测试，涵盖空间距离、方向、拓扑关系及复杂几何查询。

Hierarchical Refinement of Universal Multimodal Attacks on Vision-Language Models

面向视觉语言模型的层次化通用多模态攻击

Peng-Fei Zhang, Zi Huang

机构 * School of Electrical Engineering and Computer Science, the University of Queensland（电气工程与计算机科学学院，昆士兰大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出HRA框架，通过层次化优化路径和文本重要性建模，实现对视觉语言模型的通用多模态攻击，验证了其在多种任务和数据集上的优越迁移性能。

Comments 10 pages, 7 figures