视觉大模型 / VLM

Empirical Bayes Conformal Prediction for Vision and Language Models

视觉与语言模型的经验贝叶斯共形预测

Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of California San Diego（加州大学圣地亚哥分校） ； Xiamen University（厦门大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出经验贝叶斯共形预测框架，利用r值将得分变异性转化为不确定性感知的非一致性得分，在保持目标覆盖的同时减少高方差假候选的包含。

Exposing Vulnerabilities in Visible-Infrared VLMs: A Unified Geometric Adversarial Framework with Cross-Task Transferability

揭示可见-红外VLMs中的漏洞：一种具有跨任务迁移性的统一几何对抗框架

Xiang Chen, Yuxian Dong, Chao Li, Chengyin Hu, Jiaju Han, Fengyu Zhang, Yiwei Wei, Jiahuan Long, Jiujiang Guo

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文针对可见-红外视觉语言模型在多模态任务中的对抗鲁棒性不足问题，提出了一种基于分形几何的对抗框架CFGPatch，通过引入曲边分形元素和Fraser螺旋渲染机制，有效攻击VLMs并展示出跨任务迁移能力。

CRAFT: Clinical Reward-Aligned Finetuning for Medical Image Synthesis

CRAFT：面向医学图像合成的临床对齐微调

Yunsung Chung, Alex El Darzi, Carlo El Khoury, Han Feng, Nassir Marrouche, Jihun Hamm

机构 * Department of Computer Science, Tulane University（路易斯安那大学计算机科学系） ； School of Medicine, Tulane University（路易斯安那大学医学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出CRAFT框架，通过临床对齐评分和奖励优化提升医学图像生成质量，减少幻觉生成，提升分类性能。

Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding

打破幻觉：当积极与消极在多模态解码中相遇

Yubo Jiang, Yitong An, Xin Yang, Abudukelimu Wuerkaixi, Xuxin Cheng, Fengying Xie, Zhiguo Jiang, Cao Liu, Ke Zeng, Haopeng Zhang

机构 * School of Astronautics, Beihang University（北京航空航天大学航天学院） ； Longcat Interaction Team, Meituan（美团Longcat交互团队） ； Tianmushan Laboratory, Beihang University（北京航空航天大学天门山实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出PND框架，通过在解码过程中引入正负对比路径，增强视觉真实性，无需重新训练即可在POPE、MME和CHAIR数据集上取得最佳性能。

Comments Accepted by CVPR 2026 (Conference on Computer Vision and Pattern Recognition). 11 pages, 5 figures. Code available at: https://github.com/JiangYubo4399/PND

Conceal, Reconstruct, Jailbreak: Exploiting the Reconstruction-Concealment Tradeoff in MLLMs

隐藏、重建、突破：在大规模语言模型中利用重建-隐藏权衡

Md Farhamdur Reza, Richeng Jin, Tianfu Wu, Huaiyu Dai

机构 * NC State University（北卡罗来纳州立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文探讨了在多模态大语言模型中利用重建与隐藏的权衡进行意图混淆攻击，提出了一种基于字符移除的变体构造方法，并引入关键词相关的干扰图像以提高攻击效果。

Comments 39 pages, including appendices

Jailbreaking Frontier Foundation Models Through Intention Deception

通过意图欺骗突破前沿基础模型

Xinhe Wang, Katia Sycara, Yaqi Xie

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种多轮欺骗方法，通过模拟良性意图和模型一致性，引导模型生成有害输出，并揭示了未被注意到的para-jailbreaking漏洞。

Comments Accepted at CVPR 2026 Findings Track

M-ArtAgent: Evidence-Based Multimodal Agent for Implicit Art Influence Discovery

M-ArtAgent：基于证据的多模态代理用于隐式艺术影响发现

Hanyi Liu, Zhonghao Jiu, Minghao Wang, Yuhang Xie, Heran Yang

机构 * China Electronics Technology Group Co., Ltd.（中国电子科技集团有限公司） ； School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院） ； Department of Chemical and Biological Engineering, Hong Kong University of Science and Technology（香港科技大学化学与生物工程系） ； University of California San Diego（加州大学圣迭戈分校） ； Northeastern University（东北大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出M-ArtAgent，通过概率裁决框架解决隐式艺术影响发现问题，结合多模态感知与领域约束的反驳机制，实现83.7%的F1分数和0.910的ROC-AUC。

Comments 13 pages, 5 figures, submitted to IEEE Access

Reinforcing Consistency in Video MLLMs with Structured Rewards

通过结构化奖励强化视频MLLMs的一致性

Yihao Quan, Zeru Shi, Jinman Zhao, Ruixiang Tang

机构 * Rutgers University（罗格斯大学） ； University of Toronto（多伦多大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 研究通过结构化奖励提升视频MLLMs的一致性，发现传统监督不足，提出结合事实和时间单元的奖励机制，提升视频理解准确性。

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

所有权的回声：对抗引导的双注入用于MLLMs中的版权保护

Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种生成版权触发器的框架，通过双注入方法在MLLMs中嵌入可验证的版权信息，以在微调衍生模型中触发专属文本响应，同时在非衍生模型中保持无活性。

Comments Accepted to CVPR 2026!

Get RICH or Die Scaling: Profitably Trading Inference Compute for Robustness

获取鲁棒性或死亡扩展：通过推理计算获利地进行鲁棒性交易

Tavish McDonald, Bo Lei, Stanislav Fort, Bhavya Kailkhura, Brian Bartoldson

机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Independent Researcher（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；InternVL(abstract)；分类 cs.LG

AI总结 研究探讨了推理计算与模型鲁棒性之间的关系，发现初始鲁棒性足以使模型遵循指令时，推理计算能提升对抗鲁棒性，通过强化视觉编码器可进一步增强模型的鲁棒性。

Comments 23 pages

Journal ref ICLR 2026

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

一个token，两种命运：通过视觉token操控构建统一框架以对抗大语言模型幻觉

Zhan Fa, Yue Duan, Jian Zhang, Lei Qi, Yinghuan Shi

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 通过视觉token操控构建统一框架，有效减少大语言模型幻觉，提升POPE准确性2%。

Comments 10 pages

OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

OSPO: 以对象为中心的自我改进偏好优化用于文本到图像生成

Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

机构 * Korea University（韩国大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OSPO通过自构造对象中心偏好数据和对象加权损失，提升文本到图像生成中对象级对齐和保真度，优于现有自我改进方法和专门扩散模型。

Comments 11 pages, 6 figures

AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM

AdaIAT: 适应性增加对生成文本的关注以减轻大型视觉-语言模型中的幻觉

Li'an Zhong, Ziqiang He, Jibin Zheng, Jin Li, Z. Jane Wang, Xiangui Kang

机构 * Sun Yat-Sen University（中山大学） ； Foshan University（佛山大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 AdaIAT通过自适应增加对生成文本的关注，有效减轻大型视觉-语言模型中的幻觉问题，同时保持语言连贯性和预测能力。

Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport

认知到控制 - 多智能体学习用于人-仿人协作运输

Hao Zhang, Ding Zhao, H. Eric Tseng

机构 * Department of Electrical Engineering, the University of Texas at Arlington（电气工程系，德克萨斯大学阿灵顿分校） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出认知到控制框架，通过多智能体强化学习实现人-仿人协作运输中的持续推理与稳定控制。

Physics-based phenomenological characterization of cross-modal bias in multimodal models

基于物理现象的多模态模型跨模态偏差表征

Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han

机构 * B rain Science Institute（脑科学研究院） ； Korea Institute of Science and Technology（韩国科学技术院） ； Department of Physics and Astronomy（物理与天文学系） ； Department of Computer Science and Engineering（计算机科学与工程系） ； University of Science and Technology KIST School（科学技术KIST学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出基于物理现象的多模态模型跨模态偏差表征方法，揭示多模态输入可能强化模态主导性。

Comments Best Paper Award at BiasinAI track in AAAI2026

LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs

LATA：拉普拉斯辅助的转导适应用于医学视觉语言模型中的符合不确定性

Behzad Bozorgtabar, Dwarikanath Mahapatra, Sudipta Roy, Muzammal Naseer, Imran Razzak, Zongyuan Ge

机构 * Aarhus University ( A3 Lab )（奥胡斯大学） ； Khalifa University（哈利法大学） ； Jio Institute（乔研究所） ； MBZUAI（穆萨大学人工智能研究所） ； Monash University（墨尔本大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 LATA通过拉普拉斯辅助的转导适应方法，提升医学VLM在域转移下的不确定性校准，减少预测集规模和类间覆盖不平衡，同时保持高覆盖效率。

Comments 18 pages, 6 figures, 4 tables

DSO: Direct Steering Optimization for Bias Mitigation

DSO：直接转向优化以减轻偏差

Lucas Monteiro Paes, Nivedha Sivakumar, Yinong Oliver Wang, Masha Fedzechkina, Barry-John Theobald, Luca Zappella, Nicholas Apostoloff

机构 * Apple（苹果公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 DSO通过强化学习优化激活转换，在VLMs和LLMs中实现公平性与能力的最佳平衡，提供推理时的偏见控制能力。

Hallucination Begins Where Saliency Drops

幻觉始于显著性下降

Xiaofeng Zhang, Yuanchao Zhu, Chaochen Gu, Xiaosong Yuan, Qiyan Zhao, Jiawei Cao, Feilong Tang, Sinan Fan, Yaomin Shen, Chen Shen, Hao Tang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出LVLMs-Saliency框架，通过融合注意力权重与输入梯度，利用显著性引导拒绝采样和局部连贯性强化机制，有效减少幻觉并提升模型可靠性。

Comments Accepted in ICLR 2026

Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision

Youtu-VL: 通过统一的视觉-语言监督释放视觉潜力

Zhixiang Wei, Yi Li, Zhehan Kan, Xinghua Jiang, Zuwei Long, Shifeng Liu, Hongze Shen, Wei Liu, Xiaoyu Tan, Haojia Lin, Yubo Zhu, Qianyu Li, Di Yin, Haoyu Cao, Weibo Gu, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun, Yunsheng Wu, Mingkong Tang, Shuangyin Liu, Lexiang Tang, Haodong Lin, Junru Lu, Jiarui Qin, Lingfeng Qiao, Ruizhi Qiao, Bo Ke, Jianfeng He, Ke Li, Yangning Li, Yunhang Shen, Mengdan Zhang, Peixian Chen, Kun Yin, Bing Liu, Yunfei Wu, Huang Chen, Zhongpeng Cai, Xiaotian Li

机构 * Youtu-VL Team（Youtu-VL 团队） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 Youtu-VL通过统一视觉-语言自回归监督范式，提升多模态理解能力，实现视觉与语言的协同优化。

Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis

面向大规模和小规模模型的不确定性感知协作系统用于多模态情感分析

Shiqin Han, Manning Gao, Menghua Jiang, Yuncheng Jiang, Haifeng Hu, Sijie Mai

机构 * School of Computer Science, South China Normal University（计算机科学学院，华南师范大学） ； School of Artificial Intelligence, South China Normal University（人工智能学院，华南师范大学） ； School of Electronics and Information Technology, Sun Yat-sen University（电子与信息工程学院，中山大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.LG

AI总结 本文提出U-ACS系统，通过整合UBM与MLLMs，利用不确定性感知机制提升多模态情感分析的效率与性能。

MADIAVE: Multi-Agent Debate for Implicit Attribute Value Extraction

MADIAVE：多智能体辩论用于隐式属性值提取

Wei-Chieh Huang, Cornelia Caragea

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 MADIAVE通过多智能体辩论框架提升隐式属性值提取的准确性和鲁棒性，适用于多模态电子商务场景。

Comments Accepted by EACL 2026 (Findings)

Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization

在所见之地接地：通过标题反馈、多样性感知采样和冲突正则化实现抗幻觉的MLLMs

Miao Pan, Wangjie Gan, Jintao Chen, Wenqi Zhang, Bing Sun, Jianwei Yin, Xuhong Zhang

专题命中 幻觉与鲁棒性 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出抗幻觉的MLLMs方法，通过标题反馈、多样性感知采样和冲突正则化减少幻觉，提升推理准确性。

Comments AAAI-2026 Poster

OpenRT: An Open-Source Red Teaming Framework for Multimodal LLMs

OpenRT: 一种用于多模态大语言模型的开源红队框架

Xin Wang, Yunhao Chen, Juncheng Li, Yixu Wang, Yang Yao, Tianle Gu, Jie Li, Yan Teng, Yingchun Wang, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OpenRT框架通过模块化设计和高吞吐量运行时，系统性评估多模态大语言模型的安全性，揭示了前沿模型在复杂攻击下的脆弱性。

ReCCur: A Recursive Corner-Case Curation Framework for Robust Vision-Language Understanding in Open and Edge Scenarios

ReCCur：一种递归角落案例校准框架，用于开放和边缘场景中的鲁棒视觉-语言理解

Yihan Wei, Shenghai Yuan, Tianchen Deng, Boyang Lou, Enwen Hu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ReCCur通过递归框架实现低计算量的角落案例校准，提升开放和边缘场景下的视觉-语言理解鲁棒性。

Towards Responsible and Explainable AI Agents with Consensus-Driven Reasoning

迈向负责任和可解释的AI代理：基于共识驱动的推理

Eranga Bandara, Tharaka Hewa, Ross Gore, Sachin Shetty, Ravi Mukkamala, Peter Foytik, Abdul Rahman, Safdar H. Bouk, Xueping Liang, Amin Hass, Sachini Rajapakse, Ng Wee Keong, Kasun De Zoysa, Aruna Withanage, Nilaan Loganathan

机构 * Old Dominion University, Norfolk, VA, USA（老奥本大学） ； Center for Wireless Communications, University of Oulu, Finland（无线通信中心，奥卢大学） ； Florida International University, USA（佛罗里达国际大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； University of Colombo, Sri Lanka（科伦坡大学） ； Accenture Technology Labs, Arlington, VA, USA（Accenture技术实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出了一种基于多模型共识和推理层治理的负责任和可解释的AI代理架构，通过结构化整合不同模型的输出以提升系统鲁棒性、透明度和责任性。

EmoCaliber: Advancing Reliable Visual Emotion Comprehension via Confidence Verbalization and Calibration

EmoCaliber: 通过置信度 verbalization 和校准推进可靠的视觉情绪理解

Daiqing Wu, Dongbao Yang, Can Ma, Yu Zhou

机构 * IIE, Chinese Academy of Sciences（中国科学院信息研究所） ； Nankai University（南开大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 EmoCaliber通过置信度 verbalization 和校准提升视觉情绪理解的可靠性。

When Harmful Content Gets Camouflaged: Unveiling Perception Failure of LVLMs with CamHarmTI

当有害内容被伪装时：通过CamHarmTI揭示LVLMs的感知失败

Yanhui Li, Qi Zhou, Zhihong Xu, Huizhong Guo, Wenhai Wang, Dongxia Wang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 本文提出CamHarmTI基准，揭示LVLMs在识别伪装有害内容时的感知不足，并通过微调提升模型性能。

Improving Robotic Manipulation Robustness via NICE Scene Surgery

通过NICE场景手术提升机器人操作的鲁棒性

Sajjad Pakdamansavoji, Mozhgan Pourkeshavarz, Adam Sigal, Zhiyuan Li, Rui Heng Yang, Amir Rasouli

机构 * Huawei Technologies Canada（华为技术加拿大公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 NICE通过增强场景上下文减少分布外差距，提升机器人操作在复杂环境中的鲁棒性和安全性。

Comments 11 figures, 3 tables

Large Language Model Aided Birt-Hogg-Dube Syndrome Diagnosis with Multimodal Retrieval-Augmented Generation

基于多模态检索增强生成的大型语言模型辅助Birt-Hogg-Dube综合征诊断

Haoqing Li, Jun Shi, Xianmeng Chen, Qiwei Jia, Rui Wang, Wei Wei, Hong An, Xiaowen Hu

机构 * School of Computer Science and Technology（计算机科学与技术学院） ； Department of Pulmonary and Critical Care Medicine（呼吸与危重症医学科） ； Center for Diagnosis and Management of Rare Diseases（罕见病诊断与管理中心） ； the First Affiliated Hospital of USTC（USTC第一附属医院） ； Division of Life Sciences and Medicine（生命科学与医学系） ； USTC ； WanNan Medical College（皖南医学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本研究提出BHD-RAG框架，通过整合多模态检索增强生成与领域专业知识，提升Birt-Hogg-Dube综合征的CT影像诊断准确性。

Chat with AI: The Surprising Turn of Real-time Video Communication from Human to AI

与AI聊天：从人类到AI的实时视频通信惊人转变

Jiangkai Wu, Zhiyuan Ren, Liming Liu, Xinggong Zhang

机构 * Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出了一种面向AI的实时视频通信方法，通过上下文感知视频流技术降低延迟并提升AI理解视频的准确性。

Comments 9 pages, 10 figures, Proceedings of the 24th ACM Workshop on Hot Topics in Networks (HotNets 2025), College Park, Maryland, USA