视觉大模型 / VLM

Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models

Lie的解剖：一种多阶段诊断框架，用于追踪视觉-语言模型中的幻觉

Lexiang Xiong, Qi Li, Jingwen Ye, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； Monash University（墨尔本大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出一种多阶段诊断框架，通过动态认知轨迹分析视觉-语言模型中的幻觉问题，结合几何信息双重视角，实现高效且鲁棒的幻觉检测，提升模型透明度和可审计性。

Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

安全潜力修剪：提升对抗VLM劫持的安全提示而无需重新训练

Chongxin Li, Hanzhang Wang, Lian Duan

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出安全潜力修剪方法，通过去除对安全提示不敏感的权重，增强安全路径，提升VLM对抗能力，减少攻击成功率22%。

Comments Accepted for publication in Transactions of the Association for Computational Linguistics (TACL)

What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models

什么使视觉语言模型具备鲁棒性？迈向视觉语言模型鲁棒性与准确性的协调

Sen Nie, Jie Zhang, Zhongqi Wang, Zhaoyang Wei, Shiguang Shan, Xilin Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文研究了视觉语言模型鲁棒性与准确性的平衡问题，通过分析对抗性微调模型，发现鲁棒性主要集中在浅层网络，提出Adversarial Robustness Adaptation框架以提升鲁棒性与准确性。

Comments 28 pages

Comparative Analysis of Patch Attack on VLM-Based Autonomous Driving Architectures

基于VLM的自动驾驶架构中补丁攻击的比较分析

David Fernandez, Pedram MohajerAnsari, Amir Salarpour, Long Cheng, Abolfazl Razi, Mert D. Pesé

机构 * School of Computing, Clemson University（计算机学院，克莱姆森大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文比较了三种基于VLM的自动驾驶架构对物理对抗攻击的鲁棒性，发现所有架构均存在严重漏洞，揭示了不同架构在对抗威胁下的脆弱性。

Comments Accepted at the 2025 IEEE Intelligent Vehicles Symposium (IV 2025)

TS-MLLM: A Multi-Modal Large Language Model-based Framework for Industrial Time-Series Big Data Analysis

TS-MLLM：一种基于多模态大语言模型的工业时间序列大数据分析框架

Haiteng Wang, Yikang Li, Yunfei Zhu, Jingheng Yan, Lei Ren, Laurence T. Yang

机构 * School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院） ； School of Software, Beihang University（北京航空航天大学软件学院） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； State Key Laboratory of Intelligent Manufacturing System Technology（智能制造系统技术国家重点实验室） ； School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院） ； Department of Computer Science, St. Francis Xavier University（圣弗朗西斯科大学计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 TS-MLLM通过多模态大语言模型联合建模时序信号、频域图像和文本知识，提升工业时间序列预测的鲁棒性、效率和泛化能力。

Physics-Guided VLM Priors for All-Cloud Removal

物理引导的VLM先验条件用于全云去除

Liying Xu, Huifang Li, Huanfeng Shen

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出PhyVLM-CR方法，结合VLM语义能力和物理模型，实现高保真全云去除，提升云去除与内容保留的平衡性。

Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

空间色彩混合错觉作为视觉-语言模型的感知压力测试

Nicoleta-Nina Basoc, Adrian Cosma, Emilian Radoi

机构 * National University of Science and Technology POLITEHNICA Bucharest（波兰布加勒斯特技术大学） ； IDSIA, The Dalle Molle Institute for Artificial Intelligence（达摩信息技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究通过空间色彩混合错觉测试视觉-语言模型的感知鲁棒性，发现模型在结构化色彩扭曲下表现下降，而人类表现更优，预处理步骤可提升模型性能。

Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation

Phys2Real: 融合视觉语言模型先验与交互在线适应以实现不确定性感知的仿真到现实操控

Maggie Wang, Stephen Tian, Aiden Swann, Ola Shorinwa, Jiajun Wu, Mac Schwager

机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 Phys2Real通过融合视觉语言模型先验与交互适应，提升仿真到现实操控的不确定性感知与任务成功率。

Comments Accepted to IEEE International Conference on Robotics and Automation (ICRA) 2026

Logit-Level Uncertainty Quantification in Vision-Language Models for Histopathology Image Analysis

视觉-语言模型在病理图像分析中的logit级不确定性量化

Betul Yurdem, Ferhat Ozgur Catak, Murat Kuzlu, Mehmet Kemal Gullu

机构 * Department of Electrical and Electronics Engineering, Izmir Bakircay University（电气与电子工程系，伊兹密尔巴克伊大学） ； Department of Electrical Engineering and Computer Science, University of Stavanger（电气工程与计算机科学系，斯塔万格大学） ； Batten College of Engineering and Technology, Old Dominion University（工程与技术学院，老奥布良大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.LG

AI总结 本研究提出了一种基于VLMs的logit级不确定性量化框架，用于评估病理图像分析中模型的可靠性与安全性。

Comments 10 pages, 6 figures, 4 tables

UniVRSE: Unified Vision-conditioned Response Semantic Entropy for Hallucination Detection in Medical Vision-Language Models

UniVRSE: 统一的视觉条件响应语义熵用于医学视觉语言模型中的幻觉检测

Zehui Liao, Shishuai Hu, Ke Zou, Mengyuan Jin, Yanning Zhang, Huazhu Fu, Liangli Zhen, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science and Engineering, Northwestern Polytechnical University（集成航空航天地面海洋大数据应用技术国家工程实验室，计算机科学与工程学院，西北工业大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 UniVRSE通过统一的视觉条件响应语义熵框架，有效检测医学视觉语言模型中的幻觉，提升临床应用的可靠性。

Comments Under Review. 12 pages, 2 figures

Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models

重新审视视觉语言模型安全微调中的瓶颈

Yi Ding, Lijun Li, Bing Cao, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Purdue University（普渡大学） ； Tianjin University（天津大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出多图像安全数据集，通过增强视觉推理能力，提升模型在安全关键任务中的性能与通用能力。

Journal ref ICLR 2026

SAGE: Accelerating Vision-Language Models via Entropy-Guided Adaptive Speculative Decoding

SAGE：通过熵引导的自适应推测解码加速视觉-语言模型

Yujia Tong, Tian Zhang, Yunyang Wan, Kaiwei Lin, Jingling Yuan, Chuang Hu

机构 * School of Computer Science（计算机科学学院） ； Artificial Intelligence, Wuhan University of Technology, Hubei 430070, China（人工智能，武汉科技大学，湖北430070，中国） ； School of Computer Science, Wuhan University, Hubei 430072, China（计算机科学学院，武汉大学，湖北430072，中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 SAGE通过熵引导的自适应推测解码方法，动态调整树结构以提高视觉-语言模型的解码速度，实现高达3.36倍的加速效果。

Beyond Retraining: Training-Free Unknown Class Filtering for Source-Free Open Set Domain Adaptation of Vision-Language Models

超越再训练：用于无源开放集域适应的无训练未知类过滤

Yongguang Li, Jindong Li, Qi Wang, Qianli Xing, Runliang Niu, Shengsheng Wang, Menglin Yang

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 VLM-OpenXpert通过无训练模块SUFF和BGAT实现无源开放集域适应，有效抑制未知类干扰并提升模型性能。

Comments Core methods unchanged; title updated and full-text narrative refined for clarity and logical coherence. No changes to key findings and conclusions

Proxy Robustness in Vision Language Models is Effortlessly Transferable

视觉语言模型中的代理鲁棒性可以轻易转移

Xiaowei Fu, Fuxiang Huang, Lei Zhang

机构 * Chongqing Key Laboratory of Bio-perception（重庆生物感知实验室） ； Multimodal Intelligent Information Processing, Chongqing University, Chongqing 401331, China（多模态智能信息处理，重庆大学，重庆401331，中国） ； School of Microelectronics（微电子学院） ； Communication Engineering, Chongqing University, Chongqing 401331, China（通信工程，重庆大学，重庆401331，中国） ； School of Data Science, Lingnan University, Hong Kong（数据科学学院，岭南大学，香港） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出HPT-GPD框架，通过异构代理转移提升视觉语言模型的对抗鲁棒性，同时缓解过拟合问题，增强零样本自然泛化能力。

VILTA: A VLM-in-the-Loop Adversary for Enhancing Driving Policy Robustness

VILTA：一种用于增强驾驶策略鲁棒性的视觉语言模型闭环对抗者

Qimao Chen, Fang Li, Shaoqing Xu, Zhiyi Lai, Zixun Xie, Yuechen Luo, Shengyin Jiang, Hanbing Li, Long Chen, Bing Wang, Yi Zhang, Zhi-Xin Yang

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 VILTA通过整合视觉语言模型到闭环训练中，提升自动驾驶策略在长尾事件中的安全性和鲁棒性。

Comments Accepted to AAAI 2026

Semantic Misalignment in Vision-Language Models under Perceptual Degradation

视觉-语言模型在感知退化下的语义错位

Guo Cheng

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本研究探讨了视觉-语言模型在感知退化下的语义错位问题，发现传统分割指标的下降并未影响下游行为，揭示了像素鲁棒性与多模态语义可靠性之间的脱节。

Comments 10 pages, 4 figures, 6 tables

SDEval: Safety Dynamic Evaluation for Multimodal Large Language Models

SDEval: 多模态大语言模型的安全动态评估

Hanqing Wang, Yuan Tian, Mingyu Liu, Zhenhao Zhang, Xiangyang Zhu

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SDEval通过动态调整安全基准分布和复杂度，提升多模态大语言模型的安全评估效果，缓解数据污染并揭示模型安全局限。

Comments AAAI 2026 poster

Intra-Class Probabilistic Embeddings for Uncertainty Estimation in Vision-Language Models

类内概率嵌入用于视觉-语言模型中的不确定性估计

Zhenxiang Lin, Maryam Haghighat, Will Browne, Dimity Miller

机构 * Queensland University of Technology（昆士兰理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本研究提出一种无需训练的后处理方法，通过类内概率嵌入提升视觉-语言模型的不确定性估计，有效检测错误预测。

Comments Accepted at the IEEE/CVF Winter Conference on Applications of Computer Vision 2026

Self-Improving VLM Judges Without Human Annotations

无需人工标注的自改进VLM评判模型

Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad

机构 * FAIR at Meta（Meta 的 FAIR） ； University of Washington（华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 无需人工标注，通过自训练提升VLM评判模型的准确性和多维度表现

Med-VCD: Mitigating Hallucination for Medical Large Vision Language Models through Visual Contrastive Decoding

Med-VCD: 通过视觉对比解码缓解医疗大视觉语言模型的幻觉问题

Zahra Mahdavi, Zahra Khodakaramimaghsoud, Hooman Khaloo, Sina Bakhshandeh Taleshani, Erfan Hashemi, Javad Mirzapour Kaleybar, Omid Nejati Manzari

机构 * Department of computer science, University of Central Florida, Orlando, USA（计算机科学系，中央佛罗里达大学） ； Department of Bioengineering, University of Pennsylvania, Philadelphia, PA, USA（生物工程系，宾夕法尼亚大学） ； Department of electrical engineering, Columbia university, New York, NY, USA（电气工程系，哥伦比亚大学） ； Technical University of Applied Sciences Regensburg, Regensburg, Germany（应用科学技术大学（雷根斯堡）） ； Department of Surgery, University of Calgary, Calgary, Alberta, Canada（外科系，卡尔加里大学） ； University College of Nabi Akram, Tabriz, Iran（纳比阿克兰大学） ； School of Electrical Engineering, Iran University of Science and Technology, Tehran, Iran（电气工程学院，伊朗科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 Med-VCD通过视觉对比解码方法提升医疗大视觉语言模型的事实准确性与幻觉准确性，减少幻觉输出并提高推理效率。

Journal ref Computers in Biology and Medicine (2026)

RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving

RoboDriveVLM：一种面向自动驾驶鲁棒视觉-语言模型的新型基准与基线

Dacheng Liao, Mengshi Qi, Peng Shu, Zhining Zhang, Yuxin Lin, Liang Liu, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 RoboDriveVLM提出了一种新型基准和基线，用于评估视觉-语言模型在自动驾驶中的鲁棒性，通过模拟多种腐蚀场景提升系统可靠性。

A Comprehensive Survey and Guide to Multimodal Large Language Models in Vision-Language Tasks

多模态大语言模型在视觉-语言任务中的综合综述与指南

Chia Xin Liang, Pu Tian, Caitlyn Heqi Yin, Yao Yua, Wei An-Hou, Li Ming, Xinyuan Song, Tianyang Wang, Ziqian Bi, Ming Liu

机构 * JTB Technology Corp.（JTB技术公司） ； Stockton University（斯托顿大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； AppCubic USA（AppCubic美国公司） ； Nomad Sustaintech LTD（Nomad可持续科技有限公司） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） ； University of Liverpool（利物浦大学） ； Indiana University（印第安纳大学） ； Purdue University（普渡大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型在视觉-语言任务中的应用，探讨了其架构、训练方法及挑战，并提供了理论与实践的全面指南。

TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models

TOFA: 无需训练的一次性联邦适应用于视觉-语言模型

Li Zhang, Zhongxuan Han, XiaoHua Feng, Jiaming Zhang, Yuyuan Li, Linbo Jiang, Jianan Lin, Chaochao Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。

Comments Accepted by AAAI 2026

Breaking Language Barriers or Reinforcing Bias? A Study of Gender and Racial Disparities in Multilingual Contrastive Vision Language Models

Zahraa Al Sahili, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London（伦敦大学玛丽女王学院） ； Institut Jožef Stefan（乔泽夫·斯蒂芬研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.LG

Comments Accepted at IJCNLP-AACL 2025

One VLM, Two Roles: Stage-Wise Routing and Specialty-Level Deployment for Clinical Workflows

Shayan Vassef, Soorya Ram Shimegekar, Abhay Goyal, Koustuv Saha, Pi Zonooz, Navin Kumar

机构 * Nimblemind USA（Nimblemind公司） ； Florida International University（佛罗里达国际大学） ； University of Illinois - Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

Decoupling Contrastive Decoding: Robust Hallucination Mitigation in Multimodal Large Language Models

Wei Chen, Xin Yan, Bin Wen, Fan Yang, Tingting Gao, Di Zhang, Long Chen

机构 * HKUST（香港科技大学） ； University of Waterloo（滑铁卢大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.LG

Comments 17 pages, 4 figures

SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Aggregation

Guangzhi Su, Shuchang Huang, Yutong Ke, Zhuohang Liu, Long Qian, Kaizhu Huang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.LG

SimpleVSF: VLM-Scoring Fusion for Trajectory Prediction of End-to-End Autonomous Driving

Peiru Zheng, Yun Zhao, Zhan Gong, Hong Zhu, Shaohua Wu

机构 * IEIT Systems（IEIT系统） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

Structure-Aware Cooperative Ensemble Evolutionary Optimization on Combinatorial Problems with Multimodal Large Language Models

Jie Zhao, Kang Hao Cheong

机构 * School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学科学学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

Strategic Fusion of Vision Language Models: Shapley-Credited Context-Aware Dawid-Skene for Multi-Label Tasks in Autonomous Driving

Yuxiang Feng, Keyang Zhang, Hassane Ouchouid, Ashwil Kaniamparambil, Ioannis Souflas, Panagiotis Angeloudis

机构 * Centre for Transport Engineering and Modelling, Department of Civil and Environmental Engineering, Imperial College London（交通工程与建模中心，土木与环境工程系，帝国理工学院伦敦分校） ； ELM Europe（ELM欧洲） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments 8 pages