视觉大模型 / VLM

RefAV: Towards Planning-Centric Scenario Mining

RefAV：面向规划导向的场景挖掘

Cainan Davidson, Deva Ramanan, Neehar Peri

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 RefAV通过视觉-语言模型改进场景挖掘，解决自动驾驶中复杂多智能体交互的定位问题。

Comments Project Page: https://cainand.github.io/RefAV/

LLM-CAS: Dynamic Neuron Perturbation for Real-Time Hallucination Correction

LLM-CAS: 动态神经元扰动用于实时幻觉修正

Jensen Zhang, Ningyuan Liu, Yijia Fan, Zihao Huang, Qinglin Zeng, Kaitong Cai, Jian Wang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Snap Inc（Snap公司） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 LLM-CAS通过动态神经元扰动实现实时幻觉修正，提升大型语言模型的事实准确性。

Comments Accepted at AAAI 2026

Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization

通过理论一致的对称多模态偏好优化缓解幻觉

Wenqi Liu, Xuemeng Song, Jiaxi Li, Yinwei Wei, Na Zheng, Jianhua Yin, Liqiang Nie

机构 * Shandong University（山东大学） ； Southern University of Science and Technology（南方科技大学） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 SymMPO通过理论一致的对称多模态偏好优化方法，有效缓解多模态大语言模型中的幻觉问题。

Comments NeurIPS 2025

On the dynamic evolution of CLIP texture-shape bias and its relationship to human alignment and model robustness

CLIP纹理-形状偏倚的动态演变及其与人类对齐和模型鲁棒性的关系

Pablo Hernández-Cámara, Jose Manuel Jaén-Lorites, Alexandra Gómez-Villa, Jorge Vila-Tomás, Valero Laparra, Jesus Malo

机构 * Image Processing Lab, Universitat de Valencia, Spain（瓦伦西亚大学图像处理实验室） ； Centro de Biomateriales e Ingenieria Tisular, Universitat Politecnica de Valencia, Spain（瓦伦西亚理工大学生物材料与组织工程中心） ； Computer Vision Center, Spain（西班牙计算机视觉中心） ； Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文研究CLIP模型在训练过程中纹理-形状偏倚的演变，揭示其与人类感知对齐及模型鲁棒性的关系。

KOSS: Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling

KOSS：基于卡尔曼最优选择状态空间的长期序列建模

Lei Wang, Xin Tan, Mingwei Wang, Ying Zhang

机构 * School of Electronic Information（电子信息学院） ； Artificial Intelligence, Shaanxi University of Science（人工智能，陕西科技大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 KOSS通过卡尔曼最优选择机制，在长期序列建模中实现高效且鲁棒的上下文感知选择，显著提升预测准确性和稳定性。

Emergence: Overcoming Privileged Information Bias in Asymmetric Embodied Agents via Active Querying

涌现：通过主动查询克服不对称具身智能体中的特权信息偏差

Shaun Baek, Sam Liu, Joseph Ukpong

机构 * Emory University（埃默里大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文通过主动查询机制解决不对称具身智能体中的特权信息偏差问题，揭示了沟通接地错误对协作成功率的影响。

Comments 12 pages, 9 pages of content, 6 tables, 5 figures

Explainable AI as a Double-Edged Sword in Dermatology: The Impact on Clinicians versus The Public

可解释AI在皮肤科中的双刃剑作用：对医生与公众的影响

Xuhai Xu, Haoyu Hu, Haoran Zhang, Will Ke Wang, Reina Wang, Luis R. Soenksen, Omar Badri, Sheharbano Jafry, Elise Burger, Lotanna Nwandu, Apoorva Mehta, Erik P. Duhaime, Asif Qasim, Hause Lin, Janis Pereira, Jonathan Hershon, Paulius Mui, Alejandro A. Gru, Noémie Elhadad, Lena Mamykina, Matthew Groh, Philipp Tschandl, Roxana Daneshjou, Marzyeh Ghassemi

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究探讨了可解释AI在皮肤科诊断中的影响，发现不同专业背景的人对XAI的反应不同，LLM在医疗AI中具有双刃剑效应。

Noise Matters: Optimizing Matching Noise for Diffusion Classifiers

噪声至关重要：优化扩散分类器的匹配噪声

Yanghao Wang, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出NoOp方法，通过频率匹配和空间匹配原则优化扩散分类器的噪声，以提升分类稳定性与效率。

How Do LLMs Fail In Agentic Scenarios? A Qualitative Analysis of Success and Failure Scenarios of Various LLMs in Agentic Simulations

大型语言模型在代理场景中为何失败？对各种LLM在代理模拟中成功与失败场景的定性分析

JV Roig

机构 * Kamiwaza AI 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 研究分析了LLM在代理任务中的失败原因，发现模型规模不决定鲁棒性，强调训练和设计对可靠性的重要性。

Comments 48 pages, 3 tables, 2 listings

Hallucination reduction with CASAL: Contrastive Activation Steering For Amortized Learning

通过CASAL减少幻觉：对比激活引导用于近似学习

Wannan, Yang, Xinchi Qiu, Lei Yu, Yuchen Zhang, Aobo Yang, Narine Kokhlikyan, Nicola Cancedda, Diego Garcia-Olano

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； New York University（纽约大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 CASAL通过对比激活引导减少LLM幻觉，提升模型可解释性和实用性，适用于多种模型架构。

Chameleon: Adaptive Adversarial Agents for Scaling-Based Visual Prompt Injection in Multimodal AI Systems

Chameleon：基于尺度的视觉提示注入的自适应对抗代理

M Zeeshan, Saud Satti

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 Chameleon是一种自适应对抗框架，通过动态优化图像扰动来暴露和利用多模态AI系统中的缩放漏洞，显著提高攻击成功率并影响决策准确性。

Comments 5 pages, 2 figures, IEEE Transactions on Dependable and Secure Computing

The Duality of Generative AI and Reinforcement Learning in Robotics: A Review

生成式人工智能与强化学习在机器人中的双重性：综述

Angelo Moroncelli, Vishal Soni, Marco Forgione, Dario Piga, Blerina Spahiu, Loris Roveda

机构 * SUPSI（瑞士苏黎世联邦理工学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文综述了生成式人工智能与强化学习在机器人中的双重性，探讨了两者的整合方法、挑战及未来研究方向。

Comments Submitted for publication to Information Fusion

Journal ref Information Fusion Volume 129, May 2026, 104003

Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities

基于上下文的图像攻击：如何通过视觉上下文暴露多模态安全漏洞

Yuan Xiong, Ziqi Miao, Lijun Li, Chen Qian, Jie Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出上下文图像攻击方法，通过多智能体系统和四种可视化策略，有效利用图像的上下文信息对多模态大语言模型进行劫持攻击，实验结果显示攻击效果优于现有方法。

UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries

UNION: 一种轻量级的目标表示用于高效零样本图像引导检索与可选文本查询

Hoang-Bao Le, Allie Tran, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 UNION通过融合图像嵌入与空文本提示，实现高效零样本图像引导检索，仅需5,000训练样本即在多个基准测试中超越传统基线。

Comments Accepted at ICDM - MMSR Workshop 2025

Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding

对多模态大语言模型在视频理解中的可信度进行基准测试

Youze Wang, Zijun Chen, Ruoyu Chen, Shishen Gu, Wenbo Hu, Jiayang Liu, Yinpeng Dong, Hang Su, Jun Zhu, Meng Wang, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本研究提出Trust-videoLLMs基准，评估23种视频LLMs在真实性、鲁棒性、安全性和隐私等方面的表现，揭示其在动态场景理解及现实风险缓解中的局限性。

Fighting AI with AI: Leveraging Foundation Models for Assuring AI-Enabled Safety-Critical Systems

用AI对抗AI：利用基础模型确保AI赋能的安全关键系统

Anastasia Mavridou, Divya Gopinath, Corina S. Păsăreanu

机构 * KBR Inc.（KBR公司） ； NASA Ames（美国国家航空航天局阿姆斯研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.AI

AI总结 本文提出利用AI技术解决安全关键系统中AI保证问题，通过REACT和SemaLens两个组件实现需求工程与感知系统验证。

Bias in the Picture: Benchmarking VLMs with Social-Cue News Images and LLM-as-Judge Assessment

图像中的偏见：使用社会线索新闻图像和LLM作为裁判的基准测试

Aravind Narayanan, Vahid Reza Khazaie, Shaina Raza

机构 * Vector Institute for AI（向量人工智能研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文通过社会线索新闻图像基准测试，揭示了VLMs在视觉上下文中存在系统性偏见，特别是性别和职业属性，指出高忠实度并不必然降低偏见，提出公平的多模态评估方法。

Comments Accepted to NeurIPS 2025 Workshop (Evaluating the Evolving LLM Lifecycle)

An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs

一张图像等于一万字：针对视觉语言模型的冗余文本诱导攻击

Zhi Luo, Zenghui Yuan, Wenqi Wei, Daizong Liu, Pan Zhou

机构 * Huazhong University of Science and Technology（华中科技大学） ； Fordham University（福特汉姆大学） ； Wuhan University（武汉大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种针对视觉语言模型的冗余文本诱导攻击，通过两阶段框架生成恶意图像以诱导模型生成冗长文本，提升攻击效果与可控性。

Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantification, Advanced Decoding, and Principled Mitigation

Moses Kiprono

机构 * Catholic University of America（美国天主教大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments 10 pages, theoretical/mathematical LLM research, no figures, intended for peer-reviewed journal

Governance-Ready Small Language Models for Medical Imaging: Prompting, Abstention, and PACS Integration

Yiting Wang, Ziwei Wang, Di Zhu, Jiachen Zhong, Weiyi Li

机构 * Department of Data Science, University of Southern California（数据科学系，南加州大学） ； Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学） ； Department of Computer Science and Engineering, Santa Clara University（计算机科学与工程系，圣克拉拉大学） ； Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学） ； School of Computer Science, Georgia Institute of Technology（计算机科学学院，佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV

Comments Under Review

EventHallusion: Diagnosing Event Hallucinations in Video LLMs

Jiacheng Zhang, Yang Jiao, Shaoxiang Chen, Na Zhao, Zhiyu Tan, Hao Li, Xingjun Ma, Jingjing Chen

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization

Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Beyond Pixels: Semantic-aware Typographic Attack for Geo-Privacy Protection

Jiayi Zhu, Yihao Huang, Yue Cao, Xiaojun Jia, Qing Guo, Felix Juefei-Xu, Geguang Pu, Bin Wang

机构 * Hangzhou Institute of Technology, Xidian University, China（杭州科技学院，西安电子科技大学，中国） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； New York University（纽约大学） ； East China Normal University（华东师范大学） ； Hikvision Digital Technology Co., Ltd（海康威视数字技术有限公司） ； Shanghai Industrial Control Safety Innovation Tech. Co., Ltd（上海工业控制安全创新技术有限公司） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；分类 cs.CV

Fooling the LVLM Judges: Visual Biases in LVLM-Based Evaluation

Yerin Hwang, Dongryeol Lee, Kyungmin Min, Taegwan Kang, Yong-il Kim, Kyomin Jung

机构 * IPAI, Seoul National University（IPAI，首尔国立大学） ； Dept. of ECE, Seoul National University（电子工程系，首尔国立大学） ； LG AI Research（LG人工智能研究） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments EMNLP 2025 Main (21pgs, 12 Tables, 9 Figures)

AccKV: Towards Efficient Audio-Video LLMs Inference via Adaptive-Focusing and Cross-Calibration KV Cache Optimization

Zhonghua Jiang, Kui Chen, Kunxi Li, Keting Yin, Yiyun Zhou, Zhaode Wang, Chengfei Lv, Shengyu Zhang

专题命中 幻觉与鲁棒性 ：visual question answering(abstract)；分类 cs.CV

Preserving Cross-Modal Consistency for CLIP-based Class-Incremental Learning

Haoran Chen, Houze Xu, Micah Goldblum, Daoguo Dong, Zuxuan Wu

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Columbia University（哥伦比亚大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Causal-HalBench: Uncovering LVLMs Object Hallucinations Through Causal Intervention

Zhe Xu, Zhicai Wang, Junkang Wu, Jinda Lu, Xiang Wang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments accepted for publication in the Association for the Advancement of Artificial Intelligence (AAAI), 2026

EcomMMMU: Strategic Utilization of Visuals for Robust Multimodal E-commerce Models

Xinyi Ling, Hanwen Du, Zhihui Zhu, Xia Ning

机构 * Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） ； Translational Data Analytics Institute, The Ohio State University（俄亥俄州立大学转化数据分析研究所） ； Department of Biomedical Informatics, The Ohio State University（俄亥俄州立大学生物医学信息学系） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

Comments ICJNLP-AACL 2025

Graph of Attacks with Pruning: Optimizing Stealthy Jailbreak Prompt Generation for Enhanced LLM Content Moderation

Daniel Schwartz, Dmitriy Bespalov, Zhe Wang, Ninad Kulkarni, Yanjun Qi

机构 * Amazon Bedrock Science（亚马逊Bedrock科学） ； Drexel University（德雷塞尔大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.AI

Comments 14 pages, 5 figures; published in EMNLP 2025 ; Code at: https://github.com/dsbuddy/GAP-LLM-Safety

Ultra-Light Test-Time Adaptation for Vision--Language Models

Byunghyun Kim

机构 * Kyungpook National University（庆尚国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments 7 pages