视觉大模型 / VLM

Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models

迈向通用且可迁移的视觉-语言模型劫持攻击

Kaiyuan Cui, Yige Li, Yutao Wu, Xingjun Ma, Sarah Erfani, Christopher Leckie, Hanxun Huang

机构 * School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系） ； School of Computing and Information Systems, Singapore Management University, Singapore（新加坡管理大学计算机与信息系） ； School of Information Technology, Deakin University, Australia（德肯大学信息科技系） ； Institute of Trustworthy Embodied AI, Fudan University, China（复旦大学可信具身人工智能研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UltraBreak，一种通用且可迁移的视觉-语言模型劫持攻击框架，通过视觉正则化和语义引导的文本监督，有效提升攻击的泛化能力和转移性能。

Comments ICLR 2026

Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models

视觉-语言模型是否具有道德基础？对视觉语言模型脆弱道德的研究

Zhining Liu, Tianyi Wang, Xiao Lin, Penghao Ouyang, Gaotang Li, Ze Yang, Hui Liu, Sumit Keswani, Vishwa Pardeshi, Huijun Zhao, Wei Fan, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； Fidelity Investments（富达投资） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究发现视觉语言模型在面对文本和视觉扰动时道德判断易变，需通过轻量干预提升道德鲁棒性以确保负责任的部署。

Enhancing Vision-Language Model Reliability with Uncertainty-Guided Dropout Decoding

通过不确定性引导的丢弃解码增强视觉-语言模型的可靠性

Yixiong Fang, Ziran Yang, Zhaorun Chen, Zhuokai Zhao, Jiawei Zhou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Princeton University（普林斯顿大学） ； University of Chicago（芝加哥大学） ； Stony Brook University（石溪大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过不确定性引导的丢弃解码方法，有效减少视觉-语言模型的幻觉问题，提升输出的可靠性和质量。

Comments Accepted to 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Semantic-Metric Bayesian Risk Fields: Learning Robot Safety from Human Videos with a VLM Prior

语义-度量贝叶斯风险场：从人类视频中学习机器人安全性的方法

Timothy Chen, Marcus Dominguez-Kuhne, Aiden Swann, Xu Liu, Mac Schwager

机构 * Stanford University（斯坦福大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出基于贝叶斯框架的语义-度量风险场，通过人类视频学习机器人安全风险模型，实现类人风险评估与规划。

IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks

IS-Bench：评估由视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性

Xiaoya Lu, Zeren Chen, Xuhao Hu, Yijin Zhou, Weichen Zhang, Dongrui Liu, Lu Sheng, Jing Shao

机构 * Xiaoya Lu 1, 2（某大学） ； Zeren Chen 2, 3（某大学） ； Xuhao Hu 2, 4（某大学） ； Yijin Zhou 2（某大学） ； Weichen Zhang 2（某大学） ； Dongrui Liu 2（某大学） ； Lu Sheng 3（某研究所） ； Jing Shao 2（某研究所） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 IS-Bench通过多模态基准评估视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性，揭示现有智能体缺乏安全意识的问题。

Adversarial Confusion Attack: Disrupting Multimodal Large Language Models

对抗混淆攻击：破坏多模态大语言模型

Jakub Hoscilowicz, Artur Janicki

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)

AI总结 本文提出对抗混淆攻击，通过生成扰动破坏多模态大语言模型的可靠性，展示其在不同模型上的有效性。

Doubly Debiased Test-Time Prompt Tuning for Vision-Language Models

Fei Song, Yi Li, Rui Wang, Jiahuan Zhou, Changwen Zheng, Jiangmeng Li

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by AAAI2026

Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models

Bin Zhu, Yinxuan Gui, Huiyan Qi, Jingjing Chen, Chong-Wah Ngo, Ee-Peng Lim

机构 * Singapore Management University（新加坡管理大学） ； Fudan University（复旦大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；LLaVA(abstract)

Comments Project website: https://yxg1005.github.io/GaslightingNegationAttacks/

FC-Attack: Jailbreaking Multimodal Large Language Models via Auto-Generated Flowcharts

Ziyi Zhang, Zhen Sun, Zongmin Zhang, Jihui Guo, Xinlei He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to Findings of EMNLP 2025

Social Perception of Faces in a Vision-Language Model

Carina I. Hausladen, Manuel Knott, Colin F. Camerer, Pietro Perona

机构 * California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） ； Computational Social Science（计算社会科学） ； Swiss Data Science Center（瑞士数据科学中心） ； Empa（瑞士联邦材料科学与技术研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Journal ref Published in the Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2025)

A Novel Framework for Automated Explain Vision Model Using Vision-Language Models

Phu-Vinh Nguyen, Tan-Hanh Pham, Chris Ngo, Truong Son Hy

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Innocence in the Crossfire: Roles of Skip Connections in Jailbreaking Visual Language Models

Palash Nandi, Maithili Joshi, Tanmoy Chakraborty

机构 * Department of Electrical Engineering（电气工程系） ； Indian Institute of Technology Delhi（印度理工学院德里） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(title,abstract)；VLM(abstract)

Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models

Junjie Wu, Tsz Ting Chung, Kai Chen, Dit-Yan Yeung

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by TMLR 2025. Project Page: https://kaichen1998.github.io/projects/tri-he/

The Hidden Life of Tokens: Reducing Hallucination of Large Vision-Language Models via Visual Information Steering

Zhuowei Li, Haizhou Shi, Yunhe Gao, Di Liu, Zhenting Wang, Yuxiao Chen, Ting Liu, Long Zhao, Hao Wang, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration

Zhitao He, Sandeep Polisetty, Zhiyuan Fan, Yuchen Huang, Shujin Wu, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； UMass Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of Southern California（南加州大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,abstract)；multimodal large language model(abstract)

Comments 18 pages, ACL 2025

Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance

Linxi Zhao, Yihe Deng, Weitong Zhang, Quanquan Gu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 25 pages, 13 figures, 25 tables

Journal ref In Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

LlavaGuard: An Open VLM-based Framework for Safeguarding Vision Datasets and Models

Lukas Helff, Felix Friedrich, Manuel Brack, Kristian Kersting, Patrick Schramowski

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments In Proceedings of the 42st International Conference on Machine Learning (ICML 2025), Project page at https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html

Continual Learning in Vision-Language Models via Aligned Model Merging

Ghada Sokar, Gintare Karolina Dziugaite, Anurag Arnab, Ahmet Iscen, Pablo Samuel Castro, Cordelia Schmid

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

SEA: Low-Resource Safety Alignment for Multimodal Large Language Models via Synthetic Embeddings

Weikai Lu, Hao Peng, Huiping Zhuang, Cen Chen, Ziqian Zeng

机构 * South China University of Technology, China（华南理工大学） ； Beihang University, China（北航） ； Pazhou Laboratory, China（琶洲实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)

Comments Accepted in ACL 2025 Main Track

Retrieval Visual Contrastive Decoding to Mitigate Object Hallucinations in Large Vision-Language Models

Jihoon Lee, Min Song

机构 * Yonsei University（延世大学） ； Onoma AI 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ACL 2025 Findings camera-ready version. Code is released at https://github.com/JiHoonLee9898/RVCD

Proactive Adversarial Defense: Harnessing Prompt Tuning in Vision-Language Models to Detect Unseen Backdoored Images

Kyle Stein, Andrew Arash Mahyari, Guillermo Francia, Eman El-Sheikh

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

THRONE: An Object-based Hallucination Benchmark for the Free-form Generations of Large Vision-Language Models

Prannay Kaul, Zhizhong Li, Hao Yang, Yonatan Dukler, Ashwin Swaminathan, C. J. Taylor, Stefano Soatto

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments In CVPR 2024. Code https://github.com/amazon-science/THRONE

Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis

Po-Hsuan Huang, Jeng-Lin Li, Chin-Po Chen, Ming-Ching Chang, Wei-Chao Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by WACV2025

Journal ref https://openaccess.thecvf.com/content/WACV2025/papers/Huang_Who_Brings_the_Frisbee_Probing_Hidden_Hallucination_Factors_in_Large_WACV_2025_paper.pdf

Words or Vision: Do Vision-Language Models Have Blind Faith in Text?

Ailin Deng, Tri Cao, Zhirui Chen, Bryan Hooi

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to CVPR 2025

MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation

Chenxi Wang, Xiang Chen, Ningyu Zhang, Bozhong Tian, Haoming Xu, Shumin Deng, Huajun Chen

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICLR 2025

Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models

Hengyi Wang, Haizhou Shi, Shiwei Tan, Weiyi Qin, Wenyuan Wang, Tunyu Zhang, Akshay Nambi, Tanuja Ganu, Hao Wang

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at NAACL 2025 Main

Towards Robust Multimodal Large Language Models Against Jailbreak Attacks

Ziyi Yin, Yuanpu Cao, Han Liu, Ting Wang, Jinghui Chen, Fenhlong Ma

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)

Internal Activation Revision: Safeguarding Vision Language Models Without Parameter Update

Qing Li, Jiahui Geng, Zongxiong Chen, Kun Song, Lei Ma, Fakhri Karray

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Evaluating Hallucination in Large Vision-Language Models based on Context-Aware Object Similarities

Shounak Datta, Dhanasekar Sundararaman

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

MSTS: A Multimodal Safety Test Suite for Vision-Language Models

Paul Röttger, Giuseppe Attanasio, Felix Friedrich, Janis Goldzycher, Alicia Parrish, Rishabh Bhardwaj, Chiara Di Bonaventura, Roman Eng, Gaia El Khoury Geagea, Sujata Goswami, Jieun Han, Dirk Hovy, Seogyeong Jeong, Paloma Jeretič, Flor Miriam Plaza-del-Arco, Donya Rooein, Patrick Schramowski, Anastassia Shaitarova, Xudong Shen, Richard Willats, Andrea Zugarini, Bertie Vidgen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)

Comments under review