On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI 大模型
视觉大模型 / VLM
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
1. 幻觉与鲁棒性 2242 篇
SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models
机构 * West China Biomedical Big Data Center, West China Hospital, SCU（西昌生物医学大数据中心、西昌医院、SCU） ； NTU ； USTC ； TeleAI, China Telecom（TeleAI、中国电信） ； BUPT ； Tsinghua University（清华大学） ； HKUST(Guangzhou)（HKUST（广州））
专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.LG
Surgeons Are Indian Males and Speech Therapists Are White Females: Auditing Biases in Vision-Language Models for Healthcare Professionals
机构 * University of Louisiana at Lafayette（路易斯安那大学拉斐特分校） ； Aligarh Muslim University（阿尔瓦格穆斯林大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI
SIA: Enhancing Safety via Intent Awareness for Vision-Language Models
机构 * VLM Safety LAB, MODULABS（视觉语言模型安全实验室，MODULABS） ； ETRI（电子技术研究院） ； KAIST（韩国科学技术院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments Accepted to Safe and Trustworthy Multimodal AI Systems(SafeMM-AI) Workshop at ICCV2025, Non-archival track
Do Vision-Language Models See Urban Scenes as People Do? An Urban Perception Benchmark
机构 * Université de Montréal（蒙特利尔大学） ； Mila – Quebec AI Institute（魁北克人工智能研究所）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models
机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG
Comments 39 pages, 25 figures, preprint
ImgTrojan: Jailbreaking Vision-Language Models with ONE Image
机构 * The University of Hong Kong（香港大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI
EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models
机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments 29 pages, 6 figures
Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization
机构 * Soochow University（苏州大学） ； Baidu Inc.（百度公司） ； Shandong University（山东大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title)；visual language model(abstract)；分类 cs.CV、cs.AI
Comments This paper is accepted by EMNLP2025
Defense-to-Attack: Bypassing Weak Defenses Enables Stronger Jailbreaks in Vision-Language Models
机构 * Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments This work has been submitted to the IEEE for possible publication
Adversarial Prompt Distillation for Vision-Language Models
机构 * Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理实验室，计算机科学学院，复旦大学） ； The Chinese University of Hong Kong, Shatin, Hong Kong（香港中文大学，沙田，香港） ； The University of Hong Kong, Pokfulam, Hong Kong（香港大学，薄扶林，香港）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments This work has been submitted to the IEEE for possible publication
MoPD: Mixture-of-Prompts Distillation for Vision-Language Models
机构 * Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系，南方科技大学） ； School of Mathematical and Computer Sciences, University of Adelaide（数学与计算机科学学院，阿德莱德大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning
机构 * University of Science and Technology of China（中国科学技术大学） ； NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
Comments CVPR 2025 (Corrected the results on the Aircraft dataset)
Enhancing Visual Reliance in Text Generation: A Bayesian Perspective on Mitigating Hallucination in Large Vision-Language Models
机构 * Beihang University（北航大学） ； Tencent WXG（腾讯 WXG）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
B-AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Black-box Adversarial Visual-Instructions
机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Osaka University（大阪大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments Accepted by IEEE Transactions on Information Forensics & Security
Towards Effective MLLM Jailbreaking Through Balanced On-Topicness and OOD-Intensity
专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
Freeze and Reveal: Exposing Modality Bias in Vision-Language Models
机构 * IIIT Hyderabad
专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI
What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models?
机构 * Center for Advanced Intelligence Project, RIKEN（先进智能项目中心，日本理化学研究所） ； Southeast University（东南大学） ； The University of Tokyo（东京大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
Navigating the Trade-off: A Synthesis of Defensive Strategies for Zero-Shot Adversarial Robustness in Vision-Language Models
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
INTER: Mitigating Hallucination in Large Vision-Language Models by Interaction Guidance Sampling
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments Accepted by ICCV 2025
Hierarchical Safety Realignment: Lightweight Restoration of Safety in Pruned Large Vision-Language Models
机构 * East China Normal University（华东师范大学） ； Hasso Plattner Institute/University of Potsdam（哈索普劳特纳研究所/波茨坦大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
Comments ACL 2025 Findings
PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Projection
机构 * Queen’s University（皇后大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
Comments Accepted to ICCV 2025
Robust Multimodal Large Language Models Against Modality Conflict
机构 * School of Artificial Intelligence（人工智能学院） ； Data Science, University of Science（数据科学，科学大学） ； Department of Electronic Engineering（电子工程系） ； Information Science, University of Science（信息科学，科学大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI
Comments ICML 2025
SEAL: Vision-Language Model-Based Safe End-to-End Cooperative Autonomous Driving with Adaptive Long-Tail Modeling
机构 * Department of Civil and Environmental Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学 computing and Data Science 学院） ； College of Transportation, Tongji University（同济大学交通运输学院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
On the Domain Robustness of Contrastive Vision-Language Models
机构 * KI-Werkstatt/Fachbereich 2, University of Applied Sciences Berlin（柏林应用技术大学人工智能工作室/第二学系）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
Comments Deepbench is available at https://github.com/ml-lab-htw/deepbench
CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Central South University（中南大学） ； Huawei Technologies Co., Ltd（华为技术有限公司）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments ACL2025 Main
SafeCoT: Improving VLM Safety with Minimal Reasoning
机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学）
专题命中 幻觉与鲁棒性 ：VLM(title)；vision-language model(abstract)；分类 cs.AI、cs.LG
Mixture of Decoding: An Attention-Inspired Adaptive Decoding Strategy to Mitigate Hallucinations in Large Vision-Language Models
机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新技术实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Kuaishou Technology（快手科技） ； Nanjing University（南京大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
Comments Accepted to Findings of ACL 2025
Mitigating Behavioral Hallucination in Multimodal Large Language Models for Sequential Images
机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能与数据分析实验室） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） ； University of Electronic Science and Technology of China（中国电子科学技术大学） ； University of Copenhagen（哥本哈根大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI
FREE: Fast and Robust Vision Language Models with Early Exits
机构 * Department of IEOR, IIT Bombay（工业工程与运营研究系，印度理工学院班加罗尔）
专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.LG
Comments To appear at the Association of Computational Linguistics (ACL) 2025 Conference
