视觉大模型 / VLM

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

机构 * Sensetime（秒氏科技） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Occlusion Robustness of CLIP for Military Vehicle Classification

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments To be presented at SPIE: Sensors + Imaging, Artificial Intelligence for Security and Defence Applications II

Scale, Don't Fine-tune: Guiding Multimodal LLMs for Efficient Visual Place Recognition at Test-Time

Jintao Cheng, Weibin Li, Jiehao Luo, Xiaoyu Tang, Zhijian He, Jin Wu, Yao Zou, Wei Zhang

机构 * Hong Kong University of Science（香港科学与技术大学） ； South China Normal University, Shanwei, Guangdong, China（华南师范大学，汕尾，广东，中国） ； Shenzhen Technology University, Shenzhen, Guangdong, China（深圳科技大学，深圳，广东，中国） ； University of Science（科学大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AT-CXR: Uncertainty-Aware Agentic Triage for Chest X-rays

Xueyang Li, Mingze Jiang, Gelei Xu, Jun Xia, Mengzhao Jia, Danny Chen, Yiyu Shi

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Semantically Guided Adversarial Testing of Vision Models Using Language Models

Katarzyna Filus, Jorge M. Cruz-Duarte

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所） ； University of Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments 12 pages, 4 figures, 3 tables. Submitted for peer review

Analyzing Finetuning Representation Shift for Multimodal LLMs Steering

Pegah Khayatan, Mustafa Shukor, Jayneel Parekh, Arnaud Dapogny, Matthieu Cord

机构 * ISIR, Sorbonne Université（ISIR，索邦大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025. The first three authors contributed equally. Project page and code: https://pegah- kh.github.io/projects/lmm-finetuning-analysis-and-steering/

ChartCap: Mitigating Hallucination of Dense Chart Captioning

Junyoung Lim, Jaewoo Ahn, Gunhee Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 (Highlight)

TAPS : Frustratingly Simple Test Time Active Learning for VLMs

Dhruv Sarkar, Aprameyo Chakrabartty, Bibhudatta Bhanja

机构 * IIT Kharagpur（印度理工学院Kharagpur分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Blind Spot Navigation: Evolutionary Discovery of Sensitive Semantic Concepts for LVLMs

Zihao Pan, Yu Tong, Weibin Wu, Jingyi Wang, Lifeng Chen, Zhe Zhao, Jiajia Wei, Yitong Qiao, Zibin Zheng

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments The paper needs major revisions, so it is being withdrawn

Calibrated and Robust Foundation Models for Vision-Language and Medical Image Tasks Under Distribution Shift

Behraj Khan, Tahir Qasim Syed, Nouman M. Durrani, Bilal Naseem, Shabir Ahmad, Rizwan Qureshi

机构 * Institute of Business Administration Karachi（Karachi商业管理学院） ； National University of Computer and Emerging Sciences（国家计算机与新兴科学大学） ； CAIMI Pvt Ltd（CAIMI私营有限公司） ； Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，佛罗里达大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Adaptation of Multi-modal Representation Models for Multi-task Surgical Computer Vision

Soham Walimbe, Britty Baby, Vinkle Srivastav, Nicolas Padoy

机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, Strasbourg, France（斯特拉斯堡大学，法国国家科学研究中心（CNRS），法国国家卫生研究院（INSERM），ICube，UMR7357，斯特拉斯堡） ； Institute of Image-Guided Surgery, IHU Strasbourg, Strasbourg, France（影像引导手术研究所，斯特拉斯堡IHU，斯特拉斯堡） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

BiMa: Towards Biases Mitigation for Text-Video Retrieval via Scene Element Guidance

Huy Le, Nhat Chung, Tung Kieu, Anh Nguyen, Ngan Le

机构 * FPT Software AI Center（FPT软件AI中心） ； Aalborg University（奥尔堡大学） ； Pioneer Centre for AI（先锋人工智能中心） ； University of Liverpool（利物浦大学） ； AICV Lab, University of Arkansas（AICV实验室，阿肯色大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted at ACM MM 2025

Helping CLIP See Both the Forest and the Trees: A Decomposition and Description Approach

Leyan Xue, Zongbo Han, Guangyu Wang, Qinghua Hu, Mingyue Cheng, Changqing Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Generative Data Mining with Longtail-Guided Diffusion

David S. Hayden, Mao Ye, Timur Garipov, Gregory P. Meyer, Carl Vondrick, Zhao Chen, Yuning Chai, Eric Wolff, Siddhartha S. Srinivasa

机构 * OpenAI ； Colombia University（哥伦比亚大学） ； Meta 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.AI、cs.LG

Comments 20 pages

Journal ref Proceedings of the 42nd International Conference on Machine Learning (ICML), 2025

Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ?

Kailas Dayanandan, Nikhil Kumar, Anand Sinha, Brejesh Lall

机构 * Indian Institute of Technology Delhi（印度理工学院德里） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI

ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities

Adhiraj Ghosh, Sebastian Dziadzio, Ameya Prabhu, Vishaal Udandarao, Samuel Albanie, Matthias Bethge

机构 * Tübingen AI Centre（图宾根人工智能中心） ； University of Tübingen（图宾根大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Stop learning it all to mitigate visual hallucination, Focus on the hallucination target

Dokyoon Yoon, Youngsook Song, Woomyong Park

机构 * SIONIC AI 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to CVPR 2025

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025

Self-interpreting Adversarial Images

Tingwei Zhang, Collin Zhang, John X. Morris, Eugene Bagdasarian, Vitaly Shmatikov

机构 * Cornell Tech（康奈尔科技） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；分类 cs.AI、cs.LG

Comments in USENIX Security 2025

Benchmark Granularity and Model Robustness for Image-Text Retrieval

Mariya Hendriksen, Shuo Zhang, Ridho Reinanda, Mohamed Yahya, Edgar Meij, Maarten de Rijke

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments accepted at SIGIR 2025

Vid-SME: Membership Inference Attacks against Large Video Understanding Models

Qi Li, Runpeng Yu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs

Wenxuan Wang, Xiaoyuan Liu, Kuiyi Gao, Jen-tse Huang, Youliang Yuan, Pinjia He, Shuai Wang, Zhaopeng Tu

机构 * Renmin University of China（中国人民大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Chinese University of Hong Kong（香港中文大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by ACL 2025

Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward

Zhiyuan Fan, Yumeng Wang, Sandeep Polisetty, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to ACL 2025 Findings

From Hallucinations to Jailbreaks: Rethinking the Vulnerability of Large Foundation Models

Haibo Jin, Peiyan Zhang, Peiran Wang, Man Luo, Haohan Wang

机构 * School of Information Sciences University of Illinois at Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） ； Computer Science and Engineering HKUST（计算机科学与工程香港科技大学） ； Computer Science Department University of California, Los Angeles（计算机科学系加州大学洛杉矶分校） ； Research Scientist, Intel Labs（英特尔实验室研究员） ； School of Information Sciences University of Illinois Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV、cs.AI

Benign-to-Toxic Jailbreaking: Inducing Harmful Responses from Harmless Prompts

Hee-Seon Kim, Minbeom Kim, Wonjun Lee, Kihyun Kim, Changick Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments LVLM, Jailbreak

EmoNet-Face: An Expert-Annotated Benchmark for Synthetic Emotion Recognition

Christoph Schuhmann, Robert Kaczmarczyk, Gollam Rabby, Felix Friedrich, Maurice Kraus, Krishna Kalyan, Kourosh Nadi, Huu Nguyen, Kristian Kersting, Sören Auer

机构 * LAION e.V.（LAION研究所） ； Technical University of Munich（慕尼黑技术大学） ； L3S Research Center Leibniz University of Hannover（汉诺威莱布尼茨大学L3S研究中心） ； TU Darmstadt（达姆施塔特技术大学） ； DFKI（德意志联邦防务研究所） ； TIB–Leibniz Information Centre for Science and Technology L3S Research Center Leibniz University of Hannover（莱布尼茨科学与技术信息中心L3S研究中心汉诺威莱布尼茨大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Seeing It or Not? Interpretable Vision-aware Latent Steering to Mitigate Object Hallucinations

Boxu Chen, Ziwei Zheng, Le Yang, Zeyu Geng, Zhengyu Zhao, Chenhao Lin, Chao Shen

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Safe RLHF-V: Safe Reinforcement Learning from Multi-modal Human Feedback

Jiaming Ji, Xinyu Chen, Rui Pan, Conghui Zhang, Han Zhu, Jiahao Li, Donghai Hong, Boyuan Chen, Jiayi Zhou, Kaile Wang, Juntao Dai, Chi-Min Chan, Yida Tang, Sirui Han, Yike Guo, Yaodong Yang

机构 * Peking University（北京大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

Learning Novel Skills from Language-Generated Demonstrations

Ao-Qun Jin, Tian-Yu Xiang, Xiao-Hu Zhou, Mei-Jiang Gui, Xiao-Liang Xie, Shi-Qi Liu, Shuang-Yi Wang, Yue Cao, Sheng-Bin Duan, Fu-Chao Xie, Zeng-Guang Hou

机构 * Institute of Automation Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, International Conference on Learning Representations (ICLR) 2025 Workshop on Generative Models for Robot Learning (GenBot)

SafeVid: Toward Safety Aligned Video Large Multimodal Models

Yixu Wang, Jiaxin Song, Yifeng Gao, Xin Wang, Yang Yao, Yan Teng, Xingjun Ma, Yingchun Wang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV、cs.AI

CUBIC: Concept Embeddings for Unsupervised Bias Identification using VLMs

David Méndez, Gianpaolo Bontempo, Elisa Ficarra, Roberto Confalonieri, Natalia Díaz-Rodríguez

机构 * Dept. of Computer Science and Artificial Intelligence, DaSCI Institute, University of Granada（计算机科学与人工智能系，DaSCI研究所，格拉纳达大学） ； Dept. of Engineering ”Enzo Ferrari”, University of Modena and Reggio Emilia（工程系，摩德纳和雷吉奥艾米利亚大学） ； Dept. of Mathematics ’Tullio Levi-Civita’, University of Padova（数学系，帕多瓦大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 3 figures, 5 tables. Accepted at IJCNN 2025; to appear in IEEE Xplore