视觉大模型 / VLM

Taming Stable Diffusion for Computed Tomography Blind Super-Resolution

Chunlei Li, Yilei Shi, Haoxi Hu, Jingliang Hu, Xiao Xiang Zhu, Lichao Mou

机构 * MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司） ； Northeastern University（东北大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Can LLMs Ground when they (Don't) Know: A Study on Direct and Loaded Political Questions

Clara Lachenmaier, Judith Sieker, Sina Zarrieß

机构 * Computational Linguistics, Department of Linguistics Bielefeld University（语言学计算系，语言学系比勒菲尔德大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments Preprint accepted at ACL Main Conference 2025

Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders

Kshitish Ghate, Isaac Slaughter, Kyra Wilson, Mona Diab, Aylin Caliskan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments Accepted to NAACL Main, 2025

Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence

Jinghan He, Kuan Zhu, Haiyun Guo, Junfeng Fang, Zhenglin Hua, Yuheng Jia, Ming Tang, Tat-Seng Chua, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； Southeast University（东南大学） ； Wuhan AI Research（武汉人工智能研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments ACL2025

Mitigating Object Hallucination via Robust Local Perception Search

Zixian Gao, Chao Yang, Zhanhui Zhou, Xing Xu, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Center for Future Media & School of Computer Science and Engineering, University of Electronic Science and Technology of China（未来媒体中心及电子科技大学计算机科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

On the Importance of Text Preprocessing for Multimodal Representation Learning and Pathology Report Generation

Ruben T. Lucassen, Tijn van de Luijtgaarden, Sander P. J. Moonemans, Gerben E. Breimer, Willeke A. M. Blokx, Mitko Veta

机构 * Dept. of Pathology, University Medical Center Utrecht（病理学系，乌得勒支大学医学中心） ； Dept. of Biomedical Engineering, Eindhoven University of Technology（生物医学工程系，埃因霍温理工大学） ； Dept. of Mathematics and Computer Science, Eindhoven University of Technology（数学与计算机科学系，埃因霍温理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments 11 pages, 1 figure

Universal Adversarial Attack on Aligned Multimodal LLMs

Temurbek Rahmatullaev, Polina Druzhinina, Nikita Kurdiukov, Matvey Mikhalchuk, Andrey Kuznetsov, Anton Razzhigaev

机构 * AIRI ； MSU（莫斯科国立大学） ； HSE University（俄罗斯高等经济大学） ； Skoltech（斯克里普钦科技大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

Comments Added benchmarks, baselines, author, appendix

Target Semantics Clustering via Text Representations for Robust Universal Domain Adaptation

Weinan He, Zilei Wang, Yixin Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments Camera-ready version for AAAI 2025

Revolutionizing Radiology Workflow with Factual and Efficient CXR Report Generation

Pimchanok Sukjai, Apiradee Boonmee

机构 * Kasem Bundit University（Kasem Bundit大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Conformal Prediction for Zero-Shot Models

Julio Silva-Rodríguez, Ismail Ben Ayed, Jose Dolz

机构 * ÉTS Montréal（蒙特利尔ÉTS） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments CVPR 2025. Code: https://github.com/jusiro/CLIP-Conformal

AMIA: Automatic Masking and Joint Intention Analysis Makes LVLMs Robust Jailbreak Defenders

Yuqi Zhang, Yuchun Miao, Zuchao Li, Liang Ding

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； The University of Sydney（悉尼大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments 11 pages, 7 figures

SEAR: A Multimodal Dataset for Analyzing AR-LLM-Driven Social Engineering Behaviors

Tianlong Yu, Chenghang Ye, Zheyu Yang, Ziyi Zhou, Cui Tang, Zui Tao, Jun Zhang, Kailong Wang, Liting Zhou, Yang Yang, Ting Bi

机构 * Huazhong University of Science and Technology（华中科技大学） ； Hubei University（湖北大学） ； Dublin City University（都柏林城市大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

ROAD: Responsibility-Oriented Reward Design for Reinforcement Learning in Autonomous Driving

Yongming Chen, Miner Chen, Liewen Liao, Mingyang Jiang, Xiang Zuo, Hengrui Zhang, Yuchen Xi, Songan Zhang

机构 * Global Institute of Future Technology（未来技术全球研究院） ； Shanghai Jiao Tong University（上海交通大学） ； College of Humanities（人文学院） ； Department of Automation（自动化系） ； School of Aeronautics and Astronautics（航空宇航学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.LG

Can We Predict Performance of Large Models across Vision-Language Tasks?

Qinyu Zhao, Ming Xu, Kartik Gupta, Akshay Asthana, Liang Zheng, Stephen Gould

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments ICML2025. Project page: https://github.com/Qinyu-Allen-Zhao/CrossPred-LVLM

Interpreting Social Bias in LVLMs via Information Flow Analysis and Multi-Round Dialogue Evaluation

Zhengyang Ji, Yifan Jia, Shang Gao, Yutao Yue

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Shandong University（山东大学） ； Institute of Deep Perception Technology, JITRI（深度感知技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.AI

MRGAgents: A Multi-Agent Framework for Improved Medical Report Generation with Med-LVLMs

Pengyu Wang, Shuchang Ye, Usman Naseem, Jinman Kim

机构 * University of Sydney（悉尼大学） ； Macquarie University（麦考瑞大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments 10pages

SafeMVDrive: Multi-view Safety-Critical Driving Video Synthesis in the Real World Domain

Jiawei Zhou, Linye Lyu, Zhuotao Tian, Cheng Zhuo, Yu Li

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Single Domain Generalization for Few-Shot Counting via Universal Representation Matching

Xianing Chen, Si Huo, Borui Jiang, Hailin Hu, Xinghao Chen

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments CVPR 2025

An Empirical Study on Configuring In-Context Learning Demonstrations for Unleashing MLLMs' Sentimental Perception Capability

Daiqing Wu, Dongbao Yang, Sicheng Zhao, Can Ma, Yu Zhou

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

SANER: Annotation-free Societal Attribute Neutralizer for Debiasing CLIP

Yusuke Hirota, Min-Hung Chen, Chien-Yi Wang, Yuta Nakashima, Yu-Chiang Frank Wang, Ryo Hachiuma

机构 * NVIDIA ； Osaka University（大阪大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments ICLR 2025

Uni-Retrieval: A Multi-Style Retrieval Framework for STEM's Education

Yanhao Jia, Xinyi Wu, Hao Li, Qinglin Zhang, Yuxiao Hu, Shuai Zhao, Wenqi Fan

机构 * Nanyang Technological University, Singapore（南洋理工大学） ； Shanghai Jiao Tong University, China（上海交通大学） ； Peking University, China（北京大学） ； Hong Kong Polytechnic University, Hong Kong, China（香港理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering

Jianfeng Cai, Wengang Zhou, Zongmeng Zhang, Jiale Hong, Nianji Zhan, Houqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Merchants Union Consumer Finance Company Limited 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Adversarial Attacks of Vision Tasks in the Past 10 Years: A Survey

Chiyu Zhang, Lu Zhou, Xiaogang Xu, Jiafei Wu, Zhe Liu

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； Zhejiang Lab, Nanjing University of Aeronautics and Astronautics（浙江实验室，南京航空航天大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Critique Before Thinking: Mitigating Hallucination through Rationale-Augmented Instruction Tuning

Zexian Yang, Dian Li, Dayan Wu, Gang Liu, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Foundation Technology Center, Tencent PCG（腾讯PCG基础技术中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

TREND: Tri-teaching for Robust Preference-based Reinforcement Learning with Demonstrations

Shuaiyi Huang, Mara Levy, Anubhav Gupta, Daniel Ekpo, Ruijie Zheng, Abhinav Shrivastava

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.CV

Comments ICRA 2025

MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion

Saron Samuel, Dan DeGenaro, Jimena Guallar-Blasco, Kate Sanders, Oluwaseun Eisape, Tanner Spendlove, Arun Reddy, Alexander Martin, Andrew Yates, Eugene Yang, Cameron Carpenter, David Etter, Efsun Kayi, Matthew Wiesner, Kenton Murray, Reno Kriz

机构 * Stanford University（斯坦福大学） ； Georgetown University（乔治城大学） ； Johns Hopkins University（约翰霍普金斯大学） ； UC Berkeley（伯克利大学） ； BYU 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AdaViP: Aligning Multi-modal LLMs via Adaptive Vision-enhanced Preference Optimization

Jinda Lu, Jinghan Li, Yuan Gao, Junkang Wu, Jiancan Wu, Xiang Wang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Are Vision LLMs Road-Ready? A Comprehensive Benchmark for Safety-Critical Driving Video Understanding

Tong Zeng, Longfeng Wu, Liang Shi, Dawei Zhou, Feng Guo

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工学院计算机科学系） ； Virginia Tech Transportation Institute, Virginia Tech（弗吉尼亚理工学院交通研究所） ； Department of Statistics, Virginia Tech（弗吉尼亚理工学院统计学系） 纠错

专题命中 幻觉与鲁棒性 ：visual question answering(abstract)；分类 cs.CV

ShieldGemma 2: Robust and Tractable Image Content Moderation

Wenjun Zeng, Dana Kurniawan, Ryan Mullins, Yuchi Liu, Tamoghna Saha, Dirichi Ike-Njoku, Jindong Gu, Yiwen Song, Cai Xu, Jingjing Zhou, Aparna Joshi, Shravan Dheep, Mani Malek, Hamid Palangi, Joon Baek, Rick Pereira, Karthik Narasimhan

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Hybrid Retrieval for Hallucination Mitigation in Large Language Models: A Comparative Analysis

Chandana Sree Mala, Gizem Gezici, Fosca Giannotti

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI