视觉大模型 / VLM

ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM

ASCD：用于减少多模态大语言模型（MLLM）幻觉的注意力可导向对比解码

Yujun Wang, Aniri, Jinhe Bi, Soeren Pirk, Yunpu Ma

专题命中 视觉问答 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对MLLM的幻觉问题，提出ASCD方法，通过正负引导调整解码时的注意力分数，在多基准上显著减少幻觉并提升VQA准确率，且无需额外训练。

Comments Accepted at AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(12): 10306-10314, 2026

Why Does Grounding Hurt Medical VQA? Benchmarking, Diagnosis, and Fine-Tuning of Vision-Language Models

对前沿视觉-语言模型进行审计以实现可信的医学视觉问答：定位失败、格式崩溃和领域适应

Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

机构 * New York University, New York, USA（纽约大学） ； Tsinghua University, Beijing, China（清华大学） ； Columbia University, New York, USA（哥伦比亚大学） ； University of Michigan, Ann Arbor, USA（密歇根大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；grounding(title,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文审计了五种前沿视觉-语言模型在医学视觉问答中的表现，发现定位失败和格式崩溃是信任瓶颈，通过领域适应可提升性能。

MedLVR: Latent Visual Reasoning for Reliable Medical Visual Question Answering

MedLVR: 基于潜在视觉推理的可靠医学视觉问答

Suyang Xi, Songtao Hu, Yuxiang Lai, Wangyun Dan, Yaqi Liu, Shansong Wang, Xiaofeng Yang

机构 * Department of Radiation Oncology and Winship Cancer Institute, Emory University School of Medicine（埃默里大学医学院放射肿瘤学系与温希普癌症研究所） ； Department of Biostatistics and Bioinformatics, Emory University（埃默里大学生物统计学与生物信息学系） 纠错

专题命中 视觉问答 ：visual reasoning(title,abstract)；visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 MedLVR通过引入显式视觉证据状态，在自回归解码中插入短时latent推理段，提升医学视觉问答的可靠性与准确性。

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

VisRAG2.0：通过视觉检索增强生成中的证据引导多图像推理减轻视觉幻觉

Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

机构 * School of Software and Microelectronics, Peking University, China（北京大学软件与微电子学院） ； School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学人工智能研究院计算机科学与技术系） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 研究针对视觉检索增强生成中VLM存在的视觉幻觉及证据识别问题，提出证据引导的多图像推理框架EVisRAG，引入RS-GRPO改进训练，实验表明该方法能提升性能、减少幻觉，有效提高视觉基础和推理可靠性。

Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

Jagle：构建大规模日语多模态预训练数据集以构建视觉-语言模型

Issa Sugiura, Keito Sasagawa, Keisuke Nakao, Koki Maeda, Ziqi Yin, Zhishen Yang, Shuhei Kurita, Yusuke Oda, Ryoko Tokuhisa, Daisuke Kawahara, Naoaki Okazaki

机构 * Kyoto University（京都大学） ； NII LLMC（国立信息学研究所LLMC） ； Waseda University（早稻田大学） ； Institute of Science Tokyo（东京科学大学） ； NII（国立信息学研究所） ； Aichi Institute of Technology（爱知工业大学） ； Institute of Physical and Chemical Research（理化学研究所） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出Jagle，一个包含920万实例的日语多模态预训练数据集，通过多种策略生成VQA对，实验表明其在日语任务中表现优异，且与FineVision结合能提升英文性能。

Comments Accepted to COLM 2026

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

从回顾到前瞻：面向知识驱动视觉问答的自我鼓励回顾蒸馏

Yu Zhao, Ying Zhang, Xuhui Sui, Baohang Zhou, Xinying Qian, Li Shen, Dacheng Tao

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出HinD框架，通过知识鼓励偏好优化提升多模态大语言模型的知识推理能力，实验表明其在OK-VQA和A-OKVQA上表现优异。

A Study of Commonsense Reasoning over Visual Object Properties

关于视觉对象属性的常识推理研究

Abhishek Kolari, Mohammadhossein Khojasteh, Yifan Jiang, Floris den Hengst, Filip Ilievski

机构 * Department of Computer Science, Vrije Universiteit（自由大学计算机科学系） ； Information Sciences Institute, University of Southern California（南加州大学信息科学研究所） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)

AI总结 研究针对视觉对象属性的常识推理，引入含特定图像类型、推理层次和属性维度的评估框架，在两个VQA基准中实验，发现现有VLM存在显著局限，虽新模型有进步但仍与人类有差距，还提供了相关数据和代码以助未来研究。

What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

视觉-语言模型缺少什么？探究它们在因果顺序推理中的困难

Zhaotian Weng, Haoxuan Li, Xin Eric Wang, Kuan-Hao Huang, Jieyu Zhao

机构 * University of Southern California（南加州大学） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)

AI总结 针对VLM在因果推理中的不足，提出VQA-Causal和VCR-Causal基准，发现模型在因果任务上仅略优于随机猜测，归因于训练数据缺乏因果表达，并通过难负例微调改善。

Comments 13 pages

Pocket-Dentist: On-Device Dental Image Understanding via Efficient Multimodal Large Language Models

口袋牙医：通过高效多模态大语言模型实现设备端牙科图像理解

Kai Bian, Xucheng Guo, Bin Chen, Lingyan Ruan, Yiran Shen, Ting Dang, Hong Jia

机构 * The University of Auckland, New Zealand（奥克兰大学） ； Shandong University, China（山东大学） ； The University of Melbourne, Australia（墨尔本大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出Pocket-Dentist基准，通过评估14种视觉语言模型发现紧凑模型（2B参数）在牙科图像理解中精度更高且计算成本更低，并在iPhone 17 Pro上实现低延迟部署。

Collaborative Edge-to-Server Inference for Vision-Language Models

面向视觉-语言模型的协作式边缘到服务器推理

Soochang Song, Yongjune Kim

机构 * Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，波扬科学技术大学（POSTECH）） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出一种协作式边缘到服务器推理框架，通过两阶段选择性重传策略，在降低通信成本的同时保持视觉-语言模型的推理精度。

Comments 12 pages, 15 figures, 3 tables

The Dual Mechanisms of Spatial Variable Binding in Vision-Language Models

视觉-语言模型中空间变量绑定的双重机制

Kelly Cui, Nikhil Prakash, Shoval Messica, Ayush Raina, David Bau, Antonio Torralba, Tamar Rott Shaham

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） ； Sony Playstation（索尼PlayStation） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 本文揭示视觉-语言模型通过语言骨干中的内容无关空间关系编码和视觉编码器中的全局布局表示两种机制实现空间变量绑定，其中视觉编码器起主导作用。

Comments 37 pages, 53 figures

Failing to See or Failing to Know? Attributing Errors in Vision-Language Models

是看不见还是不知道？归因视觉语言模型中的错误

Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

机构 * MBZUAI The University of Melbourne（MBZUAI墨尔本大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 研究视觉语言模型在回答需额外知识问题时的错误，提出统一框架分离失败模式，探讨预生成信号能否预测错误源，发现可在解码前预测，能据此进行针对性干预。

EchoVLM: Dynamic Mixture-of-Experts Vision-Language Model for Universal Ultrasound Intelligence

EchoVLM：面向通用超声智能的动态专家混合视觉语言模型

Chaoyin She, Ruifang Lu, Lida Chen, Wei Wang, Qinghua Huang

机构 * School of iOPEN, Northwestern Polytechnical University（iOPEN学院，西北工业大学） ； The First Affiliated Hospital of Sun Yat-Sen University（中山大学附属第一医院） ； College of Mechanical Engineering, Tongji University（同济大学机械工程学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出EchoVLM，通过动态混合专家架构提升超声图像的多任务诊断效率，实验表明其在报告生成任务中BLEU-1和ROUGE-1得分显著提升。

RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset

RADAR: 通过语义规划和自主因果环境重置实现闭环机器人数据生成

Yongzhong Wang, Keyu Zhu, Yong Zhong, Liqiong Wang, Jinyu Yang, Feng Zheng

机构 * Southern University of Science and Technology（南方科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 RADAR通过语义规划和自主因果环境重置实现闭环机器人数据生成，具备高适应性和可扩展性，在仿真和现实部署中均表现出卓越的性能。

Comments 8 pages, 4 figures. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Project page: https://radar-iros.netlify.app/

A Vision-language Framework for Comparative Reasoning in Radiology

放射学中比较推理的视觉语言框架

Tengfei Zhang, Ziheng Zhao, Xiaoman Zhang, Lisong Dai, Pengcheng Qiu, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Department of Radiology, Renmin Hospital of Wuhan University（武汉大学仁民医院放射科） ； Shanghai Sixth People’s Hospital Affiliated to Shanghai Jiao Tong University（上海交通大学附属第六人民医院） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 提出一个实体感知的跨图像推理框架，通过构建大规模比较影像数据集MedReCo-DB和开发MedReCo及MedReCo-VLM模型，实现了参考病例检索和时间比较解读，显著提升了放射学比较推理性能。

When Discourse Pressures Conflict: Information Structure in Vision-Language Model Outputs

当话语压力冲突时：视觉-语言模型输出中的信息结构

Marcell Fekete, Johannes Bjerva, Tamás Káldi

机构 * Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系） ； Department of Psycholinguistics and Neurolinguistics, ELTE Research Centre for Linguistics（ELTE语言研究中心心理学语言学与神经语言学系） ； ELTE Bárczi Gusztáv Faculty of Special Needs Education（ELTE巴尔茨吉斯塔夫特殊教育学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 研究视觉-语言模型在视觉问答中是否区分话语旧主题和新焦点，发现模型虽产生信息结构相关结构但过度正则化，倾向于窄响应模板，类似模式崩溃。

Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain

医学VQA中通过置信度-证据贝叶斯增益实现确定性幻觉检测

Mohammad Asadi, Tahoura Nedaee, Jack W. O'Sullivan, Euan Ashley, Ehsan Adeli

机构 * Department of Electrical Engineering, Stanford University, CA, USA（电气工程系，斯坦福大学） ； Department of Biology, Stanford University, CA, USA（生物学系，斯坦福大学） ； Division of Cardiology, Department of Medicine, Stanford University, CA, USA（心脏病学部，医学系，斯坦福大学） ； Department of Biomedical Data Science, Stanford University, CA, USA（生物医学数据科学系，斯坦福大学） ； Department of Computer Science, Stanford University, CA, USA（计算机科学系，斯坦福大学） ； Department of Psychiatry and Behavioral Sciences, Stanford University, CA, USA（精神病学与行为科学系，斯坦福大学） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出CEBaG方法，利用模型自身log概率中的不一致置信度和弱视觉证据敏感性，实现无需随机采样和外部模型的确定性幻觉检测，在医疗MLLM和VQA基准测试中取得最佳AUC表现。

Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering

二次审视：多模态大语言模型中的免训练证据高亮

Marco Morini, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Look Twice框架，通过模型注意力模式识别相关视觉区域和文本证据，提升预训练MLLMs在多模态证据利用中的表现，实验显示在多个VQA基准上效果显著。

Comments Project Page: https://aimagelab.github.io/LoT/

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

罗马尼亚视觉语言模型的参数高效多模态指令微调

George-Andrei Dima, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 视觉问答 ：vision language model(title)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG

AI总结 针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。

Improving Large Vision-Language Models' Understanding for Flow Field Data

提升大型视觉-语言模型对流场数据的理解能力

Xiaomei Zhang, Hanyu Zheng, Xiangyu Zhu, Jinghuan Wei, Junhong Zou, Zhen Lei, Zhaoxiang Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 FieldLVLM通过场感知语言生成策略和数据压缩多模态模型调优，提升大型视觉-语言模型对流场数据的理解能力。

Comments Accepted by Machine Intelligence Research

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

Robobench：作为具身大脑的多模态大语言模型的综合评估基准

Yulin Luo, Chun-Kai Fan, Menghang Dong, Jiayu Shi, Xiangju Mi, Mengdi Zhao, Bo-Wen Zhang, Cheng Chi, Jiaming Liu, Gaole Dai, Rongyu Zhang, Ruichuan An, Kun Wu, Zhengping Che, Shaoxuan Xie, Guocai Yao, Zhongxia Zhao, Pengwei Wang, Guang Liu, Zhongyuan Wang, Tiejun Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息多媒体国家重点实验室，计算机学院，北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究院，复旦大学） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对在动态非结构化环境中构建能感知、推理和行动的机器人的挑战，介绍RoboBench基准，涵盖多维度、多任务等，能评估多模态大语言模型，揭示其局限性并分析与下游控制关系，为量化高级认知提供支架。

Comments ECCV 2026 Camera Ready

Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models

建模复杂行为：视觉语言模型中的多人格组合与动态切换

Peiqi Jia, Haonan Jia, Ziqi Miao, Linkang Du, Yuntao Wang, Zhou Su

机构 * Xi'an Jiaotong University（西安交通大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 视觉问答 ：vision-language model(title)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本研究在视觉语言模型中引入显式人格条件，建立包括单人格、多人格和人格切换的系统评估框架，发现人格提示可提升图像描述但损害精确推理任务，并观察到多特质组合与动态切换中的平衡与残留效应。

Comments 16 pages, 4 figures, 10 tables

MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

MechVQA：在综合机械图纸理解上基准测试与增强多模态大语言模型

Qian Kou, Xiaofeng Shi, Yulin Li, Xiaosong Qiu, Xinyang Wang, Hua Zhou, Cao Dongxing

机构 * Beijing Academy of Artificial Intelligence (BAAI), China（北京人工智能研究院） ； Institute of Information Engineering, Chinese Academy of Sciences, China（信息工程研究所） ； Beijing University of Technology, China（北京理工大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在机械工程图纸理解上的不足，提出首个综合机械图纸理解数据集MechVQA，并开发MechVL模型，通过多阶段训练显著提升性能。

Comments accept by iclm2026, add github link

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306 (2026)

PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

面向通用视觉-语言-动作策略的通用姿态预训练

Haitao Lin, Hanyang Yu, Jingshun Huang, He Zhang, Yonggen Ling, Ping Tan, Xiangyang Xue, Yanwei Fu

机构 * Tencent Robotics X（腾讯机器人X） ； Futian Laboratory（福田实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Pose-VLA，通过分离预训练和后训练阶段，解决视觉-语言-动作模型中的特征坍塌和训练效率问题，实现通用3D空间先验提取与机器人特定动作空间的高效对齐。

Comments Accepted to Robotics: Science and Systems (RSS) 2026. Project website: https://hetolin.github.io/PoseVLA

Journal ref Robotics: Science and Systems, 2026

HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

HiMu: 面向长视频问答的分层多模态帧选择

Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin

机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。

Pix2Fact: When Vision Is Not Enough -- Benchmarking Fine-Grained VQA with Web Verification on High-Resolution Real-World Scenes

Pix2Fact: 当视觉不够时——基于网络验证的细粒度VQA基准测试

Yifan Jiang, Cong Zhang, Bofei Zhang, Qiaofeng Zheng, Yifan Yang, Bingzhang Wang, Yew-Soon Ong

机构 * GADE Union (Global AI Data Experts Union)（GADE联盟（全球人工智能数据专家联盟）） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； New York University（纽约大学） ； Cambridge University（剑桥大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Pix2Fact基准测试，通过高分辨率真实场景中的网络验证，评估细粒度视觉问答中的专家级视觉感知和知识搜索能力，发现现有模型在复杂任务中存在显著不足。

XSPA: Crafting Imperceptible X-Shaped Sparse Adversarial Perturbations for Transferable Attacks on VLMs

XSPA：构建不可察觉的X形稀疏对抗扰动以对视觉语言模型的可迁移攻击

Chengyin Hu, Jiaju Han, Xuemeng Sun, Qike Zhang, Luwei Yang, Lehan Sun, Jiahuan Long, Yiwei Wei, Jiujiang Guo

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出XSPA攻击，通过限制扰动为两条相交对角线，测试VLMs在稀疏扰动下的鲁棒性，实验表明其能显著破坏跨任务语义。

MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models

MedHallTune：用于缓解视觉-语言模型中医患幻觉的指令调优基准

Qiao Yan, Yuchen Yuan, Xiaowei Hu, Yihan Wang, Jiaqi Xu, Xiwen Wu, Jinpeng Li, Chi-Wing Fu, Pheng-Ann Heng

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出MedHallTune基准，用于评估和缓解医疗视觉-语言模型的幻觉，实验表明用该基准微调模型可提升幻觉管理能力与下游VQA任务零样本性能，助力开发更可信的医疗视觉-语言模型。

Wasserstein Equilibrium Decoding for Reliable Medical Visual Question Answering

Wasserstein均衡解码用于可靠的医疗视觉问答

Luca Hagen, Johanna P. Müller, Weitong Zhang, Mengyun Qiao, Bernhard Kainz

机构 * Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大厄林根-纽伦堡大学） ； Imperial College London（伦敦帝国理工学院） ； University College London（伦敦大学学院） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于Wasserstein距离的均衡解码方法，用于改进医疗视觉问答系统，通过语义感知的停止准则提高解码效率和准确性，同时在VQA-RAD和PathVQA数据集上实现了显著的性能提升。

TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models

TemMed-Bench：评估视觉语言模型的时序医学图像推理能力

Junyi Zhang, Jia-Chen Gu, Wenbo Hu, Yu Zhou, Robinson Piramuthu, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出TemMed-Bench时序医学图像推理基准，评估12个视觉语言模型，发现多数模型缺乏分析患者状况时序变化的能力，多模态检索扩充可显著提升其性能。