视觉大模型 / VLM

ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM

ASCD：用于减少多模态大语言模型（MLLM）幻觉的注意力可导向对比解码

Yujun Wang, Aniri, Jinhe Bi, Soeren Pirk, Yunpu Ma

专题命中 视觉问答 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对MLLM的幻觉问题，提出ASCD方法，通过正负引导调整解码时的注意力分数，在多基准上显著减少幻觉并提升VQA准确率，且无需额外训练。

Comments Accepted at AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(12): 10306-10314, 2026

Towards Grounded GI Endoscopy VQA via Multi-Task Learning on Small VLMs

基于小型视觉语言模型多任务学习的 grounded 胃肠道内窥镜视觉问答研究

Itbaan Safwan, Ramail Khan, Muhammad Annas Shaikh, Muhammad Atif Tahir

机构 * Institute of Business and Administration（商业管理学院） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；grounding(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)

AI总结 该研究针对胃肠道内窥镜视觉问答任务，提出多任务微调方案，利用现有数据集构建辅助任务，微调小型视觉语言模型，实现了准确率提升与答案-图像区域对齐优化。

Comments Accepted at EMA4MICCAI 2026 (Workshop on Efficient Medical AI, MICCAI 2026)

Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge

深度专家注入用于带有领域特定知识的视网膜视觉语言模型的锚定

Shuai Lu, Meng Wang, Jia Guo, Jiawei Du, Bo Liu, Shengzhu Yang, Weihang Zhang, Huazhu Fu, Huiqi Li

机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； National University of Singapore, Singapore（新加坡国立大学） ； Tsinghua University, Beijing, China（清华大学） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EyExIn框架，通过深度专家注入机制提升视网膜VLMs的领域知识嵌入能力，解决感知与推理间隙问题，实现高精度眼科视觉问答。

VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents

VideoFDB: 评估对话代理中的全双工视觉-语音能力

Amrita Mazumdar, Seonwook Park, Rajarshi Roy, Nikhil Srihari, Shengze Wang, Yuhao Zhou, Julia Wang, Koki Nagano, Shalini De Mello

机构 * NVIDIA ； David AI 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出首个全双工视听到视听（AV2AV）对话基准VideoFDB，通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架，系统评估代理在非语言对话动态中的表现，发现现有系统存在字幕崩溃和视觉流忽视等缺陷。

Comments Project page: https://research.nvidia.com/labs/amri/projects/video-fdb/