视觉大模型 / VLM

Visual Semantic Entropy: Do Vision Language Models Recognize Visual Ambiguity?

视觉语义熵：视觉语言模型能否识别视觉模糊性？

Ta Duc Huy, Trang Nguyen, Townim Chowdhury, Ankit Yadav, Minh-Son To, Zhibin Liao, Johan W. Verjans, Vu Minh Hieu Phan

机构 * Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学） ； Flinders University（弗林德斯大学） 纠错

专题命中 视觉问答 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型在模糊输入下产生自信错误预测的问题，提出视觉语义熵（VSE），通过仅扰动图像并聚类生成答案的语义原型来量化不确定性，在五个模型和五个基准上达到最优。

Comments Accepted at ECCV2026

Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference

关注、变换或静默：面向高效多模态大语言模型推理的算子级视觉跳跃

Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Sun Yat-sen University（中山大学） ； National Supercomputing Center in Shenzhen（国家超级计算深圳中心） ； Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型视觉令牌计算冗余问题，提出算子级视觉跳跃框架，选择性跳过冗余注意力或FFN算子，在Qwen3-VL上减少33.7%计算量并保持99.5%性能。

Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

打破失败级联：面向医学多模态推理的步骤感知强化学习

Junha Jung, Minbyul Jeong, Suhyeon Lim, Sungwook Jung, Jaehoon Yun, Taeyun Roh, Mujeen Sung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Upstage AI ； Kyung Hee University（庆熙大学） ； KAIST（韩国科学技术院） ； Hanyang University College of Medicine（汉阳大学医学院） ； AIGEN Sciences 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出步骤感知强化学习算法MRPO，通过为早期错误推理步骤分配指数级惩罚，打破失败级联，显著提升医学视觉问答准确率。

V2T-CoT: From Vision to Text Chain-of-Thought for Medical Reasoning and Diagnosis

V2T-CoT：从视觉到文本链式推理用于医学推理与诊断

Yuan Wang, Jiaxiang Liu, Shujian Gao, Bin Feng, Zhihang Tang, Xiaotang Gai, Jian Wu, Zuozhu Liu

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 本文提出V2T-CoT方法，通过自动化定位生物医学图像中的偏好区域并将其整合到区域级像素注意力中，提升医学诊断的可解释性与准确性。

Comments 12 pages, 4 figures

REMSA: Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent

REMSA：通过约束感知代理进行遥感基础模型选择

Binger Chen, Tacettin Emre Bök, Behnood Rasti, Volker Markl, Begüm Demir

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） ； U AI（5U AI） ； Technische Universität Berlin & BIFOLD（柏林工业大学 & BIFOLD） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 提出REMSA，一种基于结构化数据库RS-FMD的约束感知代理，通过自然语言查询自动选择遥感基础模型，结合元数据检索与上下文学习，在专家评估基准中优于多种基线。

Comments Code and data available at https://github.com/be-chen/REMSA

Evo-PI: Aligning Medical Reasoning via Evolving Principle-Guided Supervision

Evo-PI：通过演化原则引导的对齐医学推理

Xianda Zheng, Huan Gao, Meng-Fen Chiang, Michael Witbrock, Kaiqi Zhao, Shangyang Li

机构 * School of Computer Science, University of Auckland（奥克兰大学计算机科学学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Renyixun Health Technology Co., Ltd.（仁医讯健康科技有限公司） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 提出Evo-PI框架，将推理原则作为可演化的语言监督信号，通过协同进化循环动态调整模型推理，在医学视觉问答中提升准确率最高达24.6%。

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

SAGE：面向自由形式问答的大语言模型的搜索增强评估

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。