视觉大模型 / VLM

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

通过稀疏自编码器提取和分析视觉语言模型中的多模态概念

Sergio Lanza, Jae Hee Lee, Stefan Wermter

机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract_cn)；visual question answering(abstract)

AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。

Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua

Scalable Training of Spatially Grounded 2D Vision-Language Models for Radiology

面向放射学的空间定位2D视觉-语言模型的可扩展训练

Yusuf Salcan, Simon Ging, Robin Tibor Schirrmeister, Philipp Arnold, Elmar Kotter, Behzad Bozorgtabar, Thomas Brox

机构 * Computer Vision Group, University of Freiburg, Germany（德国弗莱堡大学计算机视觉组） ； Department of Radiology, Medical Center -- University of Freiburg, Germany（德国弗莱堡大学医学中心放射科） ； CRIION-AI Lab, Freiburg, Germany（德国弗莱堡CRIION-AI实验室） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual question answering(abstract)；grounding(abstract)

AI总结 提出RefRad2D大规模双语数据集，通过LLM和自动分割生成空间定位数据，训练RadGrounder模型联合完成报告生成、VQA和空间定位，在外部基准上取得竞争性结果。

Comments Accepted for MICCAI 2026. First two authors: equal contribution. Last two authors: equal supervision

Pocket-Dentist: On-Device Dental Image Understanding via Efficient Multimodal Large Language Models

口袋牙医：通过高效多模态大语言模型实现设备端牙科图像理解

Kai Bian, Xucheng Guo, Bin Chen, Lingyan Ruan, Yiran Shen, Ting Dang, Hong Jia

机构 * The University of Auckland, New Zealand（奥克兰大学） ； Shandong University, China（山东大学） ； The University of Melbourne, Australia（墨尔本大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出Pocket-Dentist基准，通过评估14种视觉语言模型发现紧凑模型（2B参数）在牙科图像理解中精度更高且计算成本更低，并在iPhone 17 Pro上实现低延迟部署。

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

Robusto-2: 在利马与纽约市对自动驾驶中人类与VLM的基准测试

Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

机构 * Artificio Lima, Peru 纠错

专题命中 视觉问答 ：VLM(title_cn,abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过视觉问答范式，比较人类驾驶员（来自利马和纽约）与视觉语言模型在利马和纽约的驾驶场景中的表现，发现人类与模型在回答事实、评级、反事实和推理四类问题时存在差异，但地理因素影响不显著。

Comments 11 pages main body. 42 pages total. Data publicly available online

Lost in Volume: The CT-SpatialVQA Benchmark for Evaluating Semantic-Spatial Understanding of 3D Medical Vision-Language Models

迷失于体积：CT-SpatialVQA基准用于评估3D医学视觉-语言模型的语义-空间理解

Mashrafi Monon, Umaima Rahman, Asif Hanif, Numan Saeed, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎德人工智能大学） ； New York University Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出CT-SpatialVQA基准，评估3D医学视觉-语言模型对3DCT数据的语义-空间理解能力，发现现有模型在语义-空间推理任务中表现不佳，需更深入整合体积证据以确保临床可靠性。

Look Before You Zoom: Adaptive Routing for the Resolution-Context Trade-off in Visual RAG

先看再缩放：视觉RAG中分辨率-上下文权衡的自适应路由

Oanh N. Tran, Thanh Quoc Hung Le, Oscar Chew, Kuan-Hao Huang, Khoa D. Doan

机构 * VinUni-Illinois Smart Health Center, VinUniversity（VinUni-Illinois智慧健康中心，VinUniversity） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出ViRGo框架，通过自适应路由选择全局感知、基于补丁或注意力的检索，以平衡小目标细节和大目标上下文，提升视觉RAG的精度与效率。

REKEY: Metadata-Grounded Visual-Key Regeneration for Contamination-Resilient VQA Evaluation

REKEY: 基于元数据的视觉键再生方法用于抗污染的VQA评估

Tengjie Lin, Yutao Sun, Jingwei Ni, Shuhan Ge, Hao-Xuan Ma, Yanting Miao, Wangyue Lu, Mingshuai Chen, Tiancheng Zhao, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； ETH Zürich（苏黎世联邦理工学院） ； Nanjing University of Science and Technology（南京理工大学） ； Nanjing University（南京大学） ； University of Waterloo（滑铁卢大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 提出ReKey协议，通过随机再生图像中的视觉键来防止VQA基准测试泄露，实验显示原始项目得分比再生变体高9.5-18.8个百分点。

Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

基于全局地图与局部视图的多视角3D推理的密集奖励

Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea（韩国科学技术院人工智能研究生院） ； KRAFTON, Republic of Korea（韩国KRAFTON公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DR-MV3D框架，通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督，提升跨视图推理一致性。

Comments ECCV 2026

Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

注意力谱正则化：无回放的连续多模态大语言模型

Chuangxin Zhao, Canran Xiao, Siyuan Ma, Mengyao Lyu, Yanbiao Ma, Jun Xia, Guiguang Ding, Yang Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出注意力谱正则化（ASR），一种无回放的连续学习框架，通过存储技能级交叉注意力原型分布并施加谱正则化约束，有效缓解多模态大语言模型在连续微调中的灾难性遗忘。

Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

看得见的链，答不出的答案：针对视频MME上强制思维链的多方面评估方案

Zhichao Fan, Yanhang Li, Zexin Zhuang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出三探针评估方案检验强制思维链在视频问答中的可靠性，应用于Qwen2.5-VL发现思维链强依赖视频但未提升准确率，甚至在小模型上导致下降。

Comments 10 pages, 5 figures. To appear at The 2nd Workshop on Evaluation for Multimodal Generation @ SIGIR 2026 (EvalMG '26)

SPARC: A Multi-Agent System for Electrical Circuit Question Answering

SPARC：用于电路问答的多智能体系统

Mushtari Sadia, Zhenning Yang, Umme Habiba Lamia, Nishat Shawrin, Ang Chen, Amrita Roy Chowdhury

机构 * University of Michigan（密歇根大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出SPARC多智能体系统，通过可执行的物理仿真程序进行推理，在电路问答任务上实现83%准确率，较基线提升高达58%。

Efficient Multimodal Clinical Question Answering for Pulmonary Embolism Risk Assessment

用于肺栓塞风险评估的高效多模态临床问答

Xiangyuan Xue, Yang Yu, Yan Gao, Junyan Wang, Bin Chen, Lingyan Ruan, Ting Dang, Hong Jia

机构 * University of Auckland（奥克兰大学） ； University of Cambridge（剑桥大学） ； University of Adelaide（阿德莱德大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本研究构建了基于INSPECT数据集的肺栓塞多模态基准，通过结构化问答任务评估高效多模态大模型在CTPA和EHR输入下的诊断与预后性能，发现Gemma4模型在结合CTPA+EHR时表现更优，且诊断任务优于预后任务。

CalVerT: Augmenting Agents with Calibrated Verifier Telemetry Improves Action and Learning in Knowledge-Intensive Tasks

CalVerT: 通过校准验证器遥测增强智能体在知识密集型任务中的行动与学习

Ashwin Vinod, Ying Ding, Elias Stengel-Eskin

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出CalVerT方法，通过向智能体状态添加校准的自信心分数和基础验证器分数，减少过度依赖参数知识或冗余检索，提升知识密集型问答的准确性和效率。

Comments Code: https://github.com/ashwinn-v/CalVerT

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

CogniRoute: 在全模态模型中学习路由社会证据

Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Google（谷歌） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出CogniRoute框架，通过模式引导的专家混合和路由感知强化学习，解决全模态模型在社会视频问答中证据选择不足的问题，在OmniSocialBench上准确率达59.38%。

GeoVista: Visually Grounded Active Perception for Vision-Language Understanding of Ultra-High-Resolution Remote Sensing Images

GeoVista: 用于超高清遥感理解的视觉引导主动感知

Jiashun Zhu, Ronghao Fu, Jiasen Hu, Jing Huang, Nachuan Xing, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 GeoVista提出一种基于规划的主动感知框架，通过构建全局探索计划和分支式局部检查，实现超高清遥感图像的高效解读，提升全局上下文理解与证据聚合效率。

KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering

KBQA-R1：强化大语言模型用于知识库问答

Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Shu Wu, Bowen Song, Zilei Wang, Weiqiang Wang, Liang Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 提出KBQA-R1框架，通过强化学习（GRPO）将知识库问答建模为多轮决策过程，并引入参考拒绝采样（RRS）解决冷启动问题，在多个基准上取得最优性能。

Comments ICML 2026