视觉大模型 / VLM

Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery

对象标记作为机器人手术中分割与视觉问答的桥梁

Yiping Li, Ronald de Jong, Romy van Jaarsveld, Franco Badaloni, Gino Kuiper, Jelle Ruurda, Josien Pluim, Marcel Breeuwer

机构 * Department of Biomedical Engineering, Eindhoven University of Technology（埃因霍温理工大学生物医学工程系） ； Department of Electrical Engineering, Eindhoven University of Technology（埃因霍温理工大学电气工程系） ； Department of Surgery, University Medical Center Utrecht（乌得勒支大学医学中心外科） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；visual question answering(title,abstract)；vision-language model(abstract)；visual reasoning(abstract)

AI总结 提出统一框架，联合像素级分割与视觉问答，通过VLM生成对象标记引导答案预测和分割掩码，在RAMIE和EndoVis18数据集上优于基线方法。

OneFocus: Enabling Real-World X-ray Security Screening with a Unified Vision-Language Model

OneFocus: 实现基于统一视觉语言模型的真实世界X光安检

Jiali Wen, Hongxia Gao, Litao Li, Yixin Chen, Kaijie Zhang, Qianyun Liu, Xiaoqin Wen

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 针对X光违禁品检测中新型违禁品适应难和视觉理解不足的问题，提出MMXray数据集和统一视觉语言模型OneFocus，支持问答、定位、分类和图像理解四项核心任务，达到最先进性能。

Comments 17 pages, 10 figures

Semantic Flip: Synthetic OOD Generation for Robust Refusal in Embodied Question Answering and Spatial Localization

Semantic Flip: 用于具身问答和空间定位中鲁棒拒绝的合成OOD生成

Dongbin Na, Chanwoo Kim, Giyun Choi, Dooyoung Hong

机构 * RGA Inc.（RGA公司） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出Semantic Flip框架，通过合成辅助OOD样本训练轻量拒绝模块，使冻结的视觉语言模型在无外部OOD标注下实现鲁棒拒绝，在具身问答和空间定位基准上优于强提示基线。

Comments 18 pages, 3 figures. Code and data: https://github.com/ndb796/SemanticFlip ; project page: https://ndb796.github.io/SemanticFlip

OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning

OmniTraffic：面向时空交通推理的可控生成流水线与基准

Maonan Wang, Zhengyan Huang, Kemou Jiang, Yuhang Fu, Jiayue Zhu, Yuxin Cai, Xingchen Zou, Qiaosheng Zhang, Yi Yu, Ding Wang, Xi Chen, Ben M. Chen, Yuxuan Liang, Zhiyong Cui, Man On Pun, Yirong Chen

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai AI Lab（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出OmniTraffic，一个基于12个真实路口3D重建的可控生成流水线与基准，通过8M VQA样本和3K人工验证测试集评估11个前沿MLLM，揭示拓扑与时空推理中的显著人机差距，并证明仿真数据微调可提升真实场景性能。

Comments 34 pages, 28 figures

Wasserstein Equilibrium Decoding for Reliable Medical Visual Question Answering

Wasserstein均衡解码用于可靠的医疗视觉问答

Luca Hagen, Johanna P. Müller, Weitong Zhang, Mengyun Qiao, Bernhard Kainz

机构 * Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大厄林根-纽伦堡大学） ； Imperial College London（伦敦帝国理工学院） ； University College London（伦敦大学学院） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于Wasserstein距离的均衡解码方法，用于改进医疗视觉问答系统，通过语义感知的停止准则提高解码效率和准确性，同时在VQA-RAD和PathVQA数据集上实现了显著的性能提升。

VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA

VinQA：面向真实世界多模态文档问答的交错视觉元素长文本答案生成

Young Rok Jang, Hyesoo Kong, Kyunghwan An, Jae Sub Huh, Gyeonghun Kim, Stanley Jungkyu Choi

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出VinQA数据集和两种编码方法（页面编码与模态编码），用于生成交错引用视觉元素的长文本答案；通过M-GroSE评估框架和微调Qwen2.5-VL模型，显著缩小与专有模型的性能差距。

Comments Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material

Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models

校准的分诊，而非自主：医学视觉-语言模型的置信度估计

Reza Khanmohammadi, Kundan Thind, Mohammad M. Ghassemi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)

AI总结 针对医学视觉-语言模型在回答时可能忽略图像而依赖语言先验的问题，提出使用置信度估计进行校准分诊，通过评估七种置信度估计器，发现高置信度区域是区分可用估计器的关键，最佳探针可将错误率从41-45%降至1-4%，但无估计器在所有领域和模型中一致最优。

DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

DPC-VQA: 解耦质量感知与残差校准用于视频质量评估

Xinyue Li, Shubo Xu, Zhichao Zhang, Zhaolin Cai, Yitong Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Baidu Inc.（百度公司） ； Xinjiang University（新疆大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DPC-VQA框架，通过冻结多模态大模型提供感知先验，轻量校准分支预测残差修正，实现低训练成本下视频质量评估，在UGC和AIGC基准上取得竞争性能。

Binary Tracking for Spatial QA and Navigation with Open Vision-Language Models

基于开放视觉语言模型的空间问答与导航的二值追踪

Dongbin Na, Chanwoo Kim, Soonbin Rho, Giyun Choi, Gangbok Lee, Dooyoung Hong

机构 * RGA Inc.（RGA公司） 纠错

专题命中 视觉问答 ：vision-language model(title)；分类 cs.AI

AI总结 提出BinTrack，一种全开源的空间定位代理，通过二值搜索轨迹段，在SpaceLocQA基准上准确率提升22.8%，推理速度提升1.5倍，并发布多行程室外数据集GangnamLoop。

Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking

A Comprehensive Survey of Knowledge-Based Vision Question Answering Systems: The Lifecycle of Knowledge in Visual Reasoning Task

基于知识的视觉问答系统综述：视觉推理任务中的知识生命周期

Jiaqi Deng, Zonghan Wu, Huan Huo, Guandong Xu

机构 * University Technology of Sydney（悉尼大学技术学院） ； East China Normal University（华东师范大学） ； Education University of Hong Kong（香港教育大学） 纠错

专题命中 视觉问答 ：visual reasoning(title)；分类 cs.CV

AI总结 综述基于知识的视觉问答（KB-VQA）方法，将其分为知识表示、检索和推理三个阶段，并探讨大语言模型带来的变革，指出未来研究方向。

Comments Accepted at TKDE, 20 pages, 5 figures, 4 tables

Journal ref IEEE Transactions on Knowledge and Data Engineering, 2026

KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation

KeepLoRA++: 基于层级缩放残差梯度适应的持续学习

Mao-Lin Luo, Yi-Lin Zhang, Zi-Hao Zhou, Yankun Hong, Xialiang Tong, Mingxuan Yuan, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。

MVEB: Massive Video Embedding Benchmark

MVEB：大规模视频嵌入基准

Adnan El Assadi, Roman Solomatin, Isaac Chung, Chenghao Xiao, Deep Shah, Manan Dey, Shriya Sudhakar, Zacharie Bugaud, Wissam Siblini, Ayush Sunil Munot, Yashwanth Devavarapu, Rakshitha Ireddi, Michelle Yang, Márton Kardos, Niklas Muennighoff, Kenneth Enevoldsen

机构 * Harvard University（哈佛大学） ； SaluteDevices ； MIRAI ； Zendesk ； Shanghai University of Finance and Economics（上海财经大学） ； Google LLC ； Salesforce ； Cornell University（康奈尔大学） ； Astera Institute（Astera研究院） ； Independent Contributor（独立贡献者） ； Indian Institute of Technology, Kharagpur（印度理工学院，克拉格浦分校） ； Barclays（巴克莱银行） ； Aarhus University（奥胡斯大学） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出MVEB基准，包含23个任务评估33种视频嵌入模型，发现无单一模型占优，音频贡献取决于标注来源，并集成到MTEB生态。

Context-Aware RL for Agentic and Multimodal LLMs

上下文感知强化学习用于智能体与多模态大语言模型

Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

机构 * Princeton University（普林斯顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出ContextRL方法，通过间接辅助目标（上下文选择奖励）增强大模型在长上下文和多模态任务中的细粒度推理能力，在5个长程基准和12个视觉问答基准上分别提升+2.2%和+1.8%。

Comments 29 pages, 9 figures

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw：面向物理世界的实时个性化智能体

Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出VisualClaw，一种自进化多模态智能体，通过混合编码和技能进化机制降低部署成本并提升准确性，在多个视频QA基准上实现平均-98%的API成本削减和最高+15.80%的准确率提升。

Comments H. T. and J. C. contribute to this project equally

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG：面向长文档问答的多粒度自适应图证据多模态RAG

Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MAGE-RAG框架，通过离线构建包含页面和元素节点的证据图，在线自适应构建证据子图，平衡证据覆盖与噪声控制，在长文档多模态问答中取得最优性能。

Uncertainty Is Not a Safety Net for Clinical VQA, but Can It Anticipate Model Failure?

不确定性并非临床VQA的安全网，但它能预测模型失败吗？

Arnisa Fazla, Alberto Testoni, Ameen Abu-Hanna, Barbara Plank, Iacer Calixto

机构 * Amsterdam University Medical Center, University of Amsterdam（阿姆斯特丹大学医学中心） ； Amsterdam Public Health（阿姆斯特丹公共卫生） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 研究临床视觉语言模型的不确定性估计是否可靠，发现其质量随模型准确率变化，在模型脆弱时失效，但能预测扰动下的性能崩溃。

Comments 17 pages, 4 figures

CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation

CogCanvas: 用于评估多主体参考图像生成的基准

Long-Bao Nguyen, Quang-Khai Tran, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学） ； University of Dayton, Ohio, United States（代顿大学） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出CogCanvas基准，包含1952张参考图像和1361个组合提示，评估多身份、对象绑定和背景场景的生成，引入BG-Sim和Attr-VQA指标，发现现有模型在超过3个主体时性能严重下降。

ReportQA: QA-Based Radiology Report Evaluation

ReportQA: 基于问答的放射学报告评估

Yiming Shi, Shaoshuai Yang, Xi Chen, Haolin Li, Hengyu Zhang, Che Jiang, Kaiwen Wang, Xun Zhu, Dong Xie, Fei Wang, Dejing Dou, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； Beijing Electronic Digital & Intelligence（北京电子数字与智能） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出ReportQA框架，利用知识树和LLM从报告中提取结构化信息生成QA对，以问答准确率作为评估指标，比现有指标更符合放射科医生判断。

Self-Driving Negotiator: An interactive, verifiable benchmark for social negotiation and theory of mind under hidden intent

自动驾驶谈判者：一个在隐藏意图下进行社会谈判和心理理论的交互式可验证基准

Ashutosh Kumar

机构 * Owl Autonomous Imaging, Inc（Owl 自动成像公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 提出一个文本多轮程序化生成环境，用于衡量自动驾驶中基于隐藏意图推断的隐式社会协调能力，通过特权模拟器状态计算奖励和诊断，当前最佳模型平均成功率仅0.68。