AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
全切片图像多模态基准测试中的数据泄露审计
机构 * University of Virginia（弗吉尼亚大学） ； Merck & Co., Inc.（默克公司）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.LG
AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题，通过追踪标识符发现患者级和机构级泄露，证明其可从基础模型特征空间解码，导致准确率差距，当前评估无法区分推理与检索，最后给出无污染评估建议。
迷失在末尾：多模态检索增强问答中的首因偏差
机构 * University of California, San Diego（加州大学圣地亚哥分校） ； The Ohio State University（俄亥俄州立大学）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 研究多模态知识型视觉问答中检索上下文的位置依赖，发现不同于纯文本的U形效应，出现首因偏差（开头优于末尾），并通过消融实验定位原因为指令调优阅读器的提示槽0。
Comments 15 pages, 9 figures
关注、变换或静默：面向高效多模态大语言模型推理的算子级视觉跳跃
机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Sun Yat-sen University（中山大学） ； National Supercomputing Center in Shenzhen（国家超级计算深圳中心） ； Tsinghua University（清华大学）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型视觉令牌计算冗余问题，提出算子级视觉跳跃框架，选择性跳过冗余注意力或FFN算子，在Qwen3-VL上减少33.7%计算量并保持99.5%性能。
打破失败级联：面向医学多模态推理的步骤感知强化学习
机构 * Korea University（高丽大学） ； Upstage AI ； Kyung Hee University（庆熙大学） ； KAIST（韩国科学技术院） ； Hanyang University College of Medicine（汉阳大学医学院） ； AIGEN Sciences
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出步骤感知强化学习算法MRPO，通过为早期错误推理步骤分配指数级惩罚，打破失败级联，显著提升医学视觉问答准确率。
VinQA：面向真实世界多模态文档问答的交错视觉元素长文本答案生成
机构 * LG AI Research（LG AI研究院）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出VinQA数据集和两种编码方法（页面编码与模态编码），用于生成交错引用视觉元素的长文本答案；通过M-GroSE评估框架和微调Qwen2.5-VL模型，显著缩小与专有模型的性能差距。
Comments Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material
LitTraceQA：面向科学问答的多阶段溯源与验证基准
机构 * University of Waterloo（滑铁卢大学） ； Amazon（亚马逊公司） ； City University of Hong Kong（香港城市大学） ； University of Amsterdam（阿姆斯特丹大学）
专题命中 视觉问答 ：grounding(title,abstract)
AI总结 该研究提出LitTraceQA基准，用于科学问答的多阶段溯源与验证，提供含多类型证据的问答数据，可评估系统的论文检索、证据溯源及答案准确性，助力生成可验证的科学问答结果。
Comments Work in Progress
SpaCE: 重新思考多帧多模态大语言模型中的空间容量与泛化能力
专题命中 视觉问答 ：multimodal large language model(title)；visual question answering(abstract)
AI总结 提出SpaCE理论框架，证明多帧空间推理的信息论上界、样本复杂度界、PAC-Bayes泛化界，并刻画显式3D表示与隐式推理的偏差-方差权衡，在多个基准上验证了理论紧致性。
知识图谱基础仅对训练外知识帮助LLM：临床问答的受控研究
专题命中 视觉问答 ：grounding(title,abstract)
AI总结 通过受控实验发现，知识图谱基础仅在问题涉及模型训练外知识时提升LLM性能，对已知事实无帮助，且公共KG信息冗余。
Comments 9 pages. Code: https://github.com/samyama-ai/clinical-llm-graphrag
校准的分诊，而非自主：医学视觉-语言模型的置信度估计
机构 * Michigan State University（密歇根州立大学）
专题命中 视觉问答 ：vision-language model(title,abstract)
AI总结 针对医学视觉-语言模型在回答时可能忽略图像而依赖语言先验的问题，提出使用置信度估计进行校准分诊，通过评估七种置信度估计器，发现高置信度区域是区分可用估计器的关键，最佳探针可将错误率从41-45%降至1-4%，但无估计器在所有领域和模型中一致最优。
VideoVIBE：用于一次性交互式网站生成的基于视频的诊断基准
专题命中 视觉问答 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV
AI总结 针对现有一次性交互式网站生成质量评估的不足，提出VideoVIBE基准与V2Lens多智能体系统，实验显示V2Lens可提升Video MLLM的评估性能。
ChronoVision：基于潜在状态重构的时序推理
专题命中 视觉问答 ：grounding(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 针对多模态大语言模型时序推理不足的问题，本文提出ChronoVision框架，引入Vbvr-VQA数据集，实验显示其在相关基准上取得最优性能。
DocTrace：面向可追溯的长文档视觉问答的分层证据图推理方法
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI
AI总结 本文提出DocTrace分层框架，将长文档视觉问答建模为显式证据图推理问题，经两阶段训练优化后，在三个基准上优于现有模型，且推理可追溯。
OncoTriad-QA：用于泛癌推理的患者级放射学-病理学-基因组学基准
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 本文提出OncoTriad-QA多模态癌症问答基准及OncoVLM模型，实验显示OncoVLM经微调后在泛癌问答任务上优于现有模型，该基准可用于相关模型的训练与评估。
面向医学视觉基础模型的位置感知细粒度表示学习
机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（矢量研究所）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV
AI总结 本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi，构建大规模医学定位数据集MedG，在多项医学视觉任务中性能优于现有模型。
ViewMind3D：用于无需训练的3D问答的模块化视图感知推理
专题命中 视觉问答 ：grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 该研究提出无需训练的模块化框架ViewMind3D，将3D-QA分解为四个组件，在ScanQA和SQA3D上实现竞争力性能，证明通用LLMs与VLMs的模块化编排可实现有效3D推理。
LEDGERMIND：基于结构化证据账本的溯源约束多模态智能体推理
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； University of Sussex（萨塞克斯大学）
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；MLLM(abstract_cn)；分类 cs.LG
AI总结 该研究提出LedgerMind，通过结构化证据账本及三层依据协议等组件，解决多模态智能体推理中最终答案准确率无法反映轨迹可信度的问题，在多模态基准上同时提升了答案准确率与轨迹可信度。
迈向可靠的染色转移：基于多模态专家指导评估的迭代数据-模型协同优化框架
机构 * East China Normal University（华东师范大学） ； Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院） ； Hangzhou Hyperspectral Imaging Technology Co., Ltd.（杭州高光谱成像技术有限公司） ； Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 研究针对染色转移建模难题，提出DMCoStain框架，通过迭代优化数据与模型能力提升准确性和可解释性。基于IPE视觉语言模型构建MEGFS策略并创建ImmunoInstruction数据集，实验证明该框架达最优精度，其范式有实用价值，MEGFS可作评估工具。
Comments 10 pages, accepted by ACMMM2026 Main Track
人工智能生成的以人为中心的视频的多维质量评估：数据集与模型
机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所） ； USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学南加州大学文化创意产业学院） ； Polytech Nantes, Université de Nantes（法国南特大学高等理工学院）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 研究针对AI生成的以人为中心的视频质量评估问题，提出扩展数据集HVEval+并构建MoE-Rater模型，该模型采用专家混合及三阶段训练策略，能统一多种任务，在相关数据集上性能优越，推动了视频质量评估及T2V模型优化。
Comments Accepted for publication in IEEE TCSVT, 2026
识别和解决基于知识的VQA基准测试中的陷阱：审计、修复与增强
机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； AT&T Chief Data Office（AT&T首席数据办公室）
专题命中 视觉问答 ：VLM(abstract_cn)；visual language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 本文审计现有KB-VQA基准测试，发现答案缺失/矛盾、问题不明确和视觉场景简单等系统性问题，导致准确率指标误导模型排名；提出审计-修复协议和多重实体增强协议，重新评估后性能趋势显著变化。
Comments Accepted to ECCV 2026. The datasets and code are available in https://github.com/VAN-QIAN/ECCV26-ARA
先看再缩放：视觉RAG中分辨率-上下文权衡的自适应路由
机构 * VinUni-Illinois Smart Health Center, VinUniversity（VinUni-Illinois智慧健康中心，VinUniversity） ； Texas A&M University（德克萨斯农工大学）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出ViRGo框架，通过自适应路由选择全局感知、基于补丁或注意力的检索，以平衡小目标细节和大目标上下文，提升视觉RAG的精度与效率。
REKEY: 基于元数据的视觉键再生方法用于抗污染的VQA评估
机构 * Zhejiang University（浙江大学） ； ETH Zürich（苏黎世联邦理工学院） ； Nanjing University of Science and Technology（南京理工大学） ； Nanjing University（南京大学） ； University of Waterloo（滑铁卢大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV
AI总结 提出ReKey协议，通过随机再生图像中的视觉键来防止VQA基准测试泄露，实验显示原始项目得分比再生变体高9.5-18.8个百分点。
每个多模态证据一个令牌：面向资源受限问答的潜在记忆
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 提出潜在记忆范式，将每个证据压缩为单个高维潜在令牌，通过统一训练实现高效检索与生成，在资源受限场景下以3-10倍令牌节省达到竞争性问答性能。
PathoSage：通过经验感知的代理工作流实现病理学多源证据裁决
机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Department of Pathology and Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科/临床病理研究所） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） ； School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI
AI总结 提出PathoSage框架，通过结构化证据审议和Beta-Bernoulli经验系统，独立评估工具证据并解决冲突，减少幻觉和分类器分歧，提升病理学推理鲁棒性。
时间基准分数衡量的是什么？分解视频视觉语言模型评估中的通道使用情况
机构 * Microsoft（微软） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 视觉问答 ：VLM(title)；分类 cs.CV、cs.LG
AI总结 研究视频视觉语言模型评估中时间基准分数衡量问题，提出无标签筛选方法“反转下降”区分模型通道使用情况，如Molmo2和Qwen3-VL，指出综合分数不能反映潜在失败模式，此区分在多基准和任务中成立。
Comments 9 pages, 11 pages supplemental
DentiAsk：全景牙科X光片中多模态推理的视觉问答基准测试
专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；visual question answering(abstract)
AI总结 研究旨在解决现有医学视觉问答基准测试无法充分体现全景牙科X光片解读复杂性的问题，引入DentiAsk基准测试，涵盖多种病变和推理层次，对10种模型测试发现其在空间定位等方面存在局限，为推进医学成像多模态推理提供挑战基准。
看一次就够了？用于3D问答的在线几何感知令牌剪枝
机构 * National Tsing Hua University（国立清华大学） ； Industrial Technology Research Institute ITRI（工业技术研究院） ； University of Toronto（多伦多大学） ； Atmanity Inc（Atmanity公司）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG
AI总结 针对3D问答中多模态大语言模型推理成本高的问题，提出在线令牌剪枝方法，利用深度和相机姿态投影到体素空间，识别重叠区域并剪枝冗余令牌，减少令牌使用，提升效率和性能。
Comments published at ICLR 2026 Workshop on Efficient Spatial Reasoning
视觉运动策略中的记忆检索用于长期机器人控制
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)
AI总结 提出HALO策略，通过注意力记忆检索机制和视觉语言模型先验蒸馏，解决长期控制中的虚假相关和记忆误差累积问题，实现从长达8分钟历史中检索任务相关信息。
Comments 16 pages, 5 tables, 8 figures
基于开放视觉语言模型的空间问答与导航的二值追踪
机构 * RGA Inc.（RGA公司）
专题命中 视觉问答 ：vision-language model(title)；分类 cs.AI
AI总结 提出BinTrack，一种全开源的空间定位代理，通过二值搜索轨迹段，在SpaceLocQA基准上准确率提升22.8%，推理速度提升1.5倍，并发布多行程室外数据集GangnamLoop。
Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking
通用科学人工智能的实现路径：科学图像的多模态理解
机构 * TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心（TIB）） ； Eindhoven University of Technology（埃因霍温理工大学） ； Freie Universität Berlin（柏林自由大学） ； International Center for Chemical and Biological Sciences, University of Karachi（卡拉奇大学国际化学与生物科学中心） ； National University of Sciences and Technology（国家科技大学） ； University of Warwick（华威大学） ； PSG College of Technology（PSG理工学院） ； Aalto University（阿尔托大学）
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 该研究提出以科学图像多模态理解构建通用科学AI的路径，依托ALD/E-ImageMiner基准与2026年ICDAR竞赛，明确相关任务能力检验维度及长期研究方向，推动可机器执行的科学视觉知识与可验证多模态科学AI发展。
Comments 15 pages, 1 figure
CARE：用于可靠医学视觉问答的置信感知推理
机构 * Ant Group（蚂蚁集团） ； University of Michigan（密歇根大学） ； City University of Hong Kong（香港城市大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对医学多模态大语言模型的置信度校准问题，提出CARE框架，通过双阶段流程优化准确率与校准度，在三个医学VQA基准上取得最优性能，为临床决策支持提供可信基础。
Comments Accepted by MICCAI 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈