AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
如何训练长上下文视觉文档模型
机构 * LightOn
专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 本文研究长上下文视觉语言模型的训练方法，通过系统分析预训练、监督微调和偏好优化，实现MMLongBenchDoc上的最佳性能，并发现匹配评估上下文长度的训练效果更优。
增强工具的时空推理用于视频问答任务的优化
机构 * BNRist, Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系，北京信息科学与技术国家研究中心）
专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出STAR框架和视频工具包，提升多模态大语言模型的时空推理能力，在VideoMME和LongVideoBench上分别提升8.2%和4.6%。
Comments Accepted by NeurIPS 2025 main track
通过平滑MMD对齐增强LLM中的数值预测
机构 * College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 针对LLM在数值预测任务中精度不足的问题，提出平滑最大均值差异（SMMD）方法，通过数值令牌的距离核和图平滑对齐预测分布，在数学推理等任务中显著提升准确率。
你到底有多确定？改进医学视觉问答中的口头不确定性校准
机构 * Politecnico di Milano（米兰理工大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG
AI总结 针对多模态大语言模型在医学VQA中过度自信的问题，提出基于复合损失函数的微调框架，通过校准项、锚定正则化、对比对齐和KL稳定项，将校准误差降低60%以上，判别力提升26%以上。
多模态大语言模型的置信度校准：基于医学视觉问答的实证研究
机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Zhihui Medical Technology (Shanghai) Co., Ltd.（智汇医疗科技（上海）有限公司）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型在医学任务中置信度与准确性不匹配的问题，提出结合多策略融合询问与专家大语言模型评估的方法，在三个医学VQA数据集上将期望校准误差平均降低40%，提升了模型可靠性。
Comments Accepted by MICCAI 2025
KeepLoRA++: 基于层级缩放残差梯度适应的持续学习
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG
AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。
MVEB：大规模视频嵌入基准
机构 * Harvard University（哈佛大学） ； SaluteDevices ； MIRAI ； Zendesk ； Shanghai University of Finance and Economics（上海财经大学） ； Google LLC ； Salesforce ； Cornell University（康奈尔大学） ； Astera Institute（Astera研究院） ； Independent Contributor（独立贡献者） ； Indian Institute of Technology, Kharagpur（印度理工学院，克拉格浦分校） ； Barclays（巴克莱银行） ； Aarhus University（奥胡斯大学） ； Stanford University（斯坦福大学）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出MVEB基准，包含23个任务评估33种视频嵌入模型，发现无单一模型占优，音频贡献取决于标注来源，并集成到MTEB生态。
ChartAgent: 一种用于复杂图表问答中视觉基础推理的多模态智能体
机构 * J.P. Morgan AI Research（摩根大通人工智能研究）
专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 提出ChartAgent框架，通过迭代分解查询为视觉子任务并利用图表专用视觉工具（如绘制注释、裁剪区域）进行空间域推理，在ChartBench和ChartX上取得最先进性能，尤其对无标注图表提升显著。
Comments Accepted at ACL 2026 (Main Conference). Also presented as an oral paper at the NeurIPS 2025 Multimodal Algorithmic Reasoning Workshop (https://marworkshop.github.io/neurips25/)
AgroOmni：一个大规模多视角农业数据集用于跨尺度多模态推理
机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； HuanTian Wisdom Technology Co., Ltd.（慧天智慧科技有限公司） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AgroOmni数据集，通过288K视觉问答对覆盖56个专业任务类别，解决多视角跨尺度农业多模态推理中的尺度偏差问题，提出AgroNVILA模型在AgroMind基准上达到62.32%的SOTA成绩。
MedVision：定量医学图像分析的基准测试
机构 * University of Edinburgh（爱丁堡大学） ； Queen Mary University of London（伦敦大学玛丽女王学院）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 针对当前医学视觉语言模型缺乏定量推理能力的问题，提出MedVision数据集和基准，涵盖22个公共数据集、3080万图像-标注对，通过监督和强化微调显著提升检测、肿瘤/病变大小估计和角度/距离测量性能。
Comments 22 pages, 13 figures, 14 tables
零样本3D问答通过层级视图到令牌传输
机构 * Dongsheng Wang（王东生） ； Dawei Su（苏大卫） ； Hui Huang（黄慧）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出KeyVT方法，通过层级视图和令牌级输入上下文收集，结合像素特征与相机参数评估视图重要性，并利用最优传输识别代表性令牌，实现零样本3D问答性能提升。
Comments Accepted at ICML 2026. 19 pages, 6 figures
主动视频感知：用于代理长视频理解的迭代证据寻求
机构 * Salesforce AI Research（Salesforce AI研究院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出了一种主动视频感知框架AVP，通过迭代计划-观察-反思过程，主动决定视频内容的观察目标和时间，以提高长视频理解的准确性和效率。
Comments Website: https://activevideoperception.github.io/
多样性优于频率：重新思考视觉思维链智能体中的工具使用
机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学）
专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 本文研究视觉思维链智能体在复杂推理任务中的工具使用，发现工具使用崩溃现象，并提出熵正则化方法通过鼓励多样化探索提升推理性能。
Comments Presented in ICML 2026
资源受限视觉代理中共享状态协作的故障模式诊断
机构 * Nanjing University of Information Science \& Technology, Nanjing, China
专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG
AI总结 本文通过噪声累积视角研究弱学习者（4B-8B模型）在共享工作记忆下的协作推理故障模式，提出CoSee审计框架追踪文档视觉问答中的信息流，发现朴素共享工作空间会放大幻觉而非解决，并识别出噪声强化和策略崩溃两种主要故障模式。
面向高效长视频推理的语义与视觉证据：HD-EPIC VQA挑战赛的解决方案
机构 * Lenovo, China（联想（中国））
专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出一种统一框架，通过解耦长视频推理为语义证据（粗到细提取全局过程结构）和视觉证据（基于目标的细粒度定位），并采用查询条件证据检索与整合，在HD-EPIC VQA挑战赛中取得竞争性能。
PathNavigate: 一种无需训练的病理学代理，具有惊喜引导扫描和共享幻灯片记忆用于全切片图像VQA
机构 * School of Comp. Science & Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； Tencent Jarvis Lab（腾讯Jarvis实验室） ； University of Cambridge（剑桥大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出PathNavigate，一种无需训练的病理学代理，通过惊喜引导扫描和共享幻灯片记忆，在严格检查预算下高效定位证据并回答临床查询。
INAR-VL：面向边缘-云视觉-语言推断的输入感知路由
机构 * TU Wien（维也纳技术大学）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出INAR-VL，一种轻量级的边缘-云路由系统，用于多模态推断的两级部署。该系统通过轻量级的图像和文本复杂度信号指导路由和模型选择，在本地执行简单查询，将复杂查询卸载到云端，从而在延迟、能耗和准确性之间取得平衡。
Comments 8 pages, 3 figures
VideoSEAL: 通过解耦答案权威性来缓解代理长视频理解中的证据错位
机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出VideoSEAL框架，通过解耦规划与答案权威性，解决长视频理解中证据错位问题，提升回答准确性和证据对齐度，实验结果显示在多个基准上表现优异。
Comments Accepted to ICML 2026. 33 pages, 13 figures. Code and models are available at https://github.com/Echochef/VideoSEAL
BenchCAD: 一个全面的、行业标准的程序化CAD基准测试
机构 * University of Virginia（弗吉尼亚大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Rice University（莱斯大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 BenchCAD通过视觉问答、代码问答、图像到代码生成和指令引导的代码编辑评估模型，发现当前系统在生成精确参数化CAD程序方面存在不足，需进一步改进工业应用能力。
Comments 9 page 7 figures
迈向MSTAR自动目标识别的大型语言-视觉问答模型
机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group
专题命中 视觉问答 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文探讨了将大型语言-视觉模型应用于遥感图像描述和视觉问答任务，特别是在合成孔径雷达图像中的自动目标识别挑战，通过参数高效微调实现了98%的准确率。
Comments Accepted to SPIE Defense + Commercial Sensing, Automatic Target Recognition XXXV
Journal ref Proc. SPIE 13463, Automatic Target Recognition XXXV, 134630D (29 May 2025);
KARMA-MV：音乐视频上的因果问答基准
机构 * AMAAI Lab, Singapore University of Technology and Design（新加坡科技设计大学AMAAI实验室）
专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 KARMA-MV是一个基于2682个YouTube音乐视频构建的大规模多选问答数据集，旨在测试模型整合时序音频视觉线索和视觉到音乐影响的能力，通过因果知识图谱方法提升音乐视频因果推理性能。
迈向安全的移动性：由开放-ended视觉-语言数据集驱动的统一运输基础模型
机构 * Nanyang Technological University（南洋理工大学） ； Harvard University（哈佛大学）
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出Land Transportation Dataset数据集和UniVLT模型，通过开放-ended视觉问答和多任务学习，提升城市交通环境下的安全推理能力，实现微观自动驾驶与宏观交通分析的统一。
重新审视遥感中的变化视觉问答问题：结构化与原生多模态Qwen模型
机构 * Computer Engineering Department, College of Computer and Information Sciences, King Saud University（计算机工程系，计算机与信息科学学院，沙特国王大学） ； Applied Computer Science Department, College of Applied Computer Science, King Saud University（应用计算机科学系，应用计算机科学学院，沙特国王大学）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 本文重新审视遥感中的变化视觉问答问题，比较了结构化视觉语言模型与原生多模态模型在CDVQA基准上的表现，发现原生模型在语义变化推理中更有效。
先caption，后VQA：知识密度而非任务格式驱动多模态扩展
机构 * vivo AI Lab（vivo人工智能实验室） ； Wuhan University（武汉大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究发现，多模态模型扩展的关键瓶颈在于训练数据的知识密度而非任务格式，通过结构化caption增强和跨模态知识注入可提升模型性能，表明当前多模态模型因训练数据知识覆盖不足而难以扩展。
Comments 23 pages, 4 figures, 10 tables. Preprint
PaveBench: 一种多功能的路面病害感知及交互视觉-语言分析基准
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Tianjin University（天津大学） ； Hefei University of Technology（合肥工业大学）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 PaveBench针对路面状况评估中的视觉识别与多模态交互需求，提供分类、检测、分割及视觉-语言问答等四项任务，支持多轮交互与事实推理，填补现有数据集在多模态分析与实际应用连接上的空白。
MedObvious：通过临床分诊暴露视觉语言模型中的医学莫拉维奇悖论
机构 * Mohamed bin Zayed University of Artificial Intelligence, UAE（马尔代夫布扎伊德人工智能大学，阿联酋） ； National Institute of Technology, Silchar（西尔CHAR国家理工学院） ； Birmingham City University, UK（伯明翰城市大学，英国）
专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 研究提出MedObvious基准测试，通过临床分诊任务验证视觉语言模型的输入验证能力，发现现有模型在处理不一致或无效输入时仍存在可靠性问题。
Comments 11 Pages
Patho-R1: 基于多模态强化学习的病理专家推理器
机构 * Department of Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科部门） ； Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院临床病理科研究所） ； University of Toronto（多伦多大学） ； Business School, Sichuan University（四川大学商学院） ； Department of Pathology, Shengjing Hospital of China Medical University（中国医科大学盛京医院病理科部门）
专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出Patho-R1，通过构建高质量推理导向数据集，结合三阶段训练流程提升病理推理能力，实现跨模态任务的鲁棒性能。
Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(33): 28418-28426, 2026
M4-RAG：大规模多语言多文化多模态检索增强生成
机构 * Stanford University（斯坦福大学） ； MBZUAI ； Indian Institute of Science（印度科学研究院） ； Ontario Tech University（安大略技术大学） ； University of Toronto（多伦多大学） ； Capital One
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 M4-RAG提出一个覆盖42种语言、56种方言和189个国家的多模态大规模基准，通过构建8万多个文化多样化的图像-问题对，评估跨语言和模态的检索增强视觉问答性能，揭示模型大小与检索效果的不匹配问题。
Comments Accepted to CVPR 2026
TempCore：视频问答基准测试是否具有时间感知性？一个帧选择敏感性分析与基准测试
机构 * POSTECH（POSTECH大学）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG
AI总结 本文通过帧选择敏感性分析揭示视频问答基准测试中多数样本对帧选择不敏感，仅少数样本具有时间敏感性，提出TempCore用于评估时间敏感样本。
Comments preprint
AQuA：迈向具有模糊性视觉问题的策略性响应生成
机构 * Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH） ； Department of Computer Science and Engineering, POSTECH（计算机科学与工程系，POSTECH）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 AQuA通过细粒度数据集和策略微调，提升VLMs在模糊视觉问答中的策略性响应生成能力。
Comments ICLR 2026 (28 pages); Project website: https://aqua-iclr2026.github.io/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈