视觉大模型 / VLM

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

CRAG-MM诊断：实现对知识密集型视觉问答的逐阶段分析

Hanseok Oh, Parishad BehnamGhader, Benno Krojer, Hyunji Lee, Paul Liang, Siva Reddy, Verna Dankers

机构 * New York University（纽约大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； MIT（麻省理工学院） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。

Comments Accepted to ECCV 2026

When Discourse Pressures Conflict: Information Structure in Vision-Language Model Outputs

当话语压力冲突时：视觉-语言模型输出中的信息结构

Marcell Fekete, Johannes Bjerva, Tamás Káldi

机构 * Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系） ； Department of Psycholinguistics and Neurolinguistics, ELTE Research Centre for Linguistics（ELTE语言研究中心心理学语言学与神经语言学系） ； ELTE Bárczi Gusztáv Faculty of Special Needs Education（ELTE巴尔茨吉斯塔夫特殊教育学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 研究视觉-语言模型在视觉问答中是否区分话语旧主题和新焦点，发现模型虽产生信息结构相关结构但过度正则化，倾向于窄响应模板，类似模式崩溃。

Unlearning Under Imbalance: Benchmarking Fairness in Multimodal LLM Unlearning

不平衡下的遗忘：多模态大语言模型遗忘中的公平性基准测试

Lorenzo Orsingher, Thomas De Min, Massimiliano Mancini, Davide Talon, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型遗忘中的公平性问题，提出FAIRGET基准和FAUN算法，通过模拟现实场景下不平衡的遗忘请求，在考虑数据不平衡性质时遗忘身份，实验证明该方法在遗忘质量和公平性上具有优越性。

Comments 33 pages

K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

K12-KGraph：一种对齐课程的图谱用于基准测试和训练教育大语言模型

Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, Meiyi Qiang, Linzhuang Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； OriginHub Technology（OriginHub技术） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)

AI总结 本文提出K12-KGraph，基于中小学教材构建的课程对齐知识图谱，用于构建多选基准测试K12-Bench和训练数据集K12-Train，验证课程结构监督在教育模型训练中的高效性。

MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement

MVEI与EmObserver：通过情感陈述判断增强面向MLLM的视觉情商

Daiqing Wu, Dongbao Yang, Jiashu Yao, Hongrui Zhang, Can Ma, Yu Zhou, Sicheng Zhao

机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； Beijing Institute of Technology（北京理工大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 视觉推理 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型视觉情商评估缺失问题，引入情感陈述判断公式ESJ，开发INSETS及MVEI基准，构建EmObserver模型。通过实验评估，确立了ESJ、MVEI和EmObserver在推进面向MLLM的视觉情商方面的作用。

S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence

S-Agent：空间工具使用激发空间智能推理

Yalun Dai, Hao Li, Shulin Tian, Runmao Yao, Yuhao Dong, Fangzhou Hong, Zhaoxi Chen, Fangfu Liu, Tao Wang, Kim-Hui Yap, Ziwei Liu

机构 * NTU（南洋理工大学） ； THU（清华大学） ； ByteDance（字节跳动） ； NWPU（西北工业大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出S-Agent空间工具使用智能体范式，通过时空证据积累和层次化工具集，将VLM作为语义规划器，实现连续多视图图像和视频的空间推理，在无训练下提升开源和闭源VLM性能，并基于S-300K轨迹微调得到紧凑空间智能体S-Agent-8B。

Comments Project Page : https://Ropedia.github.io/S-Agent

Training Fast Robot Policies with Slow Foundation Models

用慢速基础模型训练快速机器人策略

Utsav Singh, Pramit Bhattacharyya, Vinay P. Namboodiri, Amrit Singh Bedi

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；grounding(abstract)

AI总结 本文提出VGRS方法，通过利用慢速基础模型训练快速机器人策略，结合LLM生成奖励与视觉分析诊断，提升机器人在复杂任务中的表现和部署效率。

Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models

Geo3R：减轻多模态大语言模型中的空间推理幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Tong Jia, Ying Li

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 多模态大语言模型推理空间关系易产生幻觉，现有方法效果有限。本文定义空间推理幻觉及常见场景，提出无训练的Geo3R框架，结合几何证据和结构化3D推理减轻幻觉，实验证明该框架显著减少幻觉，优于现有模型和方法。

Comments Accepted by ACM MM 2026. This is the arXiv preprint version, not the camera-ready

MIRROR: Learning from the Other View for Multi-Modal Reasoning

MIRROR：从其他视角学习以进行多模态推理

Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型在几何问题多模态推理上的不足，构建ODA-Data数据集，提出模态感知互惠推理优化（MIRROR）方法，通过强化学习自我监督，提升多模态推理能力，在相关基准测试中表现更优。

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P: 基于姿态的视频理解

Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Shang-Wen Li, Saining Xie

机构 * New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； Meta FAIR 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。

Comments Project Page: https://cambrian-mllm.github.io/

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

Differentiable Logic Programming to Mitigate Reasoning Shortcuts in Neurosymbolic Systems

用于减轻神经符号系统中推理捷径的可微逻辑编程

Akihiro Takemura, Katsumi Inoue

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 研究神经符号系统易出现的推理捷径问题，提出基于矩阵的可微逻辑编程方法，通过统一编码规则和约束、连接模糊逻辑t-范数等减轻两种捷径类型，实验表明该方法能显著减少捷径，架构选择对减轻捷径起关键作用。

Comments In Proceedings ICLP 2026, arXiv:2607.17707

Journal ref EPTCS 450, 2026, pp. 29-51

ViSTR-Bench: Can MLLMs Reason from Continuous Visual Cues in Dynamic Scenes?

ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？

Han Li, Si Liu, Zehao Huang, Dongxin Lyu, Longfei Xu, Jiahui Fu, Daxin Tian, Yuliang Xiu, Naiyan Wang

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。

Comments 37 pages, 37 figures

WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms

WaveformQA：对数字波形上的大语言模型时间推理进行基准测试

Yichuan Liu, Daniel Cummings, Nick Vadlamudi

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 研究大语言模型对数字波形的时间推理能力，提出开源问答基准WaveformQA，含360个不同难度问题，波形由开源设计生成。评估发现模型在简单查询有准确率，但复杂问题上因窗口限制等性能下降，JSON表示可提高准确率，框架支持扩展实验。

Comments 10 pages; abridged version published in IEEE International Conference on LLM-Aided Design (ICLAD), 2026

Vision-Language-Policy Model for Dynamic Robot Task Planning

用于动态机器人任务规划的视觉-语言-策略模型

Jin Wang, Kim Tien Ly, Jacques Cloete, Jin Jin, Nikos Tsagarakis, Ioannis Havoutis

机构 * Dynamic Robot Systems Group, Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所动态机器人系统组） ； Humanoids and Human-Centered Mechatronics (HHCM), Istituto Italiano di Tecnologia（意大利技术研究所人形与以人为中心的机电系统） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI

AI总结 针对机器人在非结构化环境中自然语言命令与自主执行衔接难题，提出基于视觉-语言模型的VLP框架，能解释指令、整合推理生成行为策略，还可动态调整策略，实验证明其有强大规划自主性和跨实体泛化能力。

3D-Aware VLMs with Implicit and Explicit Geometries

具有隐式和显式几何的3D感知视觉语言模型

Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang

机构 * Nanyang Technological University（南洋理工大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； HuPan Lab（湖畔实验室） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究针对多数2D视觉输入的VLM处理3D任务困难的问题，提出VLM-IE3D框架，通过引入隐式和显式几何令牌及3D感知适配器，融合几何表示与视觉线索，在多种3D任务中表现优异。

Comments Accepted by ECCV 2026, Open Sourced

MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes

MV-GEL：语言驱动的多视图网格几何实体定位

Kartik Bali, Roland Aydin

机构 * Helmholtz Zentrum Hereon（亥姆霍兹赫里恩研究中心） ； Institute for Continuum and Material Mechanics, Hamburg University of Technology（汉堡工业大学连续介质与材料力学研究所） ； German Research Center for Artificial Intelligence（德国人工智能研究中心） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出MV-GEL框架，通过语言查询定位网格上的细粒度几何实体，利用视角选择模块GELviews优先选择可观察性高的视角，结合VLM分割和光线投射提升定位精度。

Comments Accepted at ECCV 2026

Do Pathology Vision-Language Models Truly See Pathology?

病理学视觉语言模型真的能‘看到’病理学吗？

Chengyang Zhang, Wenchuan Zhang, Bo Li, Xinyu Liu, Jiaming Yang, Mengran Li, Chenxun Deng, Jie Chen, Yang Zhang, Wei Ju, Yuhao Yi, Hong Bu, Jiancheng Lv

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 研究病理学视觉语言模型评估中被忽视的问题，提出含多类型样本的PathBind基准，通过对多个VLMs评估发现，当前病理学VLMs在答案性能与视觉语义绑定间有显著差距。

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

一种用于机器人的智能云边缘多模态交互系统

Zihan Guo, Xiaoqi Li

机构 * Hainan University（海南大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 针对复杂环境下资源受限机器人的交互问题，提出云边缘多模态交互框架，集成增强YOLO手势检测器与LLM、VLM智能体，改进手势检测方法，经实验验证该系统在手势检测精度、任务成功率及用户满意度方面表现良好，证明了方法的可行性。

Encode Once, Decode Never: Reusing Audio LM Internals for Efficient Temporal Localization

帧级内部工具使用用于音频语言模型中的时序定位

Joseph An, Phillip Keung, Jiaqi Wang, Orevaoghene Ahia, Noah A. Smith

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.LG

AI总结 本文提出帧级内部工具使用方法，通过二元分类器和IHP损失提升音频语言模型的时序定位能力，实现50倍加速和鲁棒长度泛化。

Comments To appear in COLM 2026. Refer to https://github.com/inkitori/taudio/ for the codebase

Grounding Investor Views: Neural Predicates in the Black-Litterman Model

在布莱克-利特曼模型中锚定投资者观点：神经谓词

Marcos Florencio

专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.AI、cs.LG

AI总结 研究在布莱克-利特曼模型下投资组合构建问题，提出用神经谓词作为观点生成机制，将结构化金融分析数据经其处理后映射到模型相关矩阵，方法可解释且完全可微，实现端到端学习。

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(title)；分类 cs.LG

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

Surprisal Theory is Tautological (without Rational Grounding)

惊奇理论是同义反复的（缺乏理性基础）

Ryan Cotterell

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(title)

AI总结 研究惊奇理论，指出其在无额外约束时是同义反复，任何难度模式都与某语言模型一致，无法证伪。长期被隐含假设掩盖，近期实证削弱该假设。结论是打破同义反复需理性主义干预，相关语言模型应源自非经验驱动模型。

Comments Under "Review" at ARR

Engine-Native Editable 3D World Reconstruction with Objects and Lighting

使用对象和光照进行引擎原生可编辑3D世界重建

Junhao Chen, Xinghao Chen, Henghaofan Zhang, Zihao Qiao, Saining Zhang, Yongzhi Li, Ruqi Huang, Sisi Li, Yimin Sheng, Jianyi Zhu, Hao Zhao

机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究旨在实现引擎原生可编辑3D世界重建。核心方法是引入Lumera管道，基于Lumera-2K数据，用Lumera-Box和Lumera-Light解析相关元素并组装。主要贡献是确立参数化灯光目标，揭示多方面剩余瓶颈，且在检测等方面取得一定分数。

Comments 18 pages, 7 figures, Project Page: https://haidilao0328.github.io/Lumera/

Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

用指南引导的多模态语言模型增强可解释的心脏诊断

Hai-Nam Duy Vuong, Duy-Anh Bui, Trong-Nghia Nguyen, Kim-Ngan Thi Nguyen, Trang Mai Xuan, Tien-Cuong Nguyen, Van-Dem Pham, Thien Van Luong

机构 * Business AI Lab, College of Technology, National Economics University（商业人工智能实验室，技术学院，越南国家经济大学） ； A2I Lab, Phenikaa School of Computing, Phenikaa University（A2I实验室，费尼卡计算机学院，费尼卡大学） ； VNPT AI, VNPT Group（VNPT人工智能，VNPT集团） ； FPT University（FPT大学） ； Department of Pediatrics, Hospital of University Medicine and Pharmacy, Vietnam National University Hanoi（越南河内国家大学医学与药学院儿科学系） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究针对深度学习模型在心脏诊断中可解释性有限等问题，提出指南引导的多模态框架，通过卷积神经网络、Grad-CAM及结构化解释指南生成诊断报告，实验证明该方法能提升报告质量，增强临床合理性。

Comments 12 pages, 3 figures, accepted at CITA 2026

LivePhys: Transforming Static Physics Problems into Interactive Simulations via a Scan-to-Play Framework

LivePhys：通过扫描即播放框架将静态物理问题转化为交互式模拟

Xiaowei Dai, Ziyu Luo, Xiangwen Zhang, Xiaoming Chen, Juan Wu, Yonghong Ke

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)

AI总结 研究针对教科书中静态物理问题学习的高认知负担，提出LivePhys框架，通过多模态处理构建中间表示，用大语言模型推理并由物理引擎执行生成交互式模拟，显著提升模拟性能并降低学习者认知负担。

Spatially Grounded Concept Bottleneck Models for Trustworthy Breast Ultrasound Diagnosis

用于可靠乳腺超声诊断的空间基础概念瓶颈模型

Moshiur Rahman Tonmoy, Dunren Che, Haitham Y. Adarbah, Afzel Noore

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究乳腺超声诊断中概念瓶颈模型可信度受监督限制问题，提出空间基础概念瓶颈模型（SG-CBM），利用病变轮廓弱监督，通过导出特定区域训练概念图，经交叉验证等提升诊断指标与概念证据空间对齐，强调数据质量监督设计及可信度验证的必要。

Comments Accepted to the Workshop on Data Quality Aware, High-Performance, and Trustworthy AI Systems for Healthcare at IEEE/ACM CHASE 2026

PhysCoRe: Physics-Corrected Residual World Models for Material-Aware Deformable Dynamics

PhysCoRe：用于材料感知可变形动力学的物理校正残差世界模型

Haocheng Yin, Shuohan Tao, Yongsheng Chen, Lu Gan

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 针对可变形物体操作演变预测难题，提出PhysCoRe模型，结合可微MPM模拟器与两个前馈神经网络，通过MfM和RfD模块实现物理校正与残差学习，提升预测精度，其置信度分布为未来探索提供信号。

From Static Bibliometrics to Dynamic Knowledge Graphs: An LLM-Powered Framework for Modernizing Science, Technology, and Innovation (STI) Analytics

从静态文献计量学到动态知识图谱：一个由大语言模型驱动的框架，用于实现科学、技术与创新（STI）分析的现代化

Muhsen Hammoud

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究针对文献计量指标的问题，提出由大语言模型驱动、整合多种传统的混合框架，经五层架构实现，将LLMs作为候选生成器，通过多阶段验证，支持多种分析，贡献了验证中介原则并讨论治理考量。

Towards a Certifying Grounder

迈向一个可验证的基础器

Daimy Van Caudenberg, Alexander Ek, Carlos Cantero, Bart Bogaerts

机构 * KU Leuven, Leuven, Belgium ARC Training Centre OPTIMA, Melbourne, Australia（比利时列日大学 澳大利亚OPTIMA培训中心） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究为一阶逻辑模型扩展引入可验证基础化框架CertiFOX，含证明格式、基础器GroundFOX和证明检查器CheckFOX，弥合用户规范与求解器输入的信任差距，保证输出与输入等价，实验表明该方法可行。

Comments In Proceedings ICLP 2026, arXiv:2607.17707

Journal ref EPTCS 450, 2026, pp. 309-324