视觉大模型 / VLM

Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

元数据感知的多提示推理用于零样本事故理解

Tarandeep Singh, Soumyanetra Pal, Soham Biswas, Nishanth Chandran

机构 * Netradyne 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出三阶段流水线，通过视觉-语言相似性、元数据驱动的多提示推理和开放词汇检测，实现零样本事故视频的时序定位、语义分类和空间定位，显著提升性能。

Comments Accepted at the AUTOPILOT Workshop, CVPR 2026 (non-archival). Workshop Paper ID 15

What Matters in Orchestrating Robot Policies: A Systematic Study of Hierarchical VLA Agents

机器人策略编排的关键因素：分层VLA智能体的系统研究

Jiaheng Hu, Mohit Shridhar, Caden Lu, Dhruv Shah, Hao-Tien Lewis Chiang, Jie Tan, Annie Xie

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 系统研究分层视觉-语言-动作（Hi-VLA）系统的设计原则，通过统一框架分析规划器、控制器及接口机制对短时、长时及推理密集型任务性能的影响，提出构建更强健分层VLA智能体的实用原则。

NeuroMosaic: Anatomically Grounded Multimodal Large Language Modeling for Molecularly Aware Glioma Reasoning from 3D MRI and Clinical Narratives

NeuroMosaic：基于解剖学的多模态大语言模型，用于从3D MRI和临床叙事中进行分子感知的胶质瘤推理

Yantong Liu, Zheyu Zhang, Runpeng Liu, Mu Xitang, Seong-Yoon Shin, Hyun-Ae Lee

专题命中 视觉推理 ：multimodal large language model(title)

AI总结 该研究针对多模态医疗大语言模型在神经肿瘤学中的结构缺陷，提出NeuroMosaic模型，通过多模块架构实现胶质瘤的准确推理，在多个数据集上取得优异性能，验证了解剖学索引路由机制的有效性。

Grounding latent algorithm routing in transformer reasoning

在变压器推理中为潜在算法路由建立基础

Xiangbo Zhang, Xiaoxu Ma

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉推理 ：grounding(title)

AI总结 研究变压器能否围绕不同归纳偏差族组织情节级适应，通过潜在算法路由及ROUTEBENCH基准实验，发现从零训练的密集仅解码器变压器能开发类似路由的内部变量，缩小最优路由差距，但未建立通用路由。

Comments Accepted by COLM 2026

VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

VAKRA：评估工具使用策略下跨API与检索的多跳推理能力

Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor

机构 * IBM（国际商业机器公司（IBM）） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究推出VAKRA基准评估工具使用策略下跨API与检索的多跳推理，发现现有最优模型在相关任务上性能随推理深度显著下降，失败集中于语言介导推理环节。

Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

顺序很重要：LVLMs作为图像序列时间推理的评判者

Martina Ianaro, Guilherme Fernandes, Maurizio Gabbrielli, Joao Magalhaes

机构 * University of Bologna（博洛尼亚大学） ； NOVA School of Science and Technology（NOVA科技学院） ； NOVA Laboratory for Computer Science and Informatics（NOVA计算机科学与信息实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本研究发现大视觉语言模型（LVLMs）作为多模态评判者存在时间顺序判别缺陷，受首因、近因等结构性偏差影响，呼吁构建时间感知的视觉序列评估范式。

Comments 34 pages, camera-ready

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

听、看与跟踪：面向全模态大模型的时空视听声音事件推理

Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 针对现有模型缺失的时空视听推理能力，构建ST-OmniQA基准，提出ST-Omni-R1模型，在该基准上平均语义准确率达77.83%，且空间运动表示可跨基准迁移。

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

Douyin Multimodal Embedding Model Technical Report

抖音多模态嵌入模型技术报告

Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有多模态嵌入模型难以兼顾效率与细粒度区分的问题，提出分两阶段训练的DME模型，在MMEB-v2数据集及抖音生产场景中均取得优异效果。

Comments Technical Report

TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs

TokenSwap：多模态大语言模型中模态差距的基准测试与缩减

Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出TokenSwap方法构建基准TokenSwap-Bench，发现42个多模态大语言模型普遍存在模态差距，推理模型差距更小，训练中引入TokenSwap可有效缓解该差距。

CinemaTraj: Composing Atomic Camera Trajectories for 3D Scenes with LLM Agents

CinemaTraj：用LLM智能体为3D场景合成原子相机轨迹

Qianru Li, Xuyang Chen, Erkin Türköz, Lu Liu, Xuqin Wang, Liqiu Meng, Tao Wu, Yanfeng Zhang

机构 * Technical University of Munich（慕尼黑工业大学） ； Huawei Dresden Research Center（华为德累斯顿研究中心） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 CinemaTraj是将LLM智能体与3D场景图结合的框架，可从自然语言生成带旁白的3D场景相机轨迹，在真实环境中优于现有方法。

Comments 17 pages, including 8-page main paper, references, and supplementary material; project page: https://cinematraj.github.io/

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL：一种高效的编解码器原生流式多模态基础模型

Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

机构 * Microsoft（微软） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 研究针对标准视觉语言模型在流式感知任务的不足，提出Mage-VL。核心方法是用Mage-ViT选择性编码关键区域，减少视觉令牌消耗。该模型在多模态理解和交互上表现出色，推理速度加快，还有多项关键实证发现。

Comments Project page: https://microsoft.github.io/Mage

Reasoning to Regulate: Chain-of-Thought for Traffic Rule Understanding

推理以规范：用于交通规则理解的思维链

Yueru Luo, Xu Yan, Changqing Zhou, Yiming Yang, Chao Zhan, Shuqi Mei, Chao Zheng, Zhen Li

机构 * CUHK-SZ, Shenzhen-FNii（香港中文大学（深圳），深圳高等金融研究院） ； HKUST(GZ)（香港科技大学（广州）） ； Tencent T Lab（腾讯T实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 针对交通规则理解这一自动驾驶关键挑战，提出为视觉语言模型配备思维链能力的框架，设计整理管道，采用两阶段训练方案，显著提升了可解释性和准确性，建立首个基于推理的自动驾驶框架。

Comments Technical Report

VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation

VIPER：用于物理上合理的视频生成的视觉上下文物理推理

Tianxiao Chen, Hanmo Chen, Huajin Chen, Bo Li, Qi Ye, Peng-Tao Jiang

机构 * Zhejiang University（浙江大学） ； vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对视频生成模型控制物理行为难的问题，提出VIPER框架，利用多模态大语言模型提取物理线索，通过分层训练引导图像到视频生成器，构建VIPER-19K数据集，实验证明该框架能实现物理行为转移且效果良好。

Comments tech report

RS-RIE-Bench: Benchmarking Reasoning-Guided Remote Sensing Image Editing

RS-RIE-Bench：推理引导的遥感图像编辑基准测试

Zihan Qin, Boao Xu, Zhao Dong, Yingping Sun, Ziheng Jiao, Junying Wang, Hongwei Wang

机构 * Huawei（华为） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对遥感图像编辑，引入RS-RIE-Bench基准，将任务分类，通过特定评估协议和方法评估模型，经实验发现当前模型在推理引导的遥感编辑中有局限，为未来模型提供了基准和研究方向。

Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence

Apple-$π$：基于视频对基于法律的物理智能进行思维基准测试

Runmao Yao, Kairui Hu, Yukang Cao, Ruisi Wang, Shulin Tian, Ziang Cao, Weichen Fan, Ziqi Huang, Yuhao Dong, Hao Li, Zhaoxi Chen, Zhongang Cai, Lei Yang, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对视频模型评估仅看输出层面的不足，提出Apple-PI基准，含数据集、协议和评估套件三部分，通过对11个模型测试发现其距可靠世界模拟器差距大，并揭示了一些瓶颈与差距，为指导视频模型发展提供诊断基础。

PreSIST: Vision-Language-Informed Object Persistence Prediction in Open-World Scenes

PreSIST：开放世界场景中视觉-语言信息的对象持久性预测

Amanda Adkins, Tarunvidyut Ravisankar, Joydeep Biswas

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； National Science Foundation（美国国家科学基金会） ； ARO（美国陆军研究办公室） ； Amazon（亚马逊公司） ； JP Morgan（摩根大通公司） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究长期部署机器人对环境变化的推理，提出PreSIST方法，通过对象属性和场景上下文估计实例级持久性先验，结合概率持久性过滤器预测对象未来姿态，有两种变体，实验表明优于基线。

Comments 8 pages, 6 figures, 3 tables

Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

将交错多模态推理作为统一决策过程进行衔接

Zican Hu, Xuyang Hu, Yiming Liu, Zuwei Long, Wei Liu, Yunzhuo Hao, Jiawei Gu, Linjie Li, Yu Cheng, Zhenhong Sun, Weibo Gu, Xing Sun, Zhi Wang

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； University of Washington（华盛顿大学） ； The Chinese University of Hong Kong（香港中文大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 研究统一多模态模型中强化学习优化多轮生成的问题，提出BRAID框架，将文本-图像-文本推理视为统一马尔可夫决策过程，通过单一强化学习目标联合优化文本和视觉生成，实验表明该框架性能优于基线。

Comments 22 pages, 8 figures

ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space

ProLaViT：在结构化潜在空间中学习渐进式潜在视觉思维

Peiming Li, Yifan Wang, Xiaotian Zhang, Zhiyuan Hu, Shiyu Li, Zheng Wei, Yang Tang

机构 * Basic Algorithm Center, PCG, Tencent（腾讯PCG基础算法中心） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型在复杂视觉推理任务中的不足，ProLaViT框架利用内生自蒸馏机制等，设计两种推理范式及损失函数，使其能在潜在空间进行结构化视觉推导，实验证明效果优于基线。

Comments Accepted by ECCV 2026

SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video

SpaceEra++: 面向视频中3D空间推理的统一框架

Weili Guan, Haoyu Zhang, Meng Liu, Qianlong Xiang, Yaowei Wang, Liqiang Nie

机构 * School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Shenzhen Loop Area Institute（深圳河套学院） ； School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Technology, Shandong Jianzhu University（山东建筑大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SpaceEra++框架，通过ScenePick帧采样策略缓解输入不足，并利用SpaceAlign对齐绝对坐标与相对空间关系增强推理，在多个基准上超越强基线。

Comments Accepted by IEEE TPAMI 2026

Falcon: Functional Assembly and Language for Compositional Reasoning in X-ray

Falcon: X射线中组合推理的功能组装与语言

Yonathan Michael, Mohamad Alansari, Natnael Takele, Andreas Henschel, Naoufel Werghi

机构 * Khalifa University（哈利法大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对X射线安检中威胁来自分散组件功能兼容性的问题，提出Falcon框架，通过结构化安全状态表示实现组合威胁推理，并构建Falcon-X基准验证其有效性。

Comments Accepted at ECCV2026; Project Page: https://yonathan-kiflom.github.io/FALCON/page/

EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding

EgoSAT: 一个全面的自我中心流式交互理解基准

Yijia Lei, Jinzhao Li, Yichi Zhang, Jiacheng Hua, Yin Li, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出EgoSAT基准，统一自我中心视频的回顾、在线和前瞻推理任务，评估视觉语言模型在流式设置中的表现，发现现有模型存在前瞻/回顾困难及置信度校准问题。

Comments Accepted to ECCV 2026. Project page: https://leiyj23.github.io/EgoSAT/

Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs

神经符号驱动：基于规则忠实推理的驾驶VLA

Xiangbo Gao, Xiukun Huang, Boyu Lu, Junge Zhang, Mengjie Mao, Jiachen Li, Wei Xiong, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） ； University of California, Riverside（加利福尼亚大学河滨分校） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出神经符号驱动框架，利用规则规划器的决策轨迹监督驾驶VLA，实现推理与运动生成的因果耦合，显著降低轨迹误差和碰撞率。

WorldOlympiad: Can Your World Model Survive a Triathlon?

WorldOlympiad：你的世界模型能经受铁人三项考验吗？

Yuke Zhao, Wangbo Zhao, Weijie Wang, Zeyu Zhang, Dakai An, Akide Liu, Yinghao Yu, Jiasheng Tang, Fan Wang, Wei Wang, Bohan Zhuang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； The Hong Kong University of Science and Technology（香港科技大学） ； Monash University（莫纳什大学） ； TRE, Alibaba Group（阿里巴巴TRE） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出WorldOlympiad基准，从物理忠实性、几何一致性和交互保真度三个维度诊断视频世界模型，揭示现有模型在物理推理、3D一致性和长程交互方面的显著不足。

Comments Project Page: https://alibaba-damo-academy.github.io/WorldOlympiad/, Code: https://github.com/alibaba-damo-academy/WorldOlympiad

CFPO: Counterfactual Policy Optimization for Multimodal Reasoning

CFPO：用于多模态推理的反事实策略优化

Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出反事实策略优化框架，通过跨模态反事实增强机制强制视觉与文本推理的因果一致性，显著提升多模态推理的准确性。

Comments Accepted to ICML 2026. 17 pages

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

FinAcumen: 通过自演化经验记忆实现的金融多模态推理

Pianran Guo, Pengcheng Zhou, Yucheng Jian, Shuhua Chen, Zhonfliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。

WeGenBench: A Multidimensional Diagnostic Benchmark towards Text-to-Image Model Optimization

WeGenBench：面向文本到图像模型优化的多维诊断基准

Qian Liang, Xiaomin Li, Ying Zhang, Jia Xu, Lihao Ni, Hongrui Li, Jingjing Li, Jing Lyu, Chen Li

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Dalian University of Technology（大连理工大学） ； Weixin, Tencent（腾讯微信） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出WeGenBench基准，包含4000个中英双语提示，通过场景分类和多维标签实现跨维度评估，并设计基于视觉语言模型的新颖指标，精准定位模型在特定生成类别中的缺陷。

IndustryBench-MIPU: Benchmarking Multi-Image Attribute Value Extraction for Industrial Products

IndustryBench-MIPU：面向工业产品的多图像属性值提取基准

Haonan Qi, Jin Cao, Yongqi Zhang, Xintong Wang, Weidong Tang, Bin Chen, Chengfu Huo, Haojun Pan, Hengyu You, Jing Li, Yingde Wang, Liang Ding

机构 * Multimodal and Industrial AI Team（多模态与工业AI团队） ； Taobao&Tmall, Alibaba Group（淘宝&天猫，阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出首个多图像工业产品理解基准IndustryBench-MIPU，通过结构化属性提取任务评估多模态大模型在规格表、铭牌、技术图纸上的文本识别、视觉推理、领域知识和跨图像证据整合能力，发现多图像完整性是核心瓶颈。

SGFormer++: Semantic Graph Transformer for Incremental 3D Scene Graph Generation

SGFormer++：用于增量式3D场景图生成的语义图Transformer

Mengshi Qi, Changsheng Lv, Zijian Fu, Xianlin Zhang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SGFormer++，通过图嵌入层和语义注入层实现全局消息传递，并引入空间引导特征适配器和级联二值预测头解决增量场景图生成中的灾难性遗忘问题，在3DSSG基准上达到最优性能。

GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

GeoDial：面向几何问题求解的多模态对话式辅导数据集，包含可视化辅导轮次

Sankalan Pal Chowdhury, Junling Wang, Donya Rooein, April Yi Wang, Mrinmaya Sachan

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； Bocconi University（博科尼大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 提出GeoDial数据集，包含1300+几何师生对话，通过可扩展标注协议整合对话行为、视觉高亮和反馈，微调视觉语言模型发现其难以生成准确图解高亮。