视频大模型

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；video reasoning(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering

推理前的感知：面向视频理解与问答的动态隐式推理

Haotian Xia, Zilin Xiao, Junbo Zou, Vicente Ordonez, Hanjie Chen

机构 * Rice University（莱斯大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频问答 ：video understanding(title)；分类 cs.CV

AI总结 该研究针对视频问答现有方法依赖长文本思维链的问题，提出DyLaR模型，通过动态调整感知与推理隐式变量的使用，在9个视频基准上提升准确率且缩短响应长度。

SER: Learning to Ground Video Reasoning with Semantic Evidence Rewards

SER: 用语义证据奖励学习视频推理定位

Sheng Xia, Zhengqin Lai, Tianxiang Jiang, Kanghui Tian, Shoujun Zhou, Bin Li, Yi Wang

机构 * Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 视频问答 ：video reasoning(title)；分类 cs.CV

AI总结 提出语义证据奖励（SER），通过将时空证据定位重构为约束验证任务，利用裁判VLM评估证据的相关性和定位质量，在V-STAR基准上提升3.0点mLGM。

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

ReQuest：基于重新思考的问题感知帧选择用于长视频问答

Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim

专题命中 视频问答 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出ReQuest，一种不确定性驱动的、问题自适应的关键帧选择方法，通过轻量级选择器、重新思考路由和不确定性引导的NMS，在固定token预算下提升长视频问答准确率。

Comments Accepted at ECCV 2026

REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering

REVEAL：用于长视频问答的基于 rubric（评分标准）的显式证据充分性验证智能体

Caijun Yan, Yang Zhou, Meixing Shi, Haoran Sun, Yichen Li, Yuxiang Cai, Yankai Jiang

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 该研究针对长视频问答中现有方法割裂事件、忽略证据充分性的问题，提出REVEAL框架，通过自适应分块的结构化记忆与rubric引导的证据验证，实现更可靠的推理且性能优于现有SOTA方法。

The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering

2026年EgoVis首届EgoCross挑战赛：跨域自我中心视频问答

Yuqian Fu, Tianwen Qian, Yanjun Li, Yu Li, Kunyu Peng, Xu Zheng, Yongqin Xian, Alessio Tonioni, Yanwei Fu, Xiaoling Wang, Danda Paudel, Federico Tombari, Luc Van Gool, Leyi Wu, Yifan Zhao, Jinjie Zhang, Yinchuan Li, Yingcong Chen, Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie, Takuya Murakawa, Toru Tamaki, Yi Wen, Zhenglin Du, Zhengyang Li, Lingling Li, Licheng Jiao, Wenping Ma

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 本文介绍2026年EgoVis研讨会举办的首届EgoCross跨域自我中心视频问答挑战赛，含两个赛道，共获1500余份提交，公布结果与获胜方案，资源公开以推进相关研究。

Comments 1st EgoCross challenge @ EgoVis workshop, CVPR26

Towards Spatial Supersensing in the Wild

迈向野外空间超感知

Tianjun Gu, Tianyu Xin, Kuan Zhang, Bowen Yang, Kok-Chung Chua, Peize Li, Xinran Zhang, Yupeng Chen, Qiyue Zhao, Qinlei Xie, Jianhang Liu, Yucheng Lu, Yinan Han, Marco Pavone, Yiming Li

机构 * Tsinghua University（清华大学） ； NVIDIA（英伟达） ； Stanford University（斯坦福大学） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 研究针对空间超感知中多模态模型基准测试局限于合成视频和家庭场景的问题，引入VSI-Super-Wild基准，受人类认知启发探究世界状态三元组，通过大量真实视频问答对测试发现模型不足及失败模式，为空间超感知发展指明方向。

Comments Accepted to ECCV 2026. Project page: https://vsi-super-wild.github.io/

Evidence-Backed Video Question Answering

有证据支持的视频问答

Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio Savarese, Chen Sun, Juan Carlos Niebles

机构 * Salesforce, Palo Alto, CA, USA（Salesforce公司） ； Brown University, Providence, RI, USA（布朗大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 研究视频问答中模型缺乏可视化依据的问题，提出E-VQA任务及ST-Evidence基准，开发数据集ST-Evidence-Instruct，通过微调提高模型表现，为可解释的视频理解建立基线。

Journal ref ECCV 2026

EG-VQA: Benchmarking Verifiable Video Question Answering with Grounded Temporal Evidence

EG-VQA: 基于接地时间证据的可验证视频问答基准

Linpeng Huang, Weixing Chen, Zexin Chen, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Shenzhen University（深圳大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 提出EG-VQA基准，通过细粒度时间证据标注和EG-F1指标，揭示视频大模型在答案正确性与证据定位之间的差距，并引入EG-Reasoner模型弥合这一差距。

Semantic Flip: Synthetic OOD Generation for Robust Refusal in Embodied Question Answering and Spatial Localization

Semantic Flip: 用于具身问答和空间定位中鲁棒拒绝的合成OOD生成

Dongbin Na, Chanwoo Kim, Giyun Choi, Dooyoung Hong

机构 * RGA Inc.（RGA公司） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 提出Semantic Flip框架，通过合成辅助OOD样本训练轻量拒绝模块，使冻结的视觉语言模型在无外部OOD标注下实现鲁棒拒绝，在具身问答和空间定位基准上优于强提示基线。

Comments 18 pages, 3 figures. Code and data: https://github.com/ndb796/SemanticFlip ; project page: https://ndb796.github.io/SemanticFlip

SportsGrounder: Proposal-Aided Interleaved Grounding for Dense Sports Video Reasoning

SportsGrounder：用于密集体育视频推理的提案辅助交错定位框架

Yizhi Li, Jiawei Jiang, Guanhong Wang, Yingcai Wu, Gaoang Wang

机构 * Zhejiang University（浙江大学） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 动作与事件理解 ：video reasoning(title,abstract)；分类 cs.CV

AI总结 针对LMMs难以处理密集体育视频细粒度推理的问题，提出SportsGrounder框架，结合IGF机制与AAS模块，在SoccerNet等数据集上实现最优准确率。

Comments ACMMM 2026

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

GMoT：用于基于多模态大语言模型的细粒度微手势视频推理的门控运动感知令牌化

Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Great Bay University（大湾区大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞市智能信息技术重点实验室） 纠错

专题命中 动作与事件理解 ：video reasoning(title)；video understanding(abstract)；分类 cs.CV

AI总结 研究针对微手势识别中运动易被掩盖及MLLMs处理运动学困难的问题，提出GMoT模块，通过空间加权池等提取运动线索并融合，引入渐进奖励引导策略优化范式，在多数据集上表现出色，还提出BRG召回及跨域转移协议。

Comments Accepted to ACM MM 2026

Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins

面向手术室视频的推理式文本-视频检索：基于动作驱动数字孪生

Yiqing Shen, Hao Ding, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 动作与事件理解 ：text-to-video(title,abstract)；分类 cs.CV

AI总结 提出OR3方法，通过动作驱动数字孪生（ActDT）将视频片段转化为结构化表示，并利用大语言模型生成假设ActDT进行检索，结合证据修正实现隐式查询推理，在手术室视频检索中显著优于基线。

OR-Action: Multi-Role Video Understanding with Fine-Grained Actions

OR-Action: 细粒度动作的多角色视频理解

Felix Tristram, Ege Özsoy, Christian Benz, Marcel Walch, Ghazal Ghazaei, Nassir Navab

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Carl Zeiss AG（卡尔蔡司股份公司） 纠错

专题命中 动作与事件理解 ：video understanding(title)；分类 cs.CV

AI总结 针对手术室活动理解中场景图方法缺乏时间建模的问题，提出基于公开数据集的细粒度多角色动作基准，并引入纯视觉时序模型，显著优于图方法，同时提出多视角到单视角特征对齐策略提升单视角性能。

The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping

低频陷阱：视频语言模型在简单事件记录上的失败

Sarvesh Baskar, Zikui Cai, Shayan Shabihi, Anirudh Satheesh, Muhammad R. Islam, Udari Madhushani Sehwag, Tom Goldstein, Furong Huang

专题命中 动作与事件理解 ：video language model(title)

AI总结 该研究提出基于轨迹的参数化分析方法，发现视频语言模型Gemini 3.6 Flash在高数量、高频率事件计数上表现极差，额外帧和提示策略难以解决问题，推动视频评估转向时间推理故障诊断。

Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

Go-with-the-Track: 基于点追踪的视频合成与运动控制

Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

机构 * Netflix USA（Netflix美国） ； Eyeline Labs USA（Eyeline Labs美国） ； University of Oxford（牛津大学） ； Eyeline Labs Los Angeles USA（Eyeline Labs洛杉矶美国） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Stony Brook University USA（石溪大学美国） ； Columbia University USA（哥伦比亚大学美国） ； Eyeline Labs United Kingdom（Eyeline Labs英国） ； Netflix Los Angeles USA（Netflix洛杉矶美国） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出Go-with-the-Track，通过联合条件多参考图像和参考锚定点轨迹，统一视频合成与运动控制，实现精确合成与运动控制。

Comments SIGGRAPH 2026, Project page: https://eyeline-labs.github.io/Go-with-the-Track/

Making Foresight Actionable: Repurposing Representation Alignment in World Action Models

使远见可操作：在世界动作模型中重新利用表示对齐

Lu Qiu, Yizhuo Li, Yi Chen, Yuying Ge, Yixiao Ge, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； XPENG Robotics（小鹏机器人） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 针对世界动作模型中视觉预测与动作提取不匹配的问题，提出AGRA方法，通过对齐视频扩散特征与语义表示，提升动作解码器对任务相关区域的关注，从而改善操作任务的性能与泛化能力。

ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

ForgeWM：面向少步骤动作条件视频世界模型的渐进式因果训练

Xinye Li, Lingshuai Lin, Lei Wang, Liuzhou Zhang, Jialin Cui, Qingshan Li, Guanchu Wang, Qingbin Liu, Xi Chen, Jiang Bian, Wai Lam

机构 * CUHK（香港中文大学） ； Tencent PCG（腾讯平台与内容事业群） ； FDU（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； HKUST（香港科技大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 ForgeWM 是一种渐进式框架，通过多阶段技术将双向动作条件视频生成器转化为少步骤世界模型，在 Minecraft 和 FPS 游戏任务中实现了更优的可控少步骤视频生成性能。

Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation

基于几何知识蒸馏的时序锚定组合式相机运动理解

Dazhao Du, Shiyan Du, Jian Liu, Yongjian Yu, Bohai Gu, Tao Han, Hualuo Liu, Eric Liu, Yujia Zhang, Xi Chen, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本研究提出CamDistill方法，通过几何知识蒸馏实现时序锚定的组合式相机运动理解，推出含4229个片段的CamChoreo基准，提升了相机运动识别的细粒度与效率。

SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models

SG-WAM：面向世界-动作模型的文本 grounded 与空间感知语义引导

Junjie He, Junfeng Li, Zhide Zhong, Haodong Yan, Ruixin Li, Yangyang Zheng, Jiaguan Zhu, Tianran Zhang, Yuqiao Du, Wen Chen, Shunbo Zhou, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Ola Dimensions（奥拉维度公司） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 针对现有世界-动作模型（WAM）存在的视频与指令语义不对齐问题，提出基于视觉-语言模型（VLM）的SG-WAM语义引导方法，通过注入文本接地且空间感知的语义前瞻，提升了WAM的指令遵循与操纵精度，经仿真和真实实验验证有效。

EgoGenesis: Egocentric World-Action Modeling with Online Anchored Projective Memory and Action-3D RoPE

EgoGenesis：基于在线锚定投影记忆与Action-3D RoPE的自我中心世界-动作建模

Zexuan Yan, Yuzhou Wu, Yue Ma, Zonghang He, Kaibo Yin, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Shijian Wang, Jinghong Liu, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； Tianji KernalMind Co., Ltd.（天机芯智有限公司） ； The Hong Kong University of Science and Technology（香港科技大学） ； Southeast University（东南大学） ； Renmin University of China（中国人民大学） ； The University of Tokyo（东京大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出EgoGenesis模拟器，通过在线锚定投影记忆与Action-3D RoPE合成自我中心操作视频，扩充训练数据，显著提升了真实机器人单臂、双臂任务的分布外操作成功率。

Comments project page: https://egogenesis.github.io/

ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding

ScanFocus：一种用于时空视频定位的从粗到细框架

Kai Chen, Ming Dai, Wenxuan Cheng, Wankou Yang

机构 * Southeast University（东南大学） 纠错

专题命中 动作与事件理解 ：long video(abstract)；分类 cs.CV

AI总结 研究时空视频定位问题，提出ScanFocus从粗到细框架，利用统一融合编码器和轻量级模块生成粗略提议，再用语义引导时间聚合器恢复细节，实验表明该方法性能优于以往方法。

Comments this paper has already been accepted by ECCV 2026

FlowWAM: Optical Flow as a Unified Action Representation for World Action Models

FlowWAM：光流作为世界动作模型的统一动作表示

Yixiang Chen, Peiyan Li, Yuan Xu, Qisen Ma, Jiabing Yang, Kai Wang, Jianhua Yang, Dong An, He Guan, Gaoteng Liu, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； FiveAges（无） ； MBZUAI（无） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 研究针对世界动作模型控制中动作表示难题，提出FlowWAM双流扩散框架，以光流为统一动作表示。该框架可实现WAMs两种模式，能利用无动作标签视频预训练，实验表明在操纵和世界建模任务中表现优于基线。

The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report

GEST引擎：从事件图到合成视频。完整技术报告

Nicolae Cudlenco, Mihai Masala, Marius Leordeanu

机构 * Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所） ； National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学） ； Büchi Labortechnik AG（布赫实验室技术公司） 纠错

专题命中 动作与事件理解 ：video understanding(abstract)；分类 cs.CV

AI总结 GEST引擎从自然语言文本生成多角色视频，核心是明确的世界模型，以GEST表示世界状态。通过程序或智能系统生成GEST，经四阶段管道执行，能输出多种视频相关数据，且保证相关特性，其输出可作视频理解多方面工具。

Learning to Deny: Action Denial in Multimodal Large Language Models

学习拒绝：多模态大语言模型中的动作否定

Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 动作与事件理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出UCF101-AD基准测试，评估多模态大语言模型在强上下文线索下识别动作缺失的能力，发现模型倾向于肯定动作而非验证其真实性，并通过因果图CausalAct减少误报。

Comments Accepted to ECCV 2026 main conference

ReWorld: Learning Better Representations for World Action Models

ReWorld：为世界动作模型学习更好的表示

Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Yu Zhu, Zhenxin Zhu, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米汽车） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 提出ReWorld框架，通过优化中间表示（未来预测监督、跨模态对齐、难负样本监督）提升自动驾驶世界动作模型的规划性能，在nuScenes和NAVSIM上取得显著提升。

Comments 19 pages,3 figures

TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

TraMP-LLaMA: 基于解耦指令微调的生成式可解释性用于面部表情质量评估

Shuchao Duan, Alan Whone, Hossein Rahmani, Jun Liu, Majid Mirmehdi

机构 * School of Computer Science University of Bristol（布里斯托大学计算机科学学院） ； Translational Health Sciences University of Bristol（布里斯托大学转化健康科学学院） ； School of Computing and Communications Lancaster University（兰卡斯特大学计算与通信学院） 纠错

专题命中 动作与事件理解 ：video-language(abstract)；分类 cs.CV

AI总结 提出TraMP-LLaMA多模态框架，融合外观和轨迹特征，采用解耦指令微调策略，联合预测严重度并生成结构化文本报告，在PFED5-plus数据集上优于基线方法。

Feed-forward Motion In-betweening for Any 4D

任意4D的前馈运动插值

Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

机构 * Waseda University（早稻田大学） ； AIST（产业技术综合研究所） ； Durham University（杜伦大学） 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出一种基于关键帧条件的前馈插值框架，利用网格VAE和MMDiT骨干的整流流模型，实现任意4D网格的快速运动插值，在DyMesh16和DyMesh32上表现优异。

Comments Video: https://youtu.be/jZAjPUtSq38?si=aXtDMDviFdfkjKUU

The Unreasonable Effectiveness of VLMs for Zero-shot Procedural Mistake Detection

VLM在零样本程序性错误检测中的惊人有效性

Serdar Ozsoy, Lars Doorenbos, Federico Spurio, Gianpiero Francesca, Juergen Gall

机构 * University of Bonn（波恩大学） ； Toyota Motor Europe（丰田欧洲公司） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所） 纠错

专题命中 动作与事件理解 ：video-language(abstract)；分类 cs.CV

AI总结 提出ZeProM框架，利用单个预训练VLM同时解决零样本程序性错误检测和时间动作分割，在EgoPER和CaptainCook4D基准上接近或超越全监督方法。

World Action Models: A Survey

世界行动模型：综述

Qiuhong Shen, Shihua Zhang, Yue Liao, Qi Li, Zhenxiong Tan, Shizun Wang, Shuicheng Yan, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文综述世界行动模型（WAMs），通过两种互补视角组织现有工作，揭示其设计权衡与未来趋势。

Comments 57 pages, 6 figures