AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
生成式动作叙事：评估合成视频中的人体运动
机构 * Boston University（波士顿大学） ； Belmont High School（贝利蒙高中） ； Canyon Crest Academy（坎波尔峡谷学院） ； Runway
专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV
AI总结 研究视频生成模型中评估复杂人类动作指标难的问题，提出融合骨骼与外观特征的评估指标，经多方面基准验证，该指标相比现有方法有显著改进，与人类感知相关性强，揭示了当前模型局限性并建立新标准。
DriveVA: 视频动作模型是零样本驱动器
机构 * University of Twente（特温特大学） ； Xiaomi EV（小米电动汽车） ； University of Cambridge（剑桥大学） ； University of Bath（巴斯大学）
专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV
AI总结 DriveVA提出了一种新的自动驾驶世界模型，通过共享潜在生成过程联合解码未来视觉预测和动作序列，提升跨数据集和传感器配置的泛化能力，减少碰撞率和误差。
Comments Accepted to ECCV 2026. 30 pages, 12 figures, 11 tables
CustomX: 视频世界模型中的统一角色、动作与场景定制
机构 * Fudan University（复旦大学） ； Microsoft Research（微软研究院） ； University of Waterloo（滑铁卢大学） ； The University of Hong Kong（香港大学）
专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV
AI总结 提出CustomX，结合静态世界生成与可控实体模型，支持用户指定角色在3D场景中执行开放动作，通过条件自回归视频生成保持视觉保真度。
Comments Accepted to ECCV 2026. Project page: https://snowflakewang.github.io/CustomX_Page/
保留未来，放弃展开：面向世界动作模型的RIFT
专题命中 动作与事件理解 ：video generation(abstract)
AI总结 本文针对世界动作模型部署延迟问题，提出RIFT方法，通过学习的预期标记一次构建未来K/V缓存，在LIBERO、RoboTwin 2.0任务上实现高成功率且大幅降低动作块延迟。
TOPReward: 令牌概率作为机器人学中的隐式零样本奖励
机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究所） ； Amazon（亚马逊） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 动作与事件理解 ：video-language(abstract)
AI总结 TOPReward通过利用预训练视频视觉-语言模型的令牌概率，提供高效的零样本奖励估计，显著提升机器人任务进度评估的性能和泛化能力。
MotuBrain: 一种先进的世界动作模型用于机器人控制
机构 * MotuBrain Team（MotuBrain团队）
专题命中 动作与事件理解 ：video generation(abstract)
AI总结 MotuBrain提出一种统一的世界动作模型，结合视频和动作，支持多项任务，实现高效部署和高精度控制。
RynnWorld-Teleop：用于数字遥操作的动作条件世界模型
机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； CUHK（香港中文大学） ； Hupan Lab（湖畔实验室） ； Alibaba Group（阿里巴巴集团） ； Ant Group（蚂蚁集团）
专题命中 动作与事件理解 ：video diffusion(abstract)
AI总结 研究针对机器人学习数据收集瓶颈，提出数字遥操作范式，用生成世界模型解耦数据收集与物理约束。以RynnWorld-Teleop系统实现，含多种技术，能实时生成，训练策略可零样本转移，还能增强数据集，是高保真可扩展数据引擎。
Comments Project Page: https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-Teleop
FineVLA：面向可操控视觉-语言-动作策略的细粒度指令对齐
机构 * XLANG Lab, The University of Hong Kong（XLANG实验室，香港大学） ； Qwen Team, Alibaba Inc.（通义团队，阿里巴巴公司）
专题命中 动作与事件理解 ：video understanding(abstract)
AI总结 提出FineVLA框架，通过构建细粒度数据集和训练策略，在保持任务成功率的同时实现机器人动作的细粒度可控性。
Comments 26 pages, 7 figures, 25 tables
自梯度强制：原生长视频外推
机构 * Joy Future Academy（京东探索研究院）
专题命中 长视频与时序推理 ：long video(title)；video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究针对自回归视频扩散方法的历史上下文梯度差距问题，提出自梯度强制（SGF）两阶段训练策略，利用未来视频潜变量损失监督模型将上下文编码为有效因果记忆，在长视频外推实验中效果优于自强制。
Comments Project page: https://zhuang2002.github.io/SelfGradientForcing/
EC-Bench：超长视频的枚举与计数基准
机构 * The University of Tokyo, Japan（东京大学） ； Institute of Science Tokyo, Japan（东京科学大学） ； National Institute of Informatics, Japan（国立信息学研究所）
专题命中 长视频与时序推理 ：long video(title,abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 EC-Bench针对超长视频的枚举与计数问题，通过152部超过30分钟的视频和1699个查询，评估多模态大语言模型的性能，揭示模型在时间推理和计数任务中的局限性。
Comments The first two authors are equally contributed. The data and code are publicly available at: https://github.com/matsuolab/EC-Bench
CoVStream: 面向长视频流的边缘-云协作理解
机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University（浙江大学脑机智能国家重点实验室） ； vivo Mobile Communication Co., Ltd., Shenzhen, China（深圳 vivo 通信有限公司）
专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV
AI总结 提出边缘-云协作框架CoVStream，边缘节点将视频流压缩为视觉特征和语义描述传输至云端，云服务器构建实体图与全局视觉上下文，仅在用户查询时激活大模型，在LVBench上带宽降低87.6%且准确率保持99.2%。
Comments 9 pages
遗忘、预期与适应：长视频的测试时训练
机构 * University of Central Florida（中佛罗里达大学）
专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV
AI总结 提出帧遗忘网络（FFN），通过仅处理滑动窗口中的三帧并定义惊奇度量自适应调整窗口，实现长视频的高效测试时训练。
Comments ECCV 2026
TelePhysics: 从单张图像生成物理一致的多物体场景 with 实时交互
机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
专题命中 长视频与时序推理 ：video generation(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出TelePhysics，一种无需训练的框架，通过整体场景级3D重建将单张图像转换为物理一致且可控的视频。该方法通过统一的空间坐标系统表示完整场景几何，解决物体穿透和对齐模糊问题，实现准确的多物体交互和更丰富的复杂控制类型，从而在保持逼真视觉保真度的同时实现实时物理交互预览。
Comments ACMMM 2026. Project page: https://physomni.github.io/
原生主动感知作为全模态理解的推理
机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队）
专题命中 长视频与时序推理 ：video understanding(abstract)；long video(abstract)；分类 cs.CV
AI总结 提出OmniAgent，一种基于POMDP迭代观察-思考-行动循环的原生全模态智能体，通过主动感知将推理复杂度与视频时长解耦，在多个基准上达到开源模型最优性能。
Comments Accepted at ICML 2026. Code and models: https://github.com/harryhsing/omniagent
MBench: 视频世界模型记忆能力的综合基准
机构 * Tsinghua University（清华大学） ； WeChat Vision, Tecent Inc.（微信视觉，腾讯公司） ； Peking University（北京大学）
专题命中 长视频与时序推理 ：video generation(abstract)；long video(abstract)；分类 cs.CV
AI总结 提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。
Comments Project Page: https://peanutup.github.io/MBench-project/
通过语义长期跟踪实现手术视频的分割：SAM2S
机构 * National University of Singapore（新加坡国立大学） ； University of Sheffield（谢菲尔德大学）
专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV、eess.IV
AI总结 SAM2S通过语义长期跟踪提升手术视频分割性能，实现更准确的零样本泛化和实时推理
Comments 19 pages, 7 figures, 11 tables
Vorch-Streamer：将人类音视频生扩展至实时长格式流式生成
机构 * Vorch Team（Vorch团队） ； Tongji University（同济大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV
AI总结 Vorch-Streamer是一款后训练框架，通过混合训练、自强制与DMD蒸馏等技术，实现了超24 FPS的实时长格式T2AV流式音视频生成，兼具音唇同步性与身份保留能力。
Comments Project page: https://vorch-project.github.io/Vorch-Streamer-project/
ODEWorld：一种基于物理时间流的连续预测架构
机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR）） ； Berkeley Artificial Intelligence Research (BAIR), University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究院（BAIR））
专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV
AI总结 研究针对现有世界建模机器学习范式局限于离散时间预测的问题，提出基于PT-Flow的连续时间潜在世界模型ODEWorld，解决表示崩溃问题，在视频生成和机器人控制任务中表现出色。
用于视频显著对象排序的长期记忆与时间注意力转移建模及新基准
专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV
AI总结 该研究针对视频显著对象排序（VSOR）缺乏长期时间建模的问题，提出LoTAS长期记忆框架及含124个视频的新数据集，通过TCD、RSSE及排序转移监督提升性能，效果优于现有方法。
I3DM：隐式3D-aware记忆检索与注入用于一致的视频场景生成
机构 * Monash University（莫纳什大学） ； Vertex Lab（Vertex实验室） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出I3DM，一种隐式3D-aware记忆机制，通过预训练FF-NVS模型的中间特征进行视图相关性评分，提升复杂遮挡下的场景一致性生成效果。
Comments Project page: https://riga2.github.io/i3dm
长期体育视频中的时间组成推理方法
机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。
StreamVLN：通过快慢上下文建模实现流式视觉与语言导航
机构 * Shanghai AI Lab（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV
AI总结 研究现实世界中视觉与语言导航问题，提出StreamVLN框架，采用混合快慢上下文建模策略，通过快速流式对话上下文与缓慢更新内存上下文配合，实现实时对话，在VLN-CE基准实验中展现低延迟最优性能。
Comments Accepted to ICRA 2026
SWITCH：在长时程具身场景中评估和处理具象接口的基准测试
专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV
AI总结 SWITCH基准测试通过1170个时间交互视频，评估具象接口在真实第一人称环境中的闭环交互推理，揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。
Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH
Q-GeoMem：面向视频空间推理的问题引导几何记忆
机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Lab（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； TeleAI
专题命中 长视频与时序推理 ：video-language(abstract)；分类 cs.CV
AI总结 提出Q-GeoMem框架，通过问题引导的几何记忆机制，结合细粒度上下文库和语义几何证据库，在视频空间推理任务中实现最先进性能。
FashionChameleon：迈向实时和交互式的人体服装视频定制
机构 * Xiamen University（厦门大学） ； Alibaba Group（阿里巴巴集团）
专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出FashionChameleon框架，通过单件服装视频数据实现交互式多服装视频定制，保留动作一致性，实现实时生成23.8FPS，比现有方法快30-180倍。
Comments Project Page: https://quanjiansong.github.io/projects/FashionChameleon/
WorldPlay：面向实时交互式世界建模的长期几何一致性
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 长视频与时序推理 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出WorldPlay流式视频扩散模型，通过双重动作表示、重构上下文记忆和上下文强制蒸馏方法，实现实时交互式世界建模并保持长期几何一致性，生成24 FPS的720p长视频。
Comments project page: https://3d-models.hunyuan.tencent.com/world/, demo: https://3d.hunyuan.tencent.com/sceneTo3D, code: https://github.com/Tencent-Hunyuan/HY-WorldPlay
VL-KnG：从单目视频构建持久时空知识图谱以实现具身场景理解
机构 * Applied AI Institute, Moscow, Russia（莫斯科应用人工智能研究所）
专题命中 长视频与时序推理 ：long video(abstract)
AI总结 VL-KnG通过构建时空知识图谱实现高效具身场景理解，采用LLM驱动的时空对象关联和图增强检索，无需3D重建，支持常数时间推理，优于现有前沿VLMs。
长视频全模态推理基准
机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； American University of Beirut（贝鲁特美国大学） ； Linköping University（利尔贝里大学）
专题命中 视频数据与评测 ：long video(title,abstract)；video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 提出LongShOTBench基准，用于评估长视频中视觉、语音和环境音频的全模态推理，并引入无训练的全模态证据搜索代理LongShOTAgent，在105个模型上取得最优性能。
LVSum：一个用于时间感知长视频摘要的基准测试
机构 * Apple（苹果公司）
专题命中 视频数据与评测 ：long video(title,abstract)；分类 cs.CV
AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。
Comments 25 pages, 5 tables, 3 figures
CycliST：用于循环状态转换推理的视频语言模型基准
机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（人工智能与机器学习实验室，图腾斯达特技术大学） ； Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)（Konrad Zuse 学校（ELIZA）） ； Honda Research Institute Europe GmbH, Offenbach, Germany（本田欧洲研究院，奥芬巴赫，德国） ； Uncertainty in Artificial Intelligence Group, TU Eindhoven（人工智能不确定性小组，埃因霍温技术大学） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI）） ； Center for Cognitive Science（认知科学中心） ； German Center for Artificial Intelligence (DFKI)（德国人工智能中心（DFKI））
专题命中 视频数据与评测 ：video language model(title,abstract)；分类 cs.CV
AI总结 提出CycliST基准，通过合成视频评估视频语言模型对循环状态转换的文本推理能力，揭示现有模型在检测循环模式、时间理解和定量分析方面的局限。
Comments Published in the Journal of Data-centric Machine Learning Research (DMLR); https://openreview.net/forum?id=l03g53HUL2
Journal ref Journal of Data-centric Machine Learning Research, 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈