视频大模型

VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

VGGRPO：迈向世界一致的视频生成的4D潜在奖励

Zhaochong An, Orest Kupyn, Théo Uscidda, Andrea Colaco, Karan Ahuja, Serge Belongie, Mar Gonzalez-Franco, Marta Tintore Gazulla

机构 * Google（谷歌） ； University of Oxford（牛津大学） ； CREST-ENSAE, Institut Polytechnique de Paris（巴黎综合理工学院CREST-ENSAE） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 VGGRPO通过引入4D潜在几何模型和组相对策略优化，提升视频生成的几何一致性与稳定性，避免VAE解码的高计算开销。

Comments Accepted at ECCV 2026. Project Page: https://zhaochongan.github.io/projects/VGGRPO

RotateAttention: RoPE-Aware Rotation and Range Rectification for INT4 Quantized Attention in Video Generation

RotateAttention：用于视频生成中INT4量化注意力的RoPE感知旋转与范围校正

Yaofu Liu, Wanli Lan, Jinxi Li, Binhang Yuan, Harry Yang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Independent Researcher（独立研究员） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 针对基于DiT的视频生成模型中注意力机制的计算瓶颈，提出RotateAttention框架，采用选择性FP16回退，引入RoPE感知旋转和范围优化P量化技术，提升速度并保持生成质量。

MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

MemoBench: 动态变化环境中的世界建模基准测试

Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Boston University（波士顿大学） ； Google（谷歌） ； JHU（约翰霍普金斯大学） ； CMU（卡内基梅隆大学） ； Kempner Institute（肯普纳研究所） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出MemoBench基准，通过目标消失-重现范式评估视频生成模型在动态环境中的记忆一致性，涵盖合成与真实场景，揭示现有模型的关键挑战。

LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing

LiveEdit：迈向基于扩散的实时流式视频编辑

Xinyu Wang, Chongbo Zhao, Fangneng Zhan, Yue Ma

机构 * THU（清华大学） ； HKUST（香港科技大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一种因果逐帧编辑的流式视频框架，通过三阶段蒸馏将双向模型能力迁移至单向流式编辑器，结合AR掩码缓存实现12.66 FPS的实时编辑，并保持背景稳定。

Comments Accepted by ECCV 2026, Project page: https://live-edit.github.io

GeoWorld: Providing Full-frame Geometry Features to Facilitate 3D Scene Generation

GeoWorld：提供全帧几何特征以促进3D场景生成

Yuhao Wan, Lijuan Liu, Jingzhi Zhou, Zihan Zhou, Xuying Zhang, Dongbo Zhang, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng

机构 * VCIP & AAIS, Nankai University（VCIP与AAIS，南开大学） ； ByteDance Inc.（字节跳动公司） ； Renmin University of China（中国人民大学） ； NKIARI, Shenzhen Futian（NKIARI，深圳福田） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 针对视频模型用于图像到3D场景生成时的几何失真等问题，提出两阶段GeoWorld方法，先由视频模型和多视图几何模型生成全帧几何特征辅助第二阶段，还提几何损失和适配模块，能生成更高保真3D场景且更快。

NaviCache: Test-Time Self-Calibration Caching for Video Generation

NaviCache: 视频生成的测试时自校准缓存

Zheqi Lv, Zhibo Zhu, Jinke Wang, Qi Tian, Shengyu Zhang, Zhengyu Chen, Chengxi Zang, Zhou Zhao, Fei Wu

机构 * Zhejiang University（浙江大学） ； Cornell University（康奈尔大学） ； Tencent Hunyuan（腾讯文生视频） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 针对视频扩散模型计算成本高的问题，提出NaviCache方法，将特征演化重构思为惯性导航系统问题，通过双状态估计架构自适应跟踪特征变化比和潜在漂移，实现有界误差的计算跳过，在多个模型上取得优异性能。

Comments Published at ICML 2026: Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

RynnWorld-Teleop：用于数字遥操作的动作条件世界模型

Haoyu Zhao, Xingyue Zhao, Hangyu Li, Biao Gong, Kehan Li, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； CUHK（香港中文大学） ； Hupan Lab（湖畔实验室） ； Alibaba Group（阿里巴巴集团） ； Ant Group（蚂蚁集团） 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)

AI总结 研究针对机器人学习数据收集瓶颈，提出数字遥操作范式，用生成世界模型解耦数据收集与物理约束。以RynnWorld-Teleop系统实现，含多种技术，能实时生成，训练策略可零样本转移，还能增强数据集，是高保真可扩展数据引擎。

Comments Project Page: https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-Teleop

Forget, Anticipate and Adapt: Test Time Training for Long Videos

遗忘、预期与适应：长视频的测试时训练

Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 提出帧遗忘网络（FFN），通过仅处理滑动窗口中的三帧并定义惊奇度量自适应调整窗口，实现长视频的高效测试时训练。

Comments ECCV 2026

Towards Temporal Compositional Reasoning in Long-Form Sports Videos

长期体育视频中的时间组成推理方法

Siyu Cao, Lu Zhang, Ruizhe Zeng, Zhi-yong Liu

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。