视频大模型 - arXivDaily 专题

2608.13037 2026-08-14 cs.CV 新提交 89%

Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

基于推理时无梯度优化的空间接地文本到视频生成

Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

机构 * ISIR - Sorbonne Université（ISIR - 索邦大学）； Obvious Research

专题命中视频生成：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结针对文本到视频生成的空间可控性挑战，提出无训练无梯度的GATO-Vid方法，通过解析求解交叉注意力分数实现精确空间引导，在提升定位精度的同时降低计算开销。

Comments Final Version

2608.13049 2026-08-14 cs.RO cs.CV 新提交 79%

H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

H2R-Bench：面向世界模型的人到机器人操作视频生成基准测试

Dingyi Rong, Yue Shi, Chaofan Ma, Jiezhang Cao, Zongrui Wang, Zeyu Zhang, Yao Mu, Guangtao Zhai, Ning Liu

专题命中视频生成：video generation(title,abstract)；分类 cs.CV

AI总结该研究推出H2R-Bench基准测试，评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力，发现现有模型在实体一致性等方面存在局限，为相关模型评估提供诊断框架。

2608.13028 2026-08-14 cs.CV cs.RO 新提交 79%

RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction

用于改进人机物体交接预测的RGB-D视频生成

Tianyu Sun, Zhoujie Fu, Zihui Gao, Bang Zhang, Guosheng Lin

机构 * Nanyang Technological University（南洋理工大学）； College of Computing and Data Science（计算与数据科学学院）； Zhejiang University（浙江大学）； College of Computer Science and Technology（计算机科学与技术学院）； Alibaba Group（阿里巴巴集团）

专题命中视频生成：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结针对人机物体交接数据集稀缺及现实-模拟差距问题，提出Hand2Bot数据集与PassGen生成流水线，实现高意图识别准确率与低误触发率，支持机器人稳健零样本迁移与早期意图预测。

2607.02075 2026-08-14 cs.CV 版本更新 79%

HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control

HandsOnWorld: 无约束的自我中心视频生成，具有相机解耦的手部控制

Yushuo Chen, Xiaoyu Shi, Xiaoshi Wu, Xintao Wang, Pengfei Wan, Yebin Liu

机构 * Tsinghua University（清华大学）； Kling Team, Kuaishou Technology（快手科技 Kling 团队）； Chinese University of Hong Kong（香港中文大学）

专题命中视频生成：video generation(title,abstract)；分类 cs.CV

AI总结提出HandsOnWorld框架，通过单目重建从无约束视频中学习手部控制，利用Plücker手部映射解耦相机与手部运动，生成高保真自我中心视频。

Comments Project Page: https://shad0wta9.github.io/handsonworld-page/

2608.13391 2026-08-14 cs.CV 新提交 70%

Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation

上下文匹配蒸馏：用于自回归视频蒸馏的教师因果性

Hmrishav Bandyopadhyay, Xuanchi Ren, Zijian Huang, Jay Zhangjie Wu, Tianshi Cao, Ruilong Li, Bryan Chu, Sanja Fidler, Yi-Zhe Song, Zian Wang

机构 * NVIDIA（英伟达）； University of Surrey（萨里大学）

专题命中视频生成：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结本文提出上下文匹配蒸馏（CMD）框架，解决现有视频蒸馏中教师监督与学生因果信息集不一致的问题，实现了自回归视频生成的最先进性能及对相机控制的更好依从性。

Comments Project Page: https://hmrishavbandy.github.io/cmd-site/

2608.13556 2026-08-14 cs.CV 新提交 57%

V-RAE: Rethinking Video Latent Spaces for Generation

V-RAE：重新思考用于生成的视频隐空间

Minghui Guo, Shengqiong Wu, Hao Fei

机构 * National University of Singapore（新加坡国立大学）； University of Oxford（牛津大学）

专题命中视频生成：video generation(abstract)；分类 cs.CV

AI总结本研究提出V-RAE视频表示自动编码器，基于冻结视觉基础模型构建生成隐空间，在多项视频任务上优于现有模型，还引入tFVD指标，证明冻结语义表示可支持多种视频建模任务。

Comments 26 pages, 8 tables, 13 figures, project page: https://v-rae.github.io/

2511.17492 2026-08-14 cs.CV 版本更新 57%

EvDiff: Event-Based Video Reconstruction using One-Step Diffusion Models

EvDiff：高质视频与事件相机

Weilun Li, Lei Sun, Ruixi Gao, Qi Jiang, Yuqin Ma, Kaiwei Wang, Ming-Hsuan Yang, Luc Van Gool, Danda Pani Paudel

机构 * Zhejiang University（浙江大学）； INSAIT ； UC Merced（加州大学默塞德分校）； Google DeepMind（谷歌DeepMind）