视频大模型

Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

基于推理时无梯度优化的空间接地文本到视频生成

Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

机构 * ISIR - Sorbonne Université（ISIR - 索邦大学） ； Obvious Research 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结 针对文本到视频生成的空间可控性挑战，提出无训练无梯度的GATO-Vid方法，通过解析求解交叉注意力分数实现精确空间引导，在提升定位精度的同时降低计算开销。

Comments Camera Ready Version

HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control

HandsOnWorld: 无约束的自我中心视频生成，具有相机解耦的手部控制

Yushuo Chen, Xiaoyu Shi, Xiaoshi Wu, Xintao Wang, Pengfei Wan, Yebin Liu

机构 * Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出HandsOnWorld框架，通过单目重建从无约束视频中学习手部控制，利用Plücker手部映射解耦相机与手部运动，生成高保真自我中心视频。

Comments Project Page: this https URL (https://shad0wta9.github.io/handsonworld-page/)

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse: 面向自动驾驶的占用引导无界场景生成

Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出InfiniVerse统一框架，通过3D占用表示和视频扩散模型实现从单帧到长距离、2D-3D对齐的动态城市场景可控生成，在Waymo和nuScenes上达到SOTA。

Comments Paper accepted as poster at ECCV workshop SPAD

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

HumanForge：一个具有多智能体伪造原理的以人类为中心的深度伪造视频基准

Wenbo Xu, Zhimin Chen, Xiaojie Liang, Hengrui Liu, Ziqi Sheng, Wei Lu

专题命中 视频数据与评测 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频伪造给数字内容取证带来的挑战，引入HumanForge数据集，提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集，经测试展现了零样本泛化和细粒度推理的重大挑战，代码和数据集将公开。

Comments 18 pages, 8 figures