视频大模型

Demystifying Video Reasoning

揭秘视频推理

Ruisi Wang, Zhongang Cai, Fanyi Pu, Junxiang Xu, Wanqi Yin, Maijunxian Wang, Ran Ji, Chenyang Gu, Bo Li, Ziqi Huang, Hokin Deng, Dahua Lin, Ziwei Liu, Lei Yang

机构 * SenseTime Research（商汤科技研究院） ； Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视频扩散模型 ：video reasoning(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 本文通过实验揭示视频扩散模型中的推理主要发生在去噪步骤中，提出链式步骤（CoS）机制，并发现工作记忆、自我修正和感知先行等涌现行为，最后提出一种无需训练的集成策略来提升推理能力。

Comments Homepage: https://www.wruisi.com/demystifying_video_reasoning

AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models

AniCrafter：基于视频扩散模型中化身-背景条件的逼真以人为中心动画定制

Muyao Niu, Mingdeng Cao, Yifan Zhan, Qingtian Zhu, Weihang Ran, Yanhong Zeng, Xiao Sun, Zhihang Zhong, Yinqiang Zheng

机构 * The University of Tokyo（东京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本研究提出AniCrafter模型，通过在视频扩散模型中引入化身-背景条件机制，解决现有角色动画方法在开放域场景中效果受限的问题，其性能优于现有最先进方法，可生成通用且可感知遮挡的动画结果。

Comments Homepage: https://myniuuu.github.io/AniCrafter ; Codes: https://github.com/MyNiuuu/AniCrafter

Mirror Learning

镜像学习

Yunpeng Liu, Matthew Niedoba, Oluwanifemi A. Adekanye, Jason Yoo, Yingchen He, Berend Zwartsenberg, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Inverted AI ； Amii 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出镜像学习框架，通过视频扩散模型的视角变换与逆动力学模型合成镜像数据，用其增强行为克隆训练可提升策略性能，为数据收集提供替代方案。

TRACE: High-Fidelity 3D Scene Editing via Tangible Reconstruction and Geometry-Aligned Contextual Video Masking

TRACE：通过可触觉重建和几何对齐的上下文视频遮罩实现高保真的3D场景编辑

Jiyuan Hu, Zechuan Zhang, Zongxin Yang, Yi Yang

机构 * ReLER Lab, CCAI, Zhejiang University（浙江大学计算机辅助设计与图形学全国重点实验室（CCAI）ReLER实验室） ； DBMI, HMS, Harvard University（哈佛大学医学院生物医学信息学系（DBMI）） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 TRACE通过可触觉重建和几何对齐的上下文视频遮罩，实现高保真的3D场景编辑，解决了现有方法在局部姿态调整和组件替换时结构完整性不足的问题。

Comments 9 pages, 9 figures