视频大模型

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

OmniDrive: 一种由LLM编排的多智能体世界模型，用于多视角驾驶视频生成的统一潜在协同压缩

Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

机构 * Peking University（北京大学） ； Xiamen University（厦门大学） ； Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； National Taiwan University（国立台湾大学） ； Wuhan University（武汉大学） ； Wuhan University of Technology（武汉理工大学） ； Tsinghua University（清华大学） ； Jimei University（集美大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出DRIVE-CHOREO，一种由LLM编排的多智能体世界模型，通过三个Qwen2.5-VL智能体协同生成位置感知的潜在序列，并利用视图-时间置换与3D VAE协同压缩，实现可控多视角视频生成，在nuScenes上达到SOTA多视角一致性和BEV mAP 21.6。

Comments 24 pages, 10 figures

PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory

PermaVid: 通过解耦上下文记忆实现编辑下的一致视频生成

Shuai Yang, Bingjie Gao, Ziwei Liu, Jiaqi Wang, Dahua Lin, Tong Wu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Stanford University（斯坦福大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出PermaVid框架，利用解耦为语义外观和几何结构的上下文记忆，结合编辑感知更新策略，实现编辑操作后视频的长期一致生成。

Comments Project page: https://ys-imtech.github.io/projects/PermaVid/

Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering

Pulling The REINS: 通过表示引导实现视频扩散模型的无训练安全对齐

Rohit Kundu, Arindam Dutta, Sarosij Bose, Athula Balachandran, Amit K. Roy-Chowdhury

机构 * University of California, Riverside（加州大学河滨分校） ； YouTube (Google)（YouTube（谷歌）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出REINS方法，在推理时通过线性方向引导视频扩散模型的内部表示，实现无训练的安全对齐，避免有害内容生成，且不降低通用能力。

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

SierpinskiCam: 基于谢尔宾斯基三角形图案线索的相机控制视频重拍

Suttisak Wizadwongsa, Hyelin Nam, Supasorn Suwajanakorn, Jeong Joon Park

机构 * University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； VISTEC, Thailand（泰国威斯泰克科学技术研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出SierpinskiCam方法，通过谢尔宾斯基圆顶纹理线索增强几何引导，并引入参考视频条件机制，解决单目视频重拍中相机大角度偏离时的稀疏区域问题，提升相机可控性、几何一致性和视频质量。

Comments 20 pages, 13 figures

AoiZora: Topology-Aware Auto-Parallel Optimization for Inference of Diffusion Transformers

AoiZora: 面向扩散变换器推理的拓扑感知自动并行优化

Kaijian Wang, Yuanyuan Xu, Fanjiang Ye, Ye Cao, Jingwei Zuo, T. S. Eugene Ng, Yarong Mu, Yuke Wang

机构 * Rice University（里士大学） ； Independent Researcher（独立研究者） ； Google（谷歌） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)

AI总结 针对扩散变换器推理中的低延迟需求，提出AoiZora编译器，通过拓扑感知的物理布局优化自动并行策略，在TPU子片上实现高达1.42倍的加速。

Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins

面向手术室视频的推理式文本-视频检索：基于动作驱动数字孪生

Yiqing Shen, Hao Ding, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 动作与事件理解 ：text-to-video(title,abstract)；分类 cs.CV

AI总结 提出OR3方法，通过动作驱动数字孪生（ActDT）将视频片段转化为结构化表示，并利用大语言模型生成假设ActDT进行检索，结合证据修正实现隐式查询推理，在手术室视频检索中显著优于基线。

LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams

LiveStarPro: 具有分层记忆的主动式流视频理解用于长时域流

Zhenyu Yang, Kairui Zhang, Bing Wang, Shengsheng Qian, Changsheng Xu

机构 * IEEE 纠错

专题命中 长视频与时序推理 ：video understanding(title,abstract)；video-language(abstract)；分类 cs.CV

AI总结 提出LiveStarPro，通过流验证解码、流因果注意力掩码和树结构分层记忆三个组件，实现长时域流媒体视频的主动理解，在语义正确性和时序误差上分别提升28.9%和降低18.2%。

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

MaineCoon: 追求实时音视频社交世界模型

Lichen Bai, Tianhao Zhang, Shitong Shao, Dingwei Tan, Qiyu Zhong, Zhengpeng Xie, Haopeng Li, Qinghao Huang, Dandan Shen, Tengjiao Ji, Wei Wang, Peicheng Wu, Yuxuan Zhao, Xiangyu Zhu, Welly Luo, Shurui Yang, Zeke Xie

机构 * Catnip AI Team（Catnip AI团队） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV

AI总结 提出MaineCoon，首个22B参数的实时音视频自回归模型，支持单GPU上高达47.5 FPS的流式生成和亚秒级交互，专为社交互动应用优化，引入自重采样、跨模态对齐、领域偏好优化和强化在线策略蒸馏等技术。

Comments 32 pages, 13 figures, 3 tables

TivTok: Broadcasting Time-Invariant Tokens for Scalable Video Tokenization

TivTok：广播时间不变令牌以实现可扩展视频分词

Weiliang Chen, Yuanhui Huang, Xuebo Wang, Yueqi Duan

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Department of Automation, Tsinghua University（清华大学自动化系） ； Kuaishou Technology（快手科技） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV

AI总结 提出TivTok，一种可重用感知的视频分词器，通过时间不变（TIV）和时间变化（TV）令牌分解视频，实现高效压缩和长视频建模，在标准基准上rFVD达12.65，压缩效率提升2.91倍。

EgoCS-400K: An Egocentric Gameplay Dataset for World Models

EgoCS-400K：面向世界模型的自我中心游戏数据集

Rongjin Guo, Dong Liang, Yuhao Liu, Fang Liu, Tianyu Huang, Gerhard P. Hancke, Rynson W. H. Lau

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV

AI总结 为支持世界模型研究，构建大规模自我中心游戏数据集EgoCS-400K，包含40万第一人称视频和1万小时游戏轨迹，支持动作条件未来预测、状态事件场景展开等交互式视觉建模任务。