视频大模型

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

HYDRA-X: 具有整体视觉分词器的原生统一多模态模型

Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。

MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models

MultiToP：学习修补视觉令牌以减轻视频大型多模态模型中的幻觉

Yuansheng Gao, Wenbin Xing, Jiahao Yuan, Kaiwen Zhou, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； East China Normal University（华东师范大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出MultiToP框架，通过轻量级视觉令牌修补器动态替换不可靠视觉令牌，结合信息引导排名校准和稀疏正则化，在不修改原模型情况下减少视频多模态模型幻觉，显著提升F1分数和问答准确率。

Comments Preprint

TetherCache: Stabilizing Autoregressive Long-Form Video Generation with Gated Recall and Trusted Alignment

TetherCache: 基于门控召回与可信对齐的自回归长视频生成稳定性方法

Yu Meng, Xiangyang Luo, Letian Li, Wenyuan Jiang, Chen Gao, Xinlei Chen, Yong Li, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） ； D-INFK, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出TetherCache，一种无需训练、即插即用的缓存管理策略，通过门控召回（GRAB）和可信对齐编辑（TAME）缓解自回归视频扩散模型中的上下文漂移，实现稳定长视频生成。

Comments 17 pages, 8 figures

ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance

ReFree: 通过无奖励强化学习和多级语音引导实现逼真的共语音视频生成

Salaheldin Mohamed, M. Hamza Mughal, Rishabh Dabral, Christian Theobalt

机构 * Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出ReFree-S2V框架，利用流匹配和预训练视频生成模型，通过多级语音表示和可学习选择器实现精细唇同步与自然表情，并引入无奖励强化学习生成自然头部运动，在唇同步准确性和自然度上达到最优。

CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation

CineDance: 迈向下一代多镜头长片电影级音视频生成

Yuheng Chen, Teng Hu, Yuji Wang, Qingdong He, Zhucun Xue, Qianyu Zhou, Jason Li, Lizhuang Ma, Jiangning Zhang, Dacheng Tao

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出CineDance-1M大规模多镜头长片音视频数据集，通过三阶段筛选流程和CineBench评估体系，实现高质量联合生成。

Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

帮助图表讲述它们的故事！基于论文的视频生成解释复杂科学图表

Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber

机构 * University of Maryland, College Park（马里兰大学学院市分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)

AI总结 提出MINARD流水线，从图表及其论文生成基于区域分解的叙述性视频，并发布FigTalk基准，在自动和人工评估中优于现有方法。

Comments Webpage: https://minard.vercel.app/

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

OmniDirector: 无需配对数据的通用多镜头相机克隆

Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

机构 * Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出OmniDirector框架，通过将相机参数编码为网格运动视频，并利用百万级配对数据训练，实现无需交叉配对数据的多镜头相机运动克隆，具备卓越的控制性能。

Comments 12 pages, 8 figures

OR-Action: Multi-Role Video Understanding with Fine-Grained Actions

OR-Action: 细粒度动作的多角色视频理解

Felix Tristram, Ege Özsoy, Christian Benz, Marcel Walch, Ghazal Ghazaei, Nassir Navab

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Carl Zeiss AG（卡尔蔡司股份公司） 纠错

专题命中 动作与事件理解 ：video understanding(title)；分类 cs.CV

AI总结 针对手术室活动理解中场景图方法缺乏时间建模的问题，提出基于公开数据集的细粒度多角色动作基准，并引入纯视觉时序模型，显著优于图方法，同时提出多视角到单视角特征对齐策略提升单视角性能。

Rethinking RAG in Long Videos: What to Retrieve and How to Use It?

重新思考长视频中的RAG：检索什么以及如何使用？

Yuho Lee, Jisu Shin, Nicole Hee-Yeon Kim, Jihwan Bang, Juntae Lee, Kyuwoong Hwang, Fatih Porikli, Hwanjun Song

机构 * Department of Computer Science, Cranberry-Lemon University（蔓越莓柠檬大学计算机科学系） 纠错

专题命中 长视频与时序推理 ：long video(title)

AI总结 针对视频检索增强生成中检索粒度单一和基准测试缺陷，提出V-RAGBench基准和CARVE方法，通过分块自适应重排序实现多配置交错证据，显著提升性能。

CACR:Reinforcing Temporal Answer Grounding in Instructional Video via Candidate-Aware Causal Reasoning

通过候选感知因果推理增强教学视频中的时间答案定位

Muge Qi, Rong Fu, Pengbin Feng, Xianda Li, Yu Cai, Yifu Guo, Shizhe Zhang, Simon James Fong, Lei Ma, Bin Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV

AI总结 提出候选感知因果推理框架，通过视觉-语言预训练候选选择和基于GRPO的时序逻辑推理，解决教学视频中复杂问题理解和长视频片段定位挑战，在六个基准上取得最优mIoU。