视频大模型

CAPE-T2V: Captioner-Anchored Prompt Enhancement toward Two-Sided Conditioning Alignment in Text-to-Video Generation

CAPE-T2V：面向文本到视频生成中双侧条件对齐的以字幕生成器为锚点的提示增强方法

Yizhuo Jia, Jingyun Hua, Yuanxing Zhang

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

AI总结 该研究针对文本到视频生成中存在的PE-字幕 gap，提出CAPE-T2V框架，通过两步微调PE与DiT，在多个基准数据集上实现了更高的生成综合得分，有效缩小了训练与推理间的条件不匹配。

Comments Includes appendix; 11 figures. Project page: https://github.com/yizzz927/CAPE-T2V

Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling

Talker-T2AV：基于自回归扩散模型的联合说话音频视频生成

Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Independent Researcher（独立研究者） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Talker-T2AV，通过共享骨干和模态特定解码器实现音频视频联合生成，提升跨模态一致性与生成效率。

SUV: Future Scene Understanding as Video Generation for End-to-End Driving

SUV：将未来场景理解建模为视频生成的端到端驾驶

Yibo Yuan, Jiacheng Fu, Jiangtong Zhu, Yi Li, Jianhua Han, Meng Tian, Zhuohan Liu, Zhiwei Xiong, Hang Xu, Jianwu Fang, Jianru Xue

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 SUV是将未来场景理解建模为视频生成的端到端驾驶框架，其在NAVSIM-v2和WOD-E2E基准上优于近期SOTA方法，实现了更优的轨迹规划性能。

Comments 16 pages, 5 figures. Code: https://github.com/ASH-2046/SUV

ReCamDriving: LiDAR-Free Camera-Controlled Video Synthesis for Novel Trajectories

ReCamDriving：无需LiDAR的相机控制新型轨迹视频生成

Yaokun Li, Shuaixian Wang, Mantang Guo, Jiehui Huang, Taojun Ding, Mu Hu, Kaixuan Wang, Shaojie Shen, Guang Tan

机构 * Sun Yat-sen University（中山大学） ； ZYT ； Shenzhen Polytechnic University（深圳职业技术大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 ReCamDriving通过基于3DGS的密集渲染和两阶段训练策略，实现了无需LiDAR的相机可控新型轨迹视频生成，构建了ParaDrive数据集并展示了卓越的生成效果。

Comments Project page: https://recamdriving.github.io/

CrossScope: A Role-Asymmetric World Model for Joint Dual-Scope Surgical Video Prediction

CrossScope：用于联合双视野手术视频预测的角色非对称世界模型

Wanhao Liu, Jinsong Lin, Rulin Zhou, Chi Kit Ng, Wenbin Pan, Zhiqing Tang, Dongyue Li, Liwei Luo, Yanshen Wu, Panshuo Li, Zhiyong Xiong, Huxin Gao, Tamas Haidegger, Hongliang Ren

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 针对母子ERCP中双柔性镜无校准立体关系的手术视频预测问题，提出角色非对称的CrossScope双流模型，经配对双视野基准评估，其性能优于现有基线。

Video Models as Native 4D Renderers: World-Grounded Conditioning from Animated Mesh

视频模型作为原生4D渲染器：基于动画网格的世界 grounding 条件

Junhao Chen, Mingjin Chen, Henghaofan Zhang, Minglin Chen, Liaoyuan Fan, Boran Zhang, Saining Zhang, Mingze Sun, Hao Zhao, Ruqi Huang, Zhihao Li, Yufei Wang

机构 * Tsinghua University（清华大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Sun Yat-sen University（中山大学） ； The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出参考引导渲染器DAR，扩展Wan2.2相机控制，用跟踪和世界位置组成的4D G缓冲作为条件，在DAR-4D基准上实现优于现有方法的视频生成性能。

Comments 14 pages, 5 figures