视频大模型

On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

手术内窥镜视频的时间视觉语言模型的鲁棒性研究

Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

机构 * Indian Institute of Technology Delhi（印度理工学院德里分校） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Birmingham City University（伯明翰城市大学） ； University Hospitals Birmingham（伯明翰大学医院） ； Khalifa University（哈利法大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究针对手术内窥镜视频的时间视觉语言模型，构建Endo-C6基准测试其鲁棒性，提出RobustEndoCLIP，可提升模型在内窥镜损坏下的性能与鲁棒性。

Comments Accepted to MICCAI 2026

Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

基于推理时无梯度优化的空间接地文本到视频生成

Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

机构 * ISIR - Sorbonne Université（ISIR - 索邦大学） ； Obvious Research 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结 针对文本到视频生成的空间可控性挑战，提出无训练无梯度的GATO-Vid方法，通过解析求解交叉注意力分数实现精确空间引导，在提升定位精度的同时降低计算开销。

Comments Camera Ready Version

Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation

超越文本条件：面向视频生成的MLLM-DiT融合系统研究

Yanbo Ding, Yijia Fan, Caihua Shan, Yifan Yang, Yifei Shen, Weijie Wang, Xirui Hu, Dongsheng Li, Lili Qiu, Yuqing Yang, Yali Wang

机构 * Chinese Academy of Sciences（中国科学院） ； Microsoft Research（微软研究院） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 该研究针对视频生成中MLLM与DiT融合问题，提出BiVidGen框架，通过MLLM生成语义视觉标记辅助DiT渲染，提升了视频的语义对齐度与时间一致性。

HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control

HandsOnWorld: 无约束的自我中心视频生成，具有相机解耦的手部控制

Yushuo Chen, Xiaoyu Shi, Xiaoshi Wu, Xintao Wang, Pengfei Wan, Yebin Liu

机构 * Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出HandsOnWorld框架，通过单目重建从无约束视频中学习手部控制，利用Plücker手部映射解耦相机与手部运动，生成高保真自我中心视频。

Comments Project Page: this https URL (https://shad0wta9.github.io/handsonworld-page/)

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse: 面向自动驾驶的占用引导无界场景生成

Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出InfiniVerse统一框架，通过3D占用表示和视频扩散模型实现从单帧到长距离、2D-3D对齐的动态城市场景可控生成，在Waymo和nuScenes上达到SOTA。

Comments Paper accepted as poster at ECCV workshop SPAD

ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

ForgeWM：面向少步骤动作条件视频世界模型的渐进式因果训练

Xinye Li, Lingshuai Lin, Lei Wang, Liuzhou Zhang, Jialin Cui, Qingshan Li, Guanchu Wang, Qingbin Liu, Xi Chen, Jiang Bian, Wai Lam

机构 * CUHK（香港中文大学） ； Tencent PCG（腾讯平台与内容事业群） ； FDU（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； HKUST（香港科技大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 ForgeWM 是一种渐进式框架，通过多阶段技术将双向动作条件视频生成器转化为少步骤世界模型，在 Minecraft 和 FPS 游戏任务中实现了更优的可控少步骤视频生成性能。

MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning

MedClaw：用于长程手术视频推理的启发式智能体框架

Yingying Fan, Penghui Du, Leyan Zhu, Runze He, Zimeng Wu, Yuxuan Zhang, Liang Chen, Jiahao Xie, Jiangtang Wang, Shuai Shao, Anchao Yang, Yutong Bai, Yan Wang

机构 * School of Automation and Intelligence, Beijing Jiaotong University（北京交通大学自动化与智能学院） ； University of Maryland（马里兰大学） ； Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院） ； University of British Columbia（不列颠哥伦比亚大学） ； Beijing Tiantan Hospital, Capital Medical University（首都医科大学附属北京天坛医院） 纠错

专题命中 长视频与时序推理 ：video reasoning(title)；分类 cs.CV

AI总结 本研究提出MedClaw智能体框架，通过分离推理与感知、启发式技能蒸馏循环，在仅需约100个标注示例的情况下，于自建及公开手术视频基准MedClawBench上，显著优于现有一次性VLM和通用视频智能体。

Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation

Omni-LiveAvatar：分钟级实时流式视听联动数字人生成

Lunjie Zhu, Xingtong Ge, Fangyu Lin, Yi Zhang, Zhening Liu, Mengfei Li, Yumeng Zhang, Guanglu Song, Yu Liu, Jun Zhang

专题命中 长视频与时序推理 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出Omni-LiveAvatar框架，通过渐进式自回归蒸馏等技术，实现分钟级实时流式视听联动数字人生成，速度较LTX-2提升33倍且性能优于基线模型。

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

HumanForge：一个具有多智能体伪造原理的以人类为中心的深度伪造视频基准

Wenbo Xu, Zhimin Chen, Xiaojie Liang, Hengrui Liu, Ziqi Sheng, Wei Lu

专题命中 视频数据与评测 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频伪造给数字内容取证带来的挑战，引入HumanForge数据集，提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集，经测试展现了零样本泛化和细粒度推理的重大挑战，代码和数据集将公开。

Comments 18 pages, 8 figures