视频大模型

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样

Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。

Comments NeurIPS 2026 submission. 15 pages, 8 figures

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism

MemDreamer: 通过分层图记忆和智能体检索机制解耦感知与推理以实现长视频理解

Cong Chen, Guo Gan, Kaixiang Ji, ZhaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Central South University（中南大学） ； HKUST(GZ)（香港科技大学(广州)） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出MemDreamer框架，通过分层图记忆和智能体检索机制解耦感知与推理，将长视频理解转化为智能体探索过程，在四个基准上达到SOTA，推理上下文窗口仅占全量2%且准确率提升12.5点。

Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

面向高效流式视频理解的动态固定预算记忆库

Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

机构 * Xiamen University（厦门大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 提出无训练方法CausalMem，通过在线语义基动态更新记忆库，在有限预算下最大化流式视频信息量，实现20倍视觉令牌压缩和82MB存储。

DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation

DomainShuttle: 自由形式开放域主题驱动文本到视频生成

Nan Chen, Yiyang Cai, Rongchang Xie, Junwen Pan, Cheng Chen, Weinan Jia, Zhuowei Chen, Wen Zhou, Zhenbang Sun, Wenhan Luo

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

AI总结 提出DomainShuttle方法，通过Domain-MoT解耦视频与参考特征、Video-Reference DualRoPE实现精确主体空间建模及Cross-Pair Consistent Loss提取本质特征，在开放域视频个性化中同时实现高保真与生成灵活性。

Comments 19 pages, 9 figures

Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation

物理问题场景图：文本到视频生成中物理合理性的细粒度评估

Atin Pothiraj, Jaemin Cho, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； AI2（艾伦人工智能研究所） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title)；分类 cs.CV

AI总结 提出物理问题场景图（PQSG），一种基于层次化问题的评估流程，通过图结构问题检查视频在对象、动作和物理规律上的忠实度，实现细粒度评估。

Comments ECCV 2026. Code and data: https://github.com/atinpothiraj/pqsg

Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models

Causal-rCM：一种用于流式视频生成和交互式世界模型中自回归扩散蒸馏的统一教师强制与自我强制开放配方

Kaiwen Zheng, Guande He, Min Zhao, Jintao Zhang, Huayu Chen, Jianfei Chen, Chen-Hsuan Lin, Ming-Yu Liu, Jun Zhu, Qianli Ma

机构 * Tsinghua University（清华大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； NVIDIA（英伟达） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出Causal-rCM框架，将扩散蒸馏扩展到自回归视频扩散，通过教师强制（前向散度）与自我强制（反向散度）互补，实现流式视频生成和交互式世界模型，在帧级和块级设置中达到最先进性能。

Comments Technical Report

VPA-Guard: Defending and Benchmarking Image-to-Video Generation Against Visual Prompt Attacks

VPA-Guard：防御与基准测试图像到视频生成中的视觉提示攻击

Yining Sun, Haoyu Kang, Jiajun Wu, Heng Zhang, Danyang Zhang, Zhenjun Zhao, Haochen Han, Fangming Liu, Wai Kin Victor Chan, Alex Jinpeng Wang

机构 * Tsinghua University（清华大学） ； Central South University（中南大学） ； South China Normal University（华南师范大学） ； ByteDance Inc.（字节跳动公司） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出首个针对图像到视频生成中视觉提示攻击的系统基准VVA-Bench，并设计检索增强自进化防御框架VPA-Guard，平均降低攻击成功率44.2%和危害评分73.4%。

Comments Dataset Page: https://huggingface.co/datasets/CSU-JPG/VVA-Bench

Chorus II: Cross-Request Sparsity Reuse for Efficient Image-to-Video Generation

Chorus II: 跨请求稀疏性重用用于高效图像到视频生成

Hao Liu, Chenghuan Huang, Hao Liu, Xing Cai, Chen Li, Ziyang Ma, Jing Lyu, Nong Xiao, Jiangsu Du

机构 * Sun Yat-sen University（中山大学） ； WeChat HPC, Tencent Inc.（腾讯微信高性能计算） ； WeChat Vision, Tencent Inc.（腾讯微信视觉） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 针对图像到视频生成中计算昂贵的问题，提出跨请求稀疏性重用框架，通过共享稀疏掩码重用避免在线预测，实现2.16倍加速且保持生成质量。

Recommendation as Generation: Unifying Personalized Video Generation and Recommendation at Industrial Scale

推荐即生成：在工业规模上统一个性化视频生成与推荐

Yanhua Cheng, Bo Wang, Haotian Zhang, Xinyuan Gao, Zhihui Yin, Ben Xue, Yongzhi Li, Jieting Xue, Ye Ma, Minquan Wang, Jiahui Li, Tianyu Xu, Zhiqiang Liu, Xiao Lin, Shiyang Wen, Changcheng Li, Liu Liu, Quan Chen, Peng Jiang, Kun Gai

专题命中 视频生成 ：video generation(title,abstract)

AI总结 提出推荐即生成（RaG）范式，通过共享语义ID统一生成式推荐与视频生成，实现个性化视频按需生成，并在工业平台部署，广告收入提升1.87%。

Comments Project page: https://recommendation-as-generation.github.io/

Navigating User Behavior toward Personalized Multimodal Generation

导航用户行为以实现个性化多模态生成

Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。

Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation

MVTrack4Gen: 多视角点跟踪作为4D视频生成的几何监督

JoungBin Lee, Jaewoo Jung, Jongmin Lee, Tongmin Kim, Hyunsung Kim, Takuya Narihira, Kazumi Fukuda, Jahyeok Koo, Jisang Han, Yuki Mitsufuji, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能学院） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 提出MVTrack4Gen框架，利用多视角点跟踪作为几何与运动监督信号，增强仅相机条件的新视角视频扩散模型的运动一致性和几何一致性。

Comments Project Page : https://cvlab-kaist.github.io/MVTrack4Gen/

Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation

Sol视频推理引擎：面向高效视频生成的智能原生全栈加速框架

Yitong Li, Junsong Chen, Haopeng Li, Haozhe Liu, Jincheng Yu, Ligeng Zhu, Ping Luo, Song Han, Enze Xie

机构 * NVIDIA Research, Efficient AI Team & Singapore Lab（英伟达研究院高效AI团队及新加坡实验室） ； NVIDIA SANA Team（英伟达SANA团队） ； Codex ； GPT-Image2 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 提出Sol视频推理引擎，通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合，针对具体模型、硬件和配置自动优化，实现视频扩散模型2倍以上加速且保持质量。

PRISM: Feed-Forward Single-Image 3D Reconstruction via Geometric Warp-Residual Modeling

PRISM: 基于几何扭曲残差建模的前馈式单图像三维重建

Zhijie Zheng, Xinhao Xiang, Jiawei Zhang

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出PRISM前馈框架，将多视角潜在预测分解为无参数几何先验和可学习残差校正，无需扩散采样，推理时间仅36秒/场景，重建质量与扩散方法相当。

SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery

SurgAtlas：一个包含2,391小时开放和微创手术的大规模手术视频-语言数据集

Filippos Bellos, Andre S. Gala-Garza, Miaowei Wang, Alyssa M. Hardin, Ahmad M. Hider, Yayuan Li, Jing Bi, Susan Liang, Chenliang Xu, Donald S. Likosky, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Edinburgh（爱丁堡大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； University of Colorado（科罗拉多大学） ； University of Rochester（罗切斯特大学） ； Michigan Medicine（密歇根医学） 纠错

专题命中 视频数据与评测 ：video-language(title,abstract)；video understanding(abstract)；分类 cs.CV

AI总结 提出SurgAtlas，最大手术视频-语言数据集（15,291视频，2,391小时，18专科，5,000+术式），首次大规模纳入开放手术并建立基准，通过多层级自动标注管道生成丰富注释，微调Qwen3-VL-8B在多个基准上达到领先。