视频大模型

Video Understanding by Design: How Datasets Shape Video Models

通过设计理解视频：数据集如何塑造视频模型

Lei Wang, Syuan-Hao Li, Piotr Koniusz, Yongsheng Gao

机构 * School of Engineering and Built Environment, Electrical and Electronic Engineering, Griffith University（工程与建筑环境学院，电气与电子工程学院，格里菲斯大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本文从数据集视角出发，提出统一框架连接数据集结构、归纳偏差与架构设计，分析数据集特性如何驱动视频理解架构创新，并讨论不同数据体制下的表征偏差。

Comments Research report

SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索

An Yu, Weiheng Lu, Jian Li, Zhenfei Zhang, Yunhang Shen, Felix X. -F. Ye, Ming-Ching Chang

机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。

PEDRA: Evaluating the Realism of Pedestrian Dynamics in Video Generation

PEDRA: 评估视频生成中行人动态的真实性

Aaron Appelle, Jerome P. Lynch

机构 * Duke University（杜克大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出PEDRA评估协议，通过重建鸟瞰轨迹等方法，测试文本/图像到视频模型生成多行人交互场景的真实性，发现现有模型虽具备先验但存在行人合并消失等物理不一致问题。

Comments Accepted to CVPR 2026

Evaluating Design Video Generation: Metrics for Compositional Fidelity

评估设计视频生成：构成保真度的度量标准

Adrienne Deganutti, Dingning Cao, Jaejung Seol, Elad Hirsch, Purvanshi Mehta

机构 * Lica World（Lica世界） ； San Francisco, United States of America（美国旧金山） ； ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。

Comments ICML 2026 Workshop on Human-AI Co-Creativity

VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation

VideoGPA: 通过几何先验知识蒸馏实现3D一致的视频生成

Hongyang Du, Junjie Ye, Xiaoyan Cong, Runhao Li, Jingcheng Ni, Aman Agarwal, Zeqi Zhou, Zekun Li, Randall Balestriero, Yue Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 VideoGPA通过几何先验知识蒸馏提升视频生成的3D一致性，利用数据高效的自监督框架引导视频扩散模型，显著增强时间稳定性、几何合理性与运动一致性。

Comments 8 pages, 5 figures, ICML 2026

Optimizing Few-Step Generation with Adaptive Matching Distillation

自适应匹配蒸馏优化少步生成

Lichen Bai, Zikai Zhou, Shitong Shao, Wenliang Zhong, Shuo Yang, Shuo Chen, Bojun Chen, Zeke Xie

机构 * xLeaF Lab, The Hong Kong University of Science（xLeaF实验室，香港科学与技术大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学，深圳） ； School of Intelligence Science（智能科学学院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出自适应匹配蒸馏（AMD），通过奖励代理检测并逃离禁止区域，结合结构信号分解和排斥景观锐化，提升少步生成模型的样本保真度和训练鲁棒性。

Comments 25 pages, 15 figures, 11 tables

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

实时注意力弯曲：视频扩散变换器的粒度交互式网络弯曲

Adam Cole, Rebecca Fiebrink, Mick Grierson

机构 * Creative Computing Institute（创意计算研究所） ； University of the Arts London（伦敦艺术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出实时注意力弯曲工具，通过操纵视频扩散变换器的自注意力、交叉注意力及前馈网络，实现逐层、逐步、逐令牌的交互式生成控制，增强艺术家的创作代理与模型材料亲密性。

Comments 5 pages, 4 figures. Accepted to ACM Creativity & Cognition XAIxArts Workshop 2026

ImagineUAV: Aerial Vision-Language Navigation via World-Action Modeling and Kinodynamic Planning

ImagineUAV：通过世界-动作建模和动力学规划实现空中视觉语言导航

Xuchen Liu, Jiawei Huang, Shihao Xia, Bingxi Liu, Jinqiang Cui, Jiankun Yang

机构 * Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Cyber Engineering（计算机科学与网络工程学院） ； Guangzhou University（广州大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)

AI总结 针对无人机视觉语言导航中几何不一致和动力学失配问题，提出基于潜视频扩散模型的世界-动作建模框架，通过生成未来观测推断6自由度运动并规划无碰撞轨迹，以1.3B参数在基准和实际飞行中超越先前方法。

Comments Video demo: https://www.youtube.com/watch?v=Ng1alP0yhc0

MBench: A Comprehensive Benchmark on Memory Capability for Video World Models

MBench: 视频世界模型记忆能力的综合基准

Shengjun Zhang, Zhang Zhang, Simin Huang, Zhenyu Tang, Hanyang Wang, Chensheng Dai, Min Chen, Yifan Li, Yuxin Li, Yingjie Chen, Hao Liu, Chen Li, Jing Lyu, Yueqi Duan

机构 * Tsinghua University（清华大学） ； WeChat Vision, Tecent Inc.（微信视觉，腾讯公司） ； Peking University（北京大学） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。

Comments Project Page: https://peanutup.github.io/MBench-project/