AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
VideoBrain: 学习自适应帧采样以理解长视频
机构 * Stanford University（斯坦福大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出VideoBrain框架，通过CLIP和均匀采样双智能体策略，使视觉语言模型自适应获取关键帧，在减少30-40%帧数的同时提升长视频理解准确率3.5%-9.0%。
CVPR 2026 CASTLE挑战赛第三名：基于层次化知识图谱检索的智能多视角长视频理解
机构 * TAHAKOM（塔哈科姆）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出一种免训练的智能框架，通过视频知识图谱和层次化检索索引，解决大规模多视角视频中的复杂时空推理问题，在CASTLE挑战赛中获得第三名。
一种具有代理控制的高效流式视频理解框架
机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出R3-Streaming框架，通过级联控制（记忆压缩、响应判断、计算路由）和年龄感知遗忘策略及目标平衡强化学习（TB-GRPO），在严格延迟预算下实现流式视频理解，性能达到SOTA并减少95-96%视觉令牌使用。
APB-V: 通过序列并行感知的近似注意力加速长视频理解
机构 * NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China（清华大学北京校区自然语言处理组、国防科技大学、人工智能研究院、北京理工大学、清华大学） ； Department of CS&T, Central South University, Changsha, China（中南大学计算机与技术系，长沙，中国） ； BUPT, Beijing, China（北京邮电大学，北京，中国） ； Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能研究院）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 提出APB-V，一种序列并行框架，通过分布式近似注意力在多GPU上加速长视频推理，显著提升速度且不损失性能。
Comments ACL 2026 main
Moment-Video: 诊断视频多模态大语言模型在瞬时视觉事件上的时间保真度
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Southeast University（东南大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。
Comments 28 pages, 10 figures, 11 tables
多模态视频表示对齐用于鲁棒的自监督驾驶员分心检测
机构 * Fraunhofer IOSB（弗劳恩霍夫智能系统研究所） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出一种多模态全局对齐框架，通过软目标和加权机制处理错误负样本和不可靠正样本，在Drive&Act数据集上优于现有方法，实现鲁棒的驾驶员分心检测。
Comments Accepted at the IEEE ITSC 2026
InfoMerge: 信息感知的令牌压缩用于高效视频大语言模型
机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出InfoMerge，一种无需训练的视觉令牌压缩方法，通过鲁棒冗余估计和内容感知预算分配，在减少85%视觉令牌的同时保持98.8%性能，实现4.24倍预填充加速。
Comments 15 pages, 8 figures
理解增强的模型协作用于长尾自我中心错误检测
机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Information Engineering, CAS（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出理解增强的模型协作方法（UE-MCM），结合粗粒度视频理解与细粒度动作推理，通过双分支模型和自适应融合门检测自我中心视频中的错误，并优化长尾分布。
EvoCut：面向高效大型视觉语言模型的多层演化感知视觉标记压缩
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Xiaohongshu（小红书） ； Fudan University（复旦大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出一种无需训练和注意力的视觉标记压缩方法EvoCut，通过分析多层演化偏差估计标记重要性，在LLaVA-1.5-7B上仅保留11.1%的视觉标记即可保持94.4%的平均性能。
Comments Preprint. 12 pages, 6 figures, 7 tables
多模态大语言模型驱动的视频翻译：面向角色的综述
机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。
LongLive-RAG: 一种用于长视频生成的通用检索增强框架
机构 * NVIDIA ； USC（美国大学） ； MIT（麻省理工学院）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出LongLive-RAG框架，通过将自回归视频生成中的历史潜变量作为可检索记忆，利用查询嵌入检索相关历史潜变量并引入窗口时间增量损失，以减轻滑动窗口注意力导致的误差累积，提升长视频生成质量。
Comments 20 pages, 7 figures, 4 tables
空间-时间解耦参考条件用于身份保持的文本到视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University（浙江大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV
AI总结 提出ST-DRC框架，通过空间-时间解耦参考条件、TASS-RoPE机制和身份目标，实现高保真身份保持视频生成。
检索缺失内容：面向一致长视频生成的覆盖最大化检索
机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院）
专题命中 视频生成 ：video generation(title,abstract)；long video(title)；分类 cs.CV
AI总结 提出基于深度的覆盖最大化检索增强生成框架COVRAG，利用预训练3D先验构建轻量级覆盖图作为记忆证据，通过迭代检索最大化残差覆盖来提升长视频生成的几何一致性。
Comments 19 pages, 10 figures, 5 tables
SafeGen-Bench: 图像条件文本到视频生成中的安全性基准测试
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Tsinghua University（清华大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title)；分类 cs.CV
AI总结 针对图像条件文本到视频生成中安全文本和图像组合仍可能产生有害内容的问题，提出SafeGen-Bench基准，定义10个恶意类别并评估现有模型，发现当前模型难以避免生成恶意内容，且单模态护栏防御不足。
Comments 8 pages, 7 figures, 2 tables
知识密集型视频生成
机构 * Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 针对文本到视频生成在事实性和实用性方面的不足，提出知识密集型视频生成（KIVI）任务，构建KIVI-Bench基准和自动评估指标，实验表明现有模型在视觉属性、操作过程和信息呈现上落后于人类。
因果强迫：自回归扩散蒸馏的正确方法，用于高质量实时交互式视频生成
机构 * Hongzhou Zhu（朱洪洲） ； Min Zhao（赵敏） ； Guande He（何冠德） ； Hang Su（苏hang） ； Chongxuan Li（李崇轩） ； Jun Zhu（朱军）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 针对双向扩散模型蒸馏为自回归模型时的架构差距问题，提出因果强迫方法，通过自回归教师进行ODE初始化并应用DMD过程，显著提升视频生成质量。
Comments Project page and the code: \href{https://thu-ml.github.io/CausalForcing.github.io/}{https://thu-ml.github.io/CausalForcing.github.io/}; https://github.com/thu-ml/Causal-Forcing. ICML 2026
联合音视频生成模型是否理解物理？
机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM
AI总结 针对联合音视频生成模型，提出AV-Phys Bench基准测试其物理常识，发现所有模型在物理一致性上表现不足，尤其是事件驱动和环境驱动转换场景。
Comments Preprint. Project Page: https://zijuncui.com/AV-Phys/. Full abstract appears in the PDF
Robust Dreamer: 用于动作控制AR视频生成的偏差感知潜在高斯记忆
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Technische Universität München（慕尼黑技术大学） ； Vertex Lab（Vertex实验室） ； Australian National University（澳大利亚国立大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Robust Dreamer框架，通过潜在高斯记忆和动态偏差存档解决自回归视频生成中的漂移问题，实现长程3D一致性。
Causal Forcing++：用于实时交互式视频生成的可扩展少步自回归扩散蒸馏
机构 * Tsinghua University（清华大学） ； ShengShu（盛数） ； Renmin University of China（中国人民大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Causal Forcing++框架，通过因果一致性蒸馏（causal CD）实现帧级1-2步自回归扩散蒸馏，在降低延迟和训练成本的同时提升视频生成质量。
CamGeo: 基于稀疏相机条件的图像到视频生成与3D几何先验
专题命中 视频生成 ：video generation(title,abstract)
AI总结 提出CamGeo框架，通过从预训练视频到3D模型蒸馏3D几何知识，结合关键帧轨迹蒸馏、跨帧一致性蒸馏和三阶段课程学习，解决稀疏相机条件下图像到视频生成中的姿态漂移和运动不连续问题。
Comments Accepted by ICML 2026
超越端到端视频模型：基于LLM的多智能体系统用于教育视频生成
机构 * Baidu Inc.（百度公司）
专题命中 视频生成 ：video generation(title,abstract)
AI总结 提出LASEV，一种基于LLM的分层多智能体系统，通过将教育视频生成分解为多个专业智能体协作，解决端到端模型在逻辑严谨性和知识表示方面的不足，实现低成本、高吞吐量的自动化教学视频生产。
Comments Accepted at ACM SIGKDD 2026 (KDD '26), Applied Data Science Track. 10 pages, 2 figures, 5 tables. The project is available at \url{https://robitsg.github.io/LASEV}
基于参考引导深度压缩VAE的流式说话人肖像视频实时生成
机构 * Microsoft Research（微软研究院） ； Microsoft AI（微软人工智能）
专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出一种结合因果视频VAE和自回归潜在去噪模型的流式说话人肖像视频生成框架，通过参考图像引导实现实时高质量生成。
Comments CVPR 2026 (Highlight) Camera ready
从零到英雄：世界模型中的免训练自定义概念生成
机构 * Virginia Tech（弗吉尼亚理工学院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出SPAWN方法，利用图像到视频骨干网络的结构特性，通过交换参考帧锚点与外部概念潜变量，实现无需训练即可在世界模型中生成用户指定的视觉概念。
基于属性的视频复杂度度量
机构 * UMIACS-University of Maryland College Park（马里兰大学College Park分校UMIACS） ； University of California San Diego（加州大学圣地亚哥分校） ； Yale University（耶鲁大学） ； Meta AI
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出VideoABC框架，通过属性空间量化估计视频-问题对在视频大语言模型上的失败概率，实现非参数复杂度度量。
OptiWorld: 物理约束下的视频世界生成最优控制
机构 * Purdue University（普渡大学） ； University of Oxford（牛津大学） ； SixteenMiles Labs（SixteenMiles 实验室）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出OptiWorld框架，在推理时结合经典最优控制与视频生成，通过提取紧凑世界状态、规划最优轨迹并生成条件视频，实现符合物理约束的动态优化。
Comments Porject Page: https://yuyuanspace.com/OptiWorld/
Pinterest Canvas: Pinterest 的大规模图像生成系统
机构 * Pinterest, Inc.（Pinterest公司）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出 Pinterest Canvas，一个基于扩散模型的大规模图像生成系统，通过基础模型微调为特定任务（如背景增强和宽高比外扩）生成专用模型，并在线上实验中分别获得18.0%和12.5%的参与度提升。
Comments Accepted by KDD 2026 Applied Data Science Track
超越刚性：非刚性视频编辑基准测试
机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出NRVBench诊断基准，通过物理感知评估框架揭示传统指标在非刚性视频编辑中的不足，并引入VM-Edit基线分析稳定性-可塑性权衡。
世界模型：架构、方法论、推理范式与应用的全面综述
机构 * School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院） ； School of Computing, University of Georgia（佐治亚大学计算机学院） ； Department of Biomedical Engineering, New Jersey Institute of Technology（新泽西理工学院生物医学工程系） ； Department of Radiology, Massachusetts General Hospital, Harvard Medical School（麻省总医院放射科，哈佛医学院） ； Department of Computer Science and Engineering, University of Texas at Arlington（德克萨斯大学阿灵顿分校计算机科学与工程系） ； Department of Graduate Psychology, James Madison University（詹姆斯麦迪逊大学研究生心理学系） ； Computer Science and Engineering, Lehigh University（莱斯大学计算机科学与工程系） ； School of Biomedical Engineering, The University of Sydney（悉尼大学生物医学工程学院） ； Tandon School of Engineering, New York University（纽约大学泰坦工程学院） ； Department of Radiation Oncology, City of Hope National Medical Center（城市希望国家医学中心放射肿瘤科） ； Department of Mayo Clinic Comprehensive Cancer Center, Mayo Clinics（梅奥诊所综合癌症中心，梅奥诊所） ； Savannah River Ecology Laboratory (SREL), University of Georgia（萨凡纳河生态实验室（SREL），佐治亚大学）
专题命中 视频生成 ：video generation(abstract)
AI总结 本文提出一个多轴分类法，从架构、方法论、推理策略和应用领域四个维度系统综述世界模型，涵盖从早期认知科学基础到PlaNet、Dreamer系列、MuZero、Sora等里程碑系统，并指出未来方向。
面向大规模文生视频扩散Transformer的边界保护W8A8 HiFloat8量化
机构 * Yiming Zhao（赵毅铭）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；text-to-video(title,abstract)；分类 cs.CV
AI总结 针对Wan2.1-T2V-14B模型，提出一种边界保护策略的W8A8 HiF8后训练量化方法，通过保留首尾边界块为BF16而量化中间块，在VBench五个维度上匹配或略优于BF16基线。
Comments 6 pages, 5 figures. Accepted to ICME 2026 Grand Challenge
迈向3D感知视频扩散模型：基于网格标记化的无渲染人体运动控制
机构 * DAMO Academy, Alibaba Group（阿里巴巴集团大模型实验室） ； Hupan Lab（虎盘实验室） ； Zhejiang University（浙江大学） ； INSAIT
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV、eess.IV
AI总结 提出一种无渲染框架，通过压缩的3D人体网格标记直接条件化视频生成，实现精确的人体运动控制，减少2D引导伪影并提升3D结构建模能力。
Comments Project page: https://jingyunliang.github.io/MeshToken/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈