AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
看得更多，思考更深：面向长视频理解的查询扩展视觉证据与答案线索引导反思
机构 * Baidu Inc.（百度公司） ； Harbin Institute of Technology（哈尔滨工业大学） ； Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title)；分类 cs.CV
AI总结 提出CoVER框架，通过动态收集查询扩展视觉证据和答案特定视觉反馈验证草稿答案，实现从答案中心生成到证据中心和视觉可验证推理的转变，在长视频理解任务上超越同规模模型及部分闭源模型。
当没有正确答案时：诊断视频理解中多模态大语言模型的缺失答案检测
机构 * Duke University（杜克大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 研究多模态大语言模型在视频理解中检测缺失答案的能力，发现模型倾向于选择干扰项而非识别无正确答案，时间推理任务中问题更严重，链式思维提示虽提升检测率但仍不理想。
Comments Under review
MOSS-Video-Preview: 通过交叉注意力实现实时视频理解
机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出双通道交叉注意力架构MOSS-Video-Preview，通过非阻塞感知与生成实现实时视频理解，在单H200上实现5倍首词加速和2.7倍解码吞吐提升。
通过设计理解视频：数据集如何塑造视频模型
机构 * School of Engineering and Built Environment, Electrical and Electronic Engineering, Griffith University（工程与建筑环境学院，电气与电子工程学院，格里菲斯大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文从数据集视角出发，提出统一框架连接数据集结构、归纳偏差与架构设计，分析数据集特性如何驱动视频理解架构创新，并讨论不同数据体制下的表征偏差。
Comments Research report
MAVIS: 通过结构化视频理解实现多智能体视频检索
机构 * School of Computing and Information Technology, Great Bay University（大湾区大学计算机与信息技术学院） ； College of Computer Science, Nankai University（南开大学计算机学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 提出多智能体框架MAVIS，通过结构化语义库解析视频，利用逻辑感知辩论机制协作推理，无需全库扫描和微调即可实现高效视频检索。
利用野外流式视频
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； JD.COM（京东）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Streaming Harness系统，通过Streaming-Train-248K数据集和训练目标，使视觉语言模型具备主动交互、长期记忆和实时处理能力，并构建Streaming-Eval基准评估流式视频理解。
OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进
机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩
机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem
SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索
机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。
VideoWeaver: 评估与进化智能体长视频生成技能
机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出VideoWeaver框架，让智能体自主组合基础技能生成视频，并设计智能体裁判评估过程与结果，通过技能进化算法提升生成质量。
PEDRA: 评估视频生成中行人动态的真实性
机构 * Duke University（杜克大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出PEDRA评估协议，通过重建鸟瞰轨迹等方法，测试文本/图像到视频模型生成多行人交互场景的真实性，发现现有模型虽具备先验但存在行人合并消失等物理不一致问题。
Comments Accepted to CVPR 2026
MilliVid: 用于视频生成中长程一致性的分层潜变量
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究所）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出一种多尺度token空间的粗到细展开方法，通过预训练层次化自编码器压缩帧为多层token，并训练视频扩散模型生成这些token，在保持几何和物体持久性长程一致性的同时降低计算开销。
Comments Ishaan Preetam Chandratreya and David Charatan contributed equally. Project page: https://davidcharatan.com/millivid/
评估设计视频生成：构成保真度的度量标准
机构 * Lica World（Lica世界） ； San Francisco, United States of America（美国旧金山） ； ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
Comments ICML 2026 Workshop on Human-AI Co-Creativity
VideoGPA: 通过几何先验知识蒸馏实现3D一致的视频生成
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 VideoGPA通过几何先验知识蒸馏提升视频生成的3D一致性，利用数据高效的自监督框架引导视频扩散模型，显著增强时间稳定性、几何合理性与运动一致性。
Comments 8 pages, 5 figures, ICML 2026
OmniGen-AR: 自回归任意到图像生成
机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Bytedance Seed（字节跳动Seed） ； The University of Hong Kong（香港大学）
专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出统一自回归框架OmniGen-AR，通过共享视觉分词器和解耦因果注意力，支持文本、空间信号和视觉上下文等多种条件输入，在多项基准上达到最优或竞争性能。
Comments Accepted by NeurIPS
视频世界模型的潜在空间记忆
机构 * Zhejiang University（浙江大学） ； Microsoft Research（微软研究院） ； Adelaide University（阿德莱德大学） ； Monash University（莫纳什大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出潜在空间记忆框架Mirage，通过在扩散潜在空间中直接构建和查询3D缓存，避免像素空间重建，实现高效视频生成，速度提升10.57倍，内存减少55倍。
Comments Project Page: https://aka.ms/latent-spatial-memory, Code: https://github.com/microsoft/LatentSpatialMemory
超越一致性：在零样本视频编辑中保留时间结构
机构 * Anhui University（安徽大学） ； University of Surrey（萨里大学） ； University of Warwick（华威大学）
专题命中 视频生成 ：long video(abstract)；分类 cs.CV
AI总结 提出一种零样本视频编辑方法，通过自适应分割视频片段、选取锚帧和令牌合并策略，首次显式保留源视频的时间结构，平衡编辑保真度与计算效率。
Journal ref Pattern Recognition, Vol. 180, 2026
DisCo: 具有离散相机运动控制的世界模型
机构 * Fudan University（复旦大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出DisCo，通过离散动作原语替代连续相机轨迹作为条件，解决可控视频生成中动作表示纠缠问题，提升动作跟随可靠性，并引入DisCoBench基准。
自适应匹配蒸馏优化少步生成
机构 * xLeaF Lab, The Hong Kong University of Science（xLeaF实验室，香港科学与技术大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学，深圳） ； School of Intelligence Science（智能科学学院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出自适应匹配蒸馏（AMD），通过奖励代理检测并逃离禁止区域，结合结构信号分解和排斥景观锐化，提升少步生成模型的样本保真度和训练鲁棒性。
Comments 25 pages, 15 figures, 11 tables
实时注意力弯曲：视频扩散变换器的粒度交互式网络弯曲
机构 * Creative Computing Institute（创意计算研究所） ； University of the Arts London（伦敦艺术大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出实时注意力弯曲工具，通过操纵视频扩散变换器的自注意力、交叉注意力及前馈网络，实现逐层、逐步、逐令牌的交互式生成控制，增强艺术家的创作代理与模型材料亲密性。
Comments 5 pages, 4 figures. Accepted to ACM Creativity & Cognition XAIxArts Workshop 2026
EgoTactile: 从自我中心视频学习日常物体的抓取压力
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出EgoTactile基准和条件扩散框架EgoPressureDiff，从自我中心视频估计全手抓取压力，解决视觉-物理歧义，实现鲁棒迁移。
Comments Accepted to ICML2026 spotlight
CP4D: 组合式物理感知4D场景生成
机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Zhongguancun Academy（中关村学院） ； the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Eastern Institute of Technology（东部技术研究所） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出CP4D范式，通过静态环境与物理动态对象组合，结合物理模拟器与视频扩散模型生成轨迹，实现高保真、物理一致的4D场景。
ImagineUAV：通过世界-动作建模和动力学规划实现空中视觉语言导航
机构 * Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Cyber Engineering（计算机科学与网络工程学院） ； Guangzhou University（广州大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 视频扩散模型 ：video diffusion(abstract)
AI总结 针对无人机视觉语言导航中几何不一致和动力学失配问题，提出基于潜视频扩散模型的世界-动作建模框架，通过生成未来观测推断6自由度运动并规划无碰撞轨迹，以1.3B参数在基准和实际飞行中超越先前方法。
Comments Video demo: https://www.youtube.com/watch?v=Ng1alP0yhc0
MBench: 视频世界模型记忆能力的综合基准
机构 * Tsinghua University（清华大学） ； WeChat Vision, Tecent Inc.（微信视觉，腾讯公司） ； Peking University（北京大学）
专题命中 长视频与时序推理 ：video generation(abstract)；long video(abstract)；分类 cs.CV
AI总结 提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。
Comments Project Page: https://peanutup.github.io/MBench-project/
Echo-Memory：动作世界模型中记忆的受控研究
机构 * Joy Future Academy（京东探索研究院）
专题命中 长视频与时序推理 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出Echo-Memory框架，通过控制变量法研究动作条件世界模型中的记忆机制，发现原始上下文容量和块状状态空间递归对开放域返回任务至关重要。
Comments 9 figures and 28 pages, Code at \href{https://github.com/Echo-Team-Joy-Future-Academy-JD/Echo-Memory}{this URL}
多模态大语言模型作为视频研究中的合成参与者：一项评估
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV、cs.MM
AI总结 本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现，发现模型存在偏差且与人类一致性有限。
Comments Accepted to SocialLLM @ ICWSM 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈