AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
看得更多，思考更深：面向长视频理解的查询扩展视觉证据与答案线索引导反思
机构 * Baidu Inc.（百度公司） ； Harbin Institute of Technology（哈尔滨工业大学） ； Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title)；分类 cs.CV
AI总结 提出CoVER框架，通过动态收集查询扩展视觉证据和答案特定视觉反馈验证草稿答案，实现从答案中心生成到证据中心和视觉可验证推理的转变，在长视频理解任务上超越同规模模型及部分闭源模型。
当没有正确答案时：诊断视频理解中多模态大语言模型的缺失答案检测
机构 * Duke University（杜克大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 研究多模态大语言模型在视频理解中检测缺失答案的能力，发现模型倾向于选择干扰项而非识别无正确答案，时间推理任务中问题更严重，链式思维提示虽提升检测率但仍不理想。
Comments Under review
MOSS-Video-Preview: 通过交叉注意力实现实时视频理解
机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出双通道交叉注意力架构MOSS-Video-Preview，通过非阻塞感知与生成实现实时视频理解，在单H200上实现5倍首词加速和2.7倍解码吞吐提升。
MAVIS: 通过结构化视频理解实现多智能体视频检索
机构 * School of Computing and Information Technology, Great Bay University（大湾区大学计算机与信息技术学院） ； College of Computer Science, Nankai University（南开大学计算机学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 提出多智能体框架MAVIS，通过结构化语义库解析视频，利用逻辑感知辩论机制协作推理，无需全库扫描和微调即可实现高效视频检索。
利用野外流式视频
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； JD.COM（京东）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Streaming Harness系统，通过Streaming-Train-248K数据集和训练目标，使视觉语言模型具备主动交互、长期记忆和实时处理能力，并构建Streaming-Eval基准评估流式视频理解。
OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进
机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩
机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem
VideoWeaver: 评估与进化智能体长视频生成技能
机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出VideoWeaver框架，让智能体自主组合基础技能生成视频，并设计智能体裁判评估过程与结果，通过技能进化算法提升生成质量。
MilliVid: 用于视频生成中长程一致性的分层潜变量
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究所）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出一种多尺度token空间的粗到细展开方法，通过预训练层次化自编码器压缩帧为多层token，并训练视频扩散模型生成这些token，在保持几何和物体持久性长程一致性的同时降低计算开销。
Comments Ishaan Preetam Chandratreya and David Charatan contributed equally. Project page: https://davidcharatan.com/millivid/
OmniGen-AR: 自回归任意到图像生成
机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Bytedance Seed（字节跳动Seed） ； The University of Hong Kong（香港大学）
专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出统一自回归框架OmniGen-AR，通过共享视觉分词器和解耦因果注意力，支持文本、空间信号和视觉上下文等多种条件输入，在多项基准上达到最优或竞争性能。
Comments Accepted by NeurIPS
视频世界模型的潜在空间记忆
机构 * Zhejiang University（浙江大学） ； Microsoft Research（微软研究院） ； Adelaide University（阿德莱德大学） ； Monash University（莫纳什大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出潜在空间记忆框架Mirage，通过在扩散潜在空间中直接构建和查询3D缓存，避免像素空间重建，实现高效视频生成，速度提升10.57倍，内存减少55倍。
Comments Project Page: https://aka.ms/latent-spatial-memory, Code: https://github.com/microsoft/LatentSpatialMemory
超越一致性：在零样本视频编辑中保留时间结构
机构 * Anhui University（安徽大学） ； University of Surrey（萨里大学） ； University of Warwick（华威大学）
专题命中 视频生成 ：long video(abstract)；分类 cs.CV
AI总结 提出一种零样本视频编辑方法，通过自适应分割视频片段、选取锚帧和令牌合并策略，首次显式保留源视频的时间结构，平衡编辑保真度与计算效率。
Journal ref Pattern Recognition, Vol. 180, 2026
DisCo: 具有离散相机运动控制的世界模型
机构 * Fudan University（复旦大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出DisCo，通过离散动作原语替代连续相机轨迹作为条件，解决可控视频生成中动作表示纠缠问题，提升动作跟随可靠性，并引入DisCoBench基准。
EgoTactile: 从自我中心视频学习日常物体的抓取压力
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出EgoTactile基准和条件扩散框架EgoPressureDiff，从自我中心视频估计全手抓取压力，解决视觉-物理歧义，实现鲁棒迁移。
Comments Accepted to ICML2026 spotlight
CP4D: 组合式物理感知4D场景生成
机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Zhongguancun Academy（中关村学院） ； the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Eastern Institute of Technology（东部技术研究所） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出CP4D范式，通过静态环境与物理动态对象组合，结合物理模拟器与视频扩散模型生成轨迹，实现高保真、物理一致的4D场景。
Echo-Memory：动作世界模型中记忆的受控研究
机构 * Joy Future Academy（京东探索研究院）
专题命中 长视频与时序推理 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出Echo-Memory框架，通过控制变量法研究动作条件世界模型中的记忆机制，发现原始上下文容量和块状状态空间递归对开放域返回任务至关重要。
Comments 9 figures and 28 pages, Code at \href{https://github.com/Echo-Team-Joy-Future-Academy-JD/Echo-Memory}{this URL}
多模态大语言模型作为视频研究中的合成参与者：一项评估
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV、cs.MM
AI总结 本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现，发现模型存在偏差且与人类一致性有限。
Comments Accepted to SocialLLM @ ICWSM 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈