AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
HY-Himmel技术报告：分层交错多流运动编码用于长视频理解
机构 * Tencent（腾讯） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Forestry University（北京林业大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title)；video-language(abstract)；分类 cs.CV
AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。
Comments 59 pages, 42 figures. Technical report
响应-G1：面向前瞻性流视频理解的显式场景图建模
机构 * Northwestern Polytechnical University（北华大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Harbin Engineering University（哈尔滨工程大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 响应-G1通过显式场景图建模提升前瞻性流视频理解，通过三阶段流程实现视频证据与查询条件的结构化对齐，提高响应时机的可解释性和准确性。
Comments Accepted to ACL 2026
MMVIAD：多视角多任务视频理解用于工业异常检测
机构 * ShanghaiTech University（上海科技大学） ； Tsinghua University（清华大学） ； Meituan Inc.（美团公司） ； Peking University（北京大学）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 本文提出MMVIAD，首个工业异常检测连续多视角视频数据集及多任务评估基准，通过两阶段训练流程提升模型泛化能力，在四个任务中取得优于GPT-5.4的性能。
FaVChat: 基于数据高效GRPO的层次提示-查询引导的面部视频理解
机构 * State Key Laboratory of Networking and Switching Technology, BUPT（北京邮电大学网络与交换技术国家重点实验室） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Institute of automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Central South University（中南大学） ； Zhejiang University（浙江大学） ； College of communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 FaVChat通过层次化提示引导框架提取面部动态细节信息，结合数据高效GRPO策略提升学习效率，实现在面部视频理解任务中的优越性能。
EvoStreaming: 你的离线视频模型本质上是一个原生流式助手
机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Fudan University（复旦大学）
专题命中 视频理解 ：video understanding(abstract)；video-language(abstract)；分类 cs.CV
AI总结 本文提出EvoStreaming框架，通过自演化方法使离线视频模型适应流式助手任务，仅需1000个自生成样本即可提升RealStreamEval评分，并保持离线性能。
Comments 33 pages, 9 figures
一条轨迹，一个标记：通过全景子对象轨迹实现的 grounded 视频标记化
机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能艾伦研究所） ； Woven by Toyota, Inc（丰田公司）
专题命中 视频理解 ：video understanding(abstract)；long video(abstract)；分类 cs.CV
AI总结 本文提出 grounded 视频标记化方法，通过全景子对象轨迹组织标记，减少冗余并保持时间一致性，TrajViT 在多个视频理解基准上优于空间-时间 ViT，具有更高的效率和性能。
Comments ICCV 2025
VEBench: 多模态大模型在真实世界视频编辑中的基准测试
机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； CRCV, University of Central Florida（中央佛罗里达大学CRCV）
专题命中 视频理解 ：video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 VEBench通过高质量视频和人工验证问题对多模态大模型在视频编辑中的知识理解和操作推理能力进行评估，揭示当前模型与人类水平间的显著差距。
Comments CVPR Findings 2026
EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型
机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。
Comments 9 pages
面向视频摘要的不确定性感知与解码器对齐学习
机构 * Perception AI Neubility Inc.（感知AI Neubility公司）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 本文提出VASTSum框架，通过建模不确定性并使学习目标与解码阶段对齐，提升视频摘要的鲁棒性与效率。
Comments Accepted for presentation at the 2026 International Joint Conference on Neural Networks (IJCNN 2026)
无参与的感知：LMMs中因果发现缺陷的剖析
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Harvard University（哈佛大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文探讨了大型多模态模型在因果发现中的缺陷，提出ProCauEval评估协议和ADPO框架，通过扰动分析揭示模型在视觉和文本模态间的依赖关系，提升视觉推理能力。
Comments 17 pages, 5 figures
基于检测器的视频大语言模型用于高效的时空定位
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Trento（特伦特大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） ； ZTE Corporation（中兴通讯）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出DEViL模型，通过将密集空间定位任务转移给训练良好的检测器，提升视频时空定位的效率与性能，实现43.1%的m_vIoU和14.33 FPS的高效表现。
SWIFT: 用于高效交互长视频生成的提示自适应内存
机构 * University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(title,abstract)；long video(title)；video diffusion(abstract)；分类 cs.CV
AI总结 SWIFT提出一种无需训练的多提示长视频生成框架，通过轻量级语义注入缓存和自适应动态窗口实现高效语义切换，保持时间一致性，达到22.6 FPS的高效生成速度。
Comments Code is available at https://github.com/ShanwenTan/SWIFT
CollabVR: 基于视觉-语言和视频生成模型的协作视频推理
机构 * KAIST（韩国科学技术院） ； Kyung Hee University（庆熙大学） ； AITRICS
专题命中 视频生成 ：video generation(title,abstract)；video reasoning(title,abstract)；分类 cs.CV
AI总结 CollabVR通过结合视觉-语言模型与视频生成模型，在步骤级实现协作视频推理，提升多步任务性能，并在基准测试中优于现有方法。
SocialDirector: 无训练的社会互动控制多人物视频生成
机构 * The University of Tokyo（东京大学） ； Shanda AI Research Tokyo（Shanda AI东京研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 SocialDirector通过调节交叉注意力图提升多人物视频生成的社会互动准确性，解决演员动作不匹配和社交动态紊乱问题，实验表明其能显著提升互动真实度。
EduStory: 一个统一框架，用于教学一致的多镜头STEM教学视频生成
机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出EduStory框架，通过整合教学状态建模、脚本引导的结构控制和学习导向评估指标，解决多镜头STEM教学视频中知识一致性与教学叙事连贯性的问题，并引入EduVideoBench基准测试以评估生成视频的质量。
AniMatrix：一个以艺术而非物理思考的动画视频生成模型
机构 * Tencent HY Team（腾讯HY团队）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 AniMatrix通过双通道条件机制和三步过渡，以艺术正确性替代物理正确性，实现动画视频生成，其在五个动画生产维度上获得专业动画师的认可。
Comments 37 pages, 1 main figure (qualitative comparison), 1 TikZ architecture diagram; technical report. Model weights and inference code to be released
从运动学至路由视觉控制：用于动作条件化外科视频生成
机构 * SJTU（上海交通大学） ； NUS（国立新加坡大学） ； THU（清华大学） ； EIT（欧洲研究所） ； WHU（武汉大学） ； Harvard（哈佛大学） ； NVIDIA（NVIDIA公司） ； CUHK（香港大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出一种运动学至视觉提升范式，通过五种图像对齐的控制模态生成动作条件化外科视频，采用分层路由框架提升控制精度与效率，构建新基准并验证方法有效性。
Alice v1：通过一致性蒸馏增强的视频生成超越闭源模型
机构 * Mirage Team Open Source Research（Mirage团队开源研究）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 Alice v1通过一致性蒸馏与分数正则化实现视频生成质量突破，其在自动化基准测试中超越闭源系统，且在人类偏好研究中表现优异。
SwiftI2V: 通过条件分段生成实现高效的高分辨率图像到视频生成
机构 * HKUST（香港科技大学） ； CUHK（香港大学） ； Joy Future Academy（京东探索研究院） ； HKU（香港大学） ； HUAWEI Research（华为研究）
专题命中 视频生成 ：video generation(title)；分类 cs.CV
AI总结 本文提出SwiftI2V框架，通过分段生成和双向上下文交互，在2K分辨率下实现高效图像到视频生成，相比端到端模型减少GPU时间202倍。
Comments 27 pages, 17 figures
通过语义表示对齐提升人类图像动画
机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, China（上海交通大学人工智能学院，中国） ； Alibaba Group, China（阿里巴巴集团，中国）
专题命中 视频生成 ：video generation(abstract)；long video(abstract)；分类 cs.CV
AI总结 本文提出SemanticREPA方法，通过结构和ID对齐提升人类动画质量，增强动作连续性和一致性。
Comments Accepted by CVPR 2026 workshop
人们如何观看物理场景的AI生成视频？
专题命中 视频生成 ：video generation(abstract)；video understanding(abstract)
AI总结 研究探讨了人们观看物理场景AI生成视频时的注视行为，发现高真实感视频的观看方式受观众感知真实性影响，而非视频实际真实性。
PhyGround：用于生成世界模型中物理推理的基准测试
机构 * Northeastern University（东北大学） ； Tulane University（路易斯安那州立大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 PhyGround通过250个精心设计的提示和13种物理定律的分类，评估视频生成中的物理推理能力，采用大规模人工研究验证并发布专用VLM评估工具PhyJudge-9B，显著降低偏见。
Comments Preprint. 56 pages, 39 figures, 40 tables. Project page: https://phyground.github.io/
WorldReasonBench: 视频生成器作为未来世界状态预测器的人类对齐压力测试
机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； University of Waterloo（滑铁卢大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 WorldReasonBench通过结构化地面真实QA注释，测试视频生成器能否在物理、社会、逻辑和信息层面保持一致性。该基准包含436个测试案例和22个子类别，结合人类对齐的两阶段方法评估生成视频的质量。
Comments Project Page: https://unix-ai-lab.github.io/WorldReasonBench/
渐进式逼真简化
机构 * Reichman University and Google（里奇曼大学和谷歌） ； Google Israel（谷歌以色列） ； Hebrew University and Google（希伯来大学和谷歌） ； Google（谷歌）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出渐进式语义图像简化框架，通过迭代去除并修补元素保持逼真外观，结合视觉-语言模型和学习验证器实现高效高质量的简化过程，应用于内容感知清理和交互编辑。
MultiAnimate：基于姿态的图像动画使其可扩展
机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； ShanghaiTech University（上海科技大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出一种可扩展的多人物图像动画框架，通过引入标识符分配器和标识符适配器，解决多人物场景中的身份混淆和不合理的遮挡问题，实现高质量多人物动画生成。
Comments CVPR2026 Accepted. Project page at https://hyc001.github.io/MultiAnimate/
Forcing-KV：用于高效自回归视频扩散模型的混合KV缓存压缩
机构 * ZJU（浙江大学） ； Video Rebirth（视频重生） ； HKUST（香港科技大学） ； BJTU（北京理工大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV
AI总结 本文提出Forcing-KV方法，通过混合KV缓存压缩技术，提升自回归视频扩散模型的生成速度和内存效率，实现高达2.82倍的速度提升。
Comments 10 pages
JUST-DUB-IT: 通过联合音频-视觉扩散进行视频配音
机构 * Tel Aviv University（特拉维夫大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出JUST-DUB-IT方法，利用轻量LoRA调整基础音频-视频扩散模型，实现视频到视频的高质量配音，提升视觉保真度和唇同步性能。
Comments Project webpage available at https://justdubit.github.io
任意到任意的3D扩散模型与知识转移：放射治疗计划研究
机构 * UC Santa Cruz（加州大学圣克ruz分校） ； Siemens Healthineers（西门子医疗） ； University of Washington（华盛顿大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出DiffKT3D，一种利用预训练视频扩散模型知识的统一Any2Any 3D扩散框架，通过模态特定嵌入实现多临床模态灵活条件化，结合临床导向的强化学习机制，提升放射治疗计划中的剂量预测精度与图像质量。
Comments Accepted by CVPR 2026 main conference. Compare to CVPR version, minor updates here are included (e.g., combine main text and appendix; clarify the timing scenario in appendix)
基于光谱引导的扩散噪声调度
机构 * Google Research（谷歌研究）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出基于图像光谱特性设计实例特定噪声调度的方法，通过理论界限优化噪声级别，提升单阶段像素扩散模型生成质量，尤其在低步数情况下表现更佳。
Comments Accepted to ICML'26
STRIVE：结构化时空探索用于视频问答的强化学习
机构 * University of Bonn（波恩大学） ； Microsoft（微软） ； Meta ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV
AI总结 STRIVE通过构建多时空变体和联合归一化提升视频问答的奖励信号，采用重要性感知采样机制增强策略更新稳定性，实验表明在多个大模型上提升了视频推理性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈