AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
HPP：通过解耦感知与推理的分层程序化探测用于长视频理解
机构 * Queen’s University Belfast（贝尔法斯特女王大学） ； AMD（AMD公司） ； Queen Mary University of London（伦敦玛丽女王大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出HPP框架，通过将长视频理解重构为分层视频的迭代程序化探索，解耦语义感知与高阶时序推理，在LongVideoBench等基准上取得显著提升。
Comments Project page: https://awaisrauf.com/HPP
你的视频模型记忆能力如何？衡量长视频理解中的记忆-预算权衡
机构 * Fudan University（复旦大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出一个经验模型，量化帧预算B和时间距离D对长视频理解准确率的影响，发现准确率与log预算呈线性关系，且距离相关指数α(D)可衡量不同模型的长距离记忆效率。
VideoLatent: 通过潜在自强制进行视频-语言学习
机构 * The Chinese University of Hong Kong（香港中文大学） ； Weitu AI（微图AI）
专题命中 视频理解 ：video-language(title)；video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 提出VideoLatent，一种通过潜在自强制训练范式（包括潜在对齐和潜在多样性目标）进行视觉潜在推理的多模态大语言模型，仅依赖标准视频-问答三元组，在14个基准上优于现有模型，并大幅降低训练/推理开销。
看到场景才重要：通过场景感知的长视频基准揭示视频理解模型中的遗忘现象
机构 * CUHK (SZ)（香港中文大学（深圳）） ； University of Cambridge（剑桥大学） ； UESTC（电子科技大学） ； CUHK（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频理解 ：video understanding(title,abstract)；long video(abstract)；分类 cs.CV
AI总结 本文提出SceneBench基准，揭示视频理解模型在长场景上下文中的遗忘问题，并提出Scene-RAG方法提升性能2.50%。
Comments Accepted to CVPR 2026 (Highlight)
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026
面向高效视频大语言模型的sink-token感知剪枝：用于细粒度视频理解
机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究院） ； Oracle ； University of California, San Diego（加州大学圣地亚哥分校） ； Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院）
专题命中 视频理解 ：video understanding(title,abstract)
AI总结 本文提出Sink-Token-aware Pruning方法，通过识别并抑制semantically uninformative tokens，提升细粒度视频理解性能，在多种基准测试中表现优异。
Comments ECCV 2026
LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习
机构 * Kocaeli University（科贾埃利大学）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。
Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法
机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。
Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)
Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026
缓解多图像理解中大型视觉语言模型的跨图像信息泄露
机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。
Comments Source code is available at https://github.com/yejipark-m/FOCUS
迈向无错误的长视频生成
机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出一种基于扩散模型的长视频生成框架，通过因果注意力、KV缓存和截断修正流技术解决误差累积和属性漂移问题，实现高质量、身份一致的单镜头长视频合成。
BIFE：更好的交互，更少的错误，用于分钟级视频生成
机构 * DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） ； Zhejiang University（浙江大学） ； Hupan Lab（虎扑实验室）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出BIFE框架，通过语义稀疏KV缓存和块强制训练策略，解决长视频生成中的长程交互保持和误差累积问题，实现稳定连贯的分钟级视频生成，在VDE指标上提升约20%。
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
CoDMD: 基于Copula感知的分布匹配蒸馏用于快速视频生成
机构 * HKUST（香港科技大学） ； Wan Team, Alibaba Group（阿里巴巴集团万团队） ； THU（清华大学） ； CUHK（香港中文大学） ； XDU（西安电子科技大学）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 针对视频扩散模型少步蒸馏中分布匹配蒸馏（DMD）的结构缺陷，提出Copula感知的DMD（CoDMD），通过轻量关系正则化器利用分数估计构建样本间和帧间关系矩阵，实现4步生成，速度提升约25倍，VBench得分达84.87。
CourseBlueprint：基于课程语料库的自适应教学视频生成的结构化流程
机构 * Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，拉特格斯理工学院） ； Department of Biomedical Engineering, Rensselaer Polytechnic Institute（生物医学工程系，拉特格斯理工学院）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出CourseBlueprint流程，通过结构化教学蓝图（含先决条件图、自适应控制、参与合约）从课程语料库生成自适应教学视频，实验证明显式教学合约比表面流畅性更关键。
PISCES: 基于最优传输对齐奖励的无标注文本到视频后训练
机构 * Microsoft（微软） ； Stony Brook University（石溪大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(abstract)；分类 cs.CV
AI总结 提出PISCES算法，通过双重最优传输对齐奖励模块，无需人工标注即可提升文本生成视频的质量和语义对齐，在VBench上超越现有方法。
Comments Accepted to ICML 2026. Project page and code: https://roar-ai.github.io/pisces/
S^2VG：基于去噪帧矩阵的3D立体与空间视频生成
机构 * Department of Electrical and Electronic Engineering at The University of Hong Kong（香港大学电子与电气工程系） ； Google（谷歌）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出一种无需姿态和训练的方法，利用现成单目视频生成模型，通过深度图扭曲和帧矩阵修复框架，生成时空一致的3D立体与空间视频。
Comments immersive video generation, 4D scene, spatial video, stereo video
UnityShots: 基于记忆的多镜头音视频生成与边界感知门控
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Kling Team, Kuaishou Technology（Kling团队，快手科技） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出UnityShots，一种基于记忆的多镜头音视频生成系统，通过固定大小的长期和短期记忆槽及边界条件门控实现跨镜头连贯性，在多种条件模式下超越开源基线。
ChronoLock: 保护视频免受未经授权的文本到视频个性化
机构 * Nanyang Technological University（南洋理工大学） ； Jilin University（吉林大学） ； The University of Manchester（曼彻斯特大学）
专题命中 视频生成 ：text-to-video(title,abstract)；分类 cs.CV
AI总结 针对文本到视频个性化中的未经授权微调风险，提出ChronoLock框架，通过扰动时间去噪轨迹破坏运动学习过程，有效降低运动模仿质量。
TriMotion: 模态无关的摄像机控制用于视频生成
机构 * GIST（光州科学技术院） ； Huawei Noah's Ark Lab（华为诺亚方舟实验室） ； Yonsei University（延世大学） ； Imperial College London（伦敦帝国理工学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出TriMotion框架，通过将视频、姿态和文本输入映射到共享运动嵌入空间，实现模态无关的摄像机控制视频生成，并引入潜在运动一致性目标，无需像素级解码即可准确跟随目标轨迹。
Comments ECCV Accepted
HarmoView: 协调多视角约束以实现身份一致视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出HarmoView框架，通过多级特征注入、可学习代理令牌和Jump-RoPE等架构改进，结合渐进式视角课程训练，解决大视角变化下身份一致视频生成的外观保真度问题，在多视角基准上达到最优性能。
Comments Project Page: https://conallwang.github.io/HarmoView_Pages
CULTURESCORE: 评估视频生成模型的文化忠实度
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； Netflix（网飞）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CultureScore框架，从身份、背景和行为三个维度评估视频生成的文化忠实度，实验发现当前最佳模型得分仅56.8%，行为维度最困难。
基于世界模型的视频生成中物理一致性的无参考评估
机构 * Hanyang University ERICA（汉阳大学ERICA校区）
专题命中 视频生成 ：video generation(title,abstract)
AI总结 提出结合相对与绝对方法的无参考度量，用于评估生成视频的物理一致性，无需人工投票或真实参考，通过DROID-SLAM和SEA-RAFT量化不一致性，过滤后视频任务成功率提升超8%，并实现时空定位。
Comments Accepted to the 2nd 3D-LLM/VLA Workshop, CVPR 2026
通过身份-动作解耦定制视频肖像
机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； The University of Hong Kong（香港大学）
专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出身份-动作解耦框架，通过身份解耦损失和文本对齐损失，无需微调即可生成保持身份一致且表情丰富的视频。
GEOPHYS: 物理合理性的几何学
机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所）
专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。
OrthoMotion：通过几何语义正交注意力解耦相机与主体运动
机构 * Peking University（北京大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出OrthoMotion方法，通过将相机运动编码为几何通道（旋转位置嵌入相位旋转）和主体运动编码为语义通道（门控值注入交叉注意力），并利用正交正则化保证解耦，实现可控视频生成中相机与主体运动的独立控制，将串扰降低2.4倍以上。
Comments Accepted by SCA2026(poster)
Gen2Balance：面向长尾视频动作识别的生成式平衡方法
机构 * University of Bristol（布里斯托大学） ； Adobe Research（Adobe 研究院）
专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV
AI总结 提出Gen2Balance方法，利用文本到视频生成模型将长尾训练集平衡为真实与生成视频的混合，结合两阶段训练策略缓解域偏移，在长尾基准上显著提升动作识别准确率。
Comments ECCV 2026
IOI: 解耦运动学与物理学的交互式世界模型
机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； Peking University（北京大学）
专题命中 视频生成 ：video generation(abstract)
AI总结 提出IOI混合交互式世界模型，通过显式运动学先验与学习物理动力学解耦，实现精确控制对齐和物理合理视觉反馈，在RoboTwin基准上达到最优仿真性能与零样本泛化。
ScalingAttention: 发现视频扩散变换器的内在稀疏注意力拓扑
机构 * KlingAI Research（KlingAI研究院） ； Beijing Institute of Technology（北京理工大学） ； NVIDIA（英伟达） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。
Comments 18 pages, 9 figures
Vera: 一种用于内容保持视频编辑的分层扩散模型
机构 * California Institute of Technology（加州理工学院） ； Netflix, Inc（Netflix公司）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出Vera分层扩散框架，通过生成编辑层和alpha遮罩与源视频合成，利用混合Transformer架构和高质量分层数据集，在保持内容的同时实现高质量编辑。
Ocean4D：通过介质感知视频扩散的生成式水下4D重建
机构 * Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV
AI总结 提出Ocean4D生成式框架，通过4D几何一致性条件化和介质感知去噪扩散，解决水下动态场景中吸收与散射导致的几何不稳定和跨视角不一致问题，实现单目视频到目标轨迹的高质量4D重建。
TinyHistory: 通过两阶段上下文学习实现轻量级视频历史嵌入
机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； HKUST（香港科技大学）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出TinyHistory，通过两阶段上下文学习实现轻量级视频历史嵌入，在有限计算和内存下实现与更重模型相当的一致性。
Comments Additional Results: https://lllyasviel.github.io/TinyHistory_gitpage/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈