AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
视频流思考：VideoLLMs可以同时观看和思考
机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus Xiaomi Inc.（小米公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 VST提出了一种视频流理解的新范式，通过在流式过程中激活推理，提高实时响应和理解能力，同时在多个基准测试中表现出更高的效率和泛化能力。
Comments Accepted by ECCV 2026, project page https://1ranguan.github.io/VST/
Xray-Visual模型：在产业级数据上扩展视觉模型
机构 * Meta-AI ； MIT（麻省理工学院） ； University of Maryland（马里兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 Xray-Visual通过三阶段训练流程和LLM2CLIP技术，在产业级数据上实现高效多模态视觉模型，取得最佳性能并提升鲁棒性与泛化能力。
数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化
机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。
Comments Accepted to ECCV 2026
从我的视角到你的视角：利用特权自我中心监督从外中心视频中学习自我中心线索
机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； Elorian AI
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对视觉语言模型难以从外中心视频推断自我中心属性的问题，提出Ego2ExoVLM框架，利用时间同步视频对及特权监督，通过两个组件实现此能力，在多任务评估中取得领先性能。
Comments ECCV 2026
学习在视觉上连接动作及其效果
机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。
Comments WACV 2025 (Two Reviewer Nominations for Best Paper Candidate; Oral Presentation)
一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解
机构 * Hamburg University of Technology（汉堡理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。
IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝
机构 * KAIST（韩国科学技术院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。
Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法
机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。
Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)
Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026
缓解多图像理解中大型视觉语言模型的跨图像信息泄露
机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。
Comments Source code is available at https://github.com/yejipark-m/FOCUS
E-VAds：面向多模态大语言模型的电商短视频理解基准
机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。
Comments Accepted by ICML2026
MarkIt: 免训练视觉标记用于精确视频时间定位
专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM
AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。
FrameOracle: 学习在视频中看什么以及看多少
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。
Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/
SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索
机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。
增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。
Comments Preprint
FreqForcing：基于频谱自锚定的自回归长视频生成方法
专题命中 视频生成 ：video generation(title,abstract)；long video(title)；video diffusion(abstract)；分类 cs.CV
AI总结 本文针对自回归长视频生成中的误差累积问题，提出无需训练的FreqForcing框架，通过频谱自锚定技术实现24倍外推，性能优于现有无训练方法且与有训练方法有竞争力。
Comments Code is available at: https://github.com/jiatongli2024/FreqForcing
DySink：动态帧 sinks 用于自回归长视频生成
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Lab. of Computer Network and Information Integration, Southeast University（东南大学计算机网络与信息集成重点实验室） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Institute of Automation, CAS（中国科学院自动化研究所）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 本文提出 DySink，一种基于检索的框架，通过维护紧凑的记忆银行并选择视觉相关的历史帧作为动态帧 sinks，以提高自回归长视频生成的动态性和时间质量。
M4V：用于高效文本到视频生成的多模态曼巴
机构 * Meituan（美团） ； University of Technology Sydney（技术大学悉尼分校） ； Beijing Jiaotong University（北京交通大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV
AI总结 研究针对文本到视频生成计算量大的问题，引入多模态曼巴框架M4V。设计MM-DiM块，采用多模态令牌重新组合设计，增强时空一致性。实验表明，该框架能在降计算成本的同时生成高质量视频。
Comments CVPR 2026
BIFE：更好的交互，更少的错误，用于分钟级视频生成
机构 * DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） ； Zhejiang University（浙江大学） ； Hupan Lab（虎扑实验室）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 提出BIFE框架，通过语义稀疏KV缓存和块强制训练策略，解决长视频生成中的长程交互保持和误差累积问题，实现稳定连贯的分钟级视频生成，在VDE指标上提升约20%。
MAVEN：面向多元文化文本到视频生成的多智能体框架
机构 * Santa Clara University（圣克拉拉大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 提出MAVEN多智能体提示优化框架，通过并行或串行分解提示为人物、动作、地点维度，提升单文化和跨文化文本到视频生成的文化保真度，并构建包含243个文化提示和972个视频的基准进行评估。
Comments [14] pages, [6] figures, [11] tables, appendix included. Preprint
你的数据流形实际上是一个奖励模型：Shell-LCC 用于文本到视频生成
机构 * Huawei Central Research Institute（华为中央研究院） ； Guangdong University of Technology（广东技术大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 提出 Shell-LCC 方法，通过建模高质量 SFT 数据的流形结构，提供密集、可微且几乎零成本的奖励信号，以提升文本到视频生成质量，减少低层失真。
Comments ECCV 2026
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
用于快速视频生成的过渡匹配蒸馏
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 研究针对大型视频模型多步采样低效问题，提出过渡匹配蒸馏框架TMD，将扩散模型多步去噪轨迹与少步概率过渡过程匹配，分解扩散主干为组件，经实验验证TMD在速度和质量权衡上表现出色，优于现有蒸馏模型。
Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 4645-4655
GroundShot: 通过实体锚定镜头调度实现视觉一致的多镜头长视频生成
机构 * Fudan University（复旦大学） ； Baidu（百度）
专题命中 视频生成 ：video generation(title)；long video(title)；分类 cs.CV
AI总结 提出GroundShot框架，通过在线构建实体级视觉记忆并调度镜头生成顺序，无需训练即可提升多镜头视频中实体的一致性。
视频生成中的运动归因
机构 * NVIDIA ； Princeton University（普林斯顿大学） ； MIT（麻省理工学院） ； University of Michigan（密歇根大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM
AI总结 研究视频生成模型中数据对运动影响，提出基于梯度的运动归因框架Motive，通过运动加权损失掩码分离静态外观和时间动态，用于研究微调剪辑对时间动态的影响及指导数据策划，提升视频运动质量。
Comments See the project website at https://research.nvidia.com/labs/sil/projects/MOTIVE/
VideoCoCo：基于智能体双引擎系统的、以代码为思维链（CoT）的物理一致性视频生成方法
机构 * CUHK（香港中文大学） ； USTC（中国科学技术大学） ； SCUT（华南理工大学） ； HKU（香港大学） ； NTU（南洋理工大学） ； PKU（北京大学） ； SJTU（上海交通大学） ； CMU（卡内基梅隆大学） ； THU（清华大学） ； HUST（华中科技大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 VideoCoCo作为智能体双引擎框架，以可执行Blender代码为过程级思维链，构建专属数据集提升视频编辑器适配性，在两个基准上显著优于基线，实现了高质量物理一致性视频生成。
Comments 15 pages, 3 figures, and 3 tables
MMPhysVideo: 通过联合多模态建模提升视频生成的物理合理性
机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； StepFun（阶跃星辰） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（多模态信息超级智能安全北京市重点实验室） ； School of Information Science and Technology, Shanghai Tech University（上海科技大学信息科学与技术学院）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 MMPhysVideo通过联合多模态建模提升视频生成的物理合理性，将感知线索统一为伪RGB格式，提出双向控制教师架构以减少跨模态干扰，并通过MMPhysPipe构建物理丰富的多模态数据集，提升物理合理性和视觉质量。
Comments Project Page: https://shubolin028.github.io/MMPhysVideo-Page
GimbalDiffusion：基于重力的摄像机控制用于视频生成
机构 * Université Laval（拉瓦尔大学） ； Adobe
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 本文提出GimbalDiffusion框架，通过物理坐标系实现摄像机运动的精确控制，引入null-pitch conditioning策略以避免冲突提示内容干扰，并建立新基准评估重力感知摄像机控制视频生成能力。
Comments Accepted at ECCV 2026. Project page: https://lvsn.github.io/GimbalDiffusion/
AgentHOI：通过隐式表示对齐进行人类-物体交互视频生成的多智能体推理
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent HunYuan（腾讯混元）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究针对HOI视频生成中现有方法依赖显式运动控制的问题，提出AgentHOI，通过多智能体推理和隐式文本-运动对齐策略，实现文本驱动的HOI视频生成，提升了交互自然性等，改进了复杂场景下的表现。
Comments Under review. The code is available at https://github.com/bone-11/agenthoi
FilmBench：用于电影视频生成的电影级基准测试
机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。
WorldWander：在视频生成中连接自我中心和外中心世界
机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究聚焦视频生成中自我中心与外中心世界转换，提出WorldWander框架，基于视频扩散变换器，整合上下文视角对齐与协作位置编码，精心策划数据集，实验证明该框架在视角同步、角色一致性和泛化能力上表现卓越，设定了新基准。
Comments Accepted by ECCV 2026; Code: https://github.com/showlab/WorldWander
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈