AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
从像素到文字——迈向原生单视觉大规模模型
机构 * S-Lab, NTU（S实验室，国立科技大学） ； SenseTime Research（商汤科技研究院） ； DLUT（大连理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出NEO-ov原生基础模型，通过端到端学习跨帧和像素-文字对应，无需外部编码器或适配器，在细粒度视觉感知上缩小了与模块化模型的差距，验证了原生单视觉架构的可行性和竞争力。
Comments 13 pages, 6 figures
VidPrism: 用于图像到视频迁移的异构混合专家模型
机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出VidPrism，一种异构时间混合专家框架，通过功能专业化专家、内容感知多速率采样和动态双向融合机制，解决传统MoE中专家同质化问题，在视频识别基准上达到最先进性能。
Comments CVPR2026 camera ready
跨描绘装配指令对齐的视觉-语言模型基准测试与机制分析
机构 * Aalto University（阿alto大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 构建IKEA-Bench基准，评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现，发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。
OSP-Next: 结合稀疏序列并行、HiF8量化和强化学习的高效高质量视频生成
机构 * Peking University（北京大学） ； Nanyang Technological University, Singapore（南洋理工大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出OSP-Next文本到视频生成模型，通过混合全稀疏注意力架构、稀疏序列并行（SSP）、HiF8量化和混合GRPO后训练，在保持高质量的同时显著提升效率，在NVIDIA H200和Ascend 950PR上实现1.5倍以上加速。
LUVE：基于双频专家的潜在级联超高分辨率视频生成
机构 * Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出LUVE框架，通过三阶段潜在级联架构（低分辨率运动生成、潜在空间上采样、高分辨率内容精炼）结合双频专家，解决超高分辨率视频生成中的运动建模、语义规划和细节合成难题。
Comments ICML 2026
Proprio: 用于物理合理视频生成的潜在自评分与推理时精炼
机构 * École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Télécom Paris（巴黎电信学院）
专题命中 视频生成 ：video generation(title)；text-to-video(abstract)；分类 cs.CV
AI总结 提出Proprio，一种无需训练框架，通过分析模型在潜在扰动下的流残差作为自评分信号，结合最佳N搜索和梯度自精炼，提升冻结视频生成器输出的物理合理性。
哪种预训练范式更有利于空间智能？视觉-语言模型与视频生成模型的实证比较
机构 * Zhejiang University（浙江大学） ； Om AI Research（Om人工智能研究） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文通过冻结特征探测研究，系统比较了视觉-语言模型（VLM）和视频生成模型（VGM）在语义标注、实例分组和3D几何预测三个空间智能维度上的表现，发现两者互补且简单融合可提升整体性能。
Comments Code is here: \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}
MTAVG-Bench 2.0：诊断多说话人音视频生成中电影表现力的失败模式
机构 * Shanghai University（上海大学） ； Beijing Institute of Technology（北京理工大学） ； Shanghai Film Academy（上海电影学院） ； Tsinghua University（清华大学） ； Hefei University of Technology（合肥工业大学） ； Inkeverse Group Limited（Inkeverse集团有限公司） ； The University of Adelaide（阿德莱德大学） ； Beijing University of Technology（北京工业大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； OpenNLP Lab（OpenNLP实验室）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.MM
AI总结 针对多说话人音视频生成中电影表现力评估不足的问题，提出MTAVG-Bench 2.0基准，通过构建涵盖表演、叙事、氛围和视听语言的高层次失败分类体系及超过1万个问答实例，系统评估全模态大语言模型诊断复杂视听失败的能力。
SmartDirector: 基于关键帧的叙事节奏可控电影视频生成
机构 * Youku Moku-Lab（优酷莫酷实验室）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出SmartDirector框架，通过多关键帧条件控制视频生成中的叙事结构和时间节奏，采用两阶段方法（Director-Gen生成低分辨率视频，Director-SR利用高分辨率关键帧细化细节），显著优于现有方法。
脚本即一切：一个用于长程对话到电影视频生成的智能体框架
机构 * Tencent（腾讯）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出一个端到端智能体框架，通过训练ScripterAgent将对话转化为精细脚本，并利用DirectorAgent跨场景连续生成策略，实现长程对话到电影视频的连贯生成，显著提升脚本忠实度和时间保真度。
VideoCanvas: 通过上下文条件化从任意时空补丁进行统一视频补全
机构 * MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Kling Team, Kuaishou Technology（快手技术有限公司Kling团队）
专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出VideoCanvas框架，通过混合条件化策略（空间上使用零填充全帧画布编码，时间上使用Temporal RoPE插值）实现任意时空视频补全的统一任务，无需修改或重新训练VAE。
Comments Project page: https://onevfall.github.io/project_page/videocanvas
Gamma-World: 超越双玩家的生成式多智能体世界建模
机构 * NVIDIA ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出一种生成式多智能体世界模型，通过Simplex Rotary Agent Encoding实现智能体置换等价性，并采用Sparse Hub Attention降低跨智能体注意力成本，支持多玩家交互视频生成。
Comments Project Page: https://research.nvidia.com/labs/sil/projects/gamma-world
小米自动驾驶世界模型：一个融合重建与生成的联合世界模型
机构 * Xiaomi（小米）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出一个统一技术系统，通过稀疏场景查询驱动的重建模块WorldRec和两阶段训练框架WorldGen，实现高保真3D场景表示与高质量因果视频生成，并联合优化以提升生成稳定性、跨帧一致性和视觉保真度。
What-If World: 具身场景中通用世界模型的因果基准
机构 * UCLA（加州大学洛杉矶分校） ； University of Tennessee（田纳西大学） ； Amazon（亚马逊）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出 What-If World 基准，通过成对提示测试视频生成模型在物理变化下的因果一致性，发现现有模型在因果干预上表现不佳。
Comments 38 pages, World Model Benchmark
RE-TRIANGLE：TRIANGLE 在检索中能否实现超越余弦相似度的多模态对齐？
机构 * University of Amsterdam（阿姆斯特丹大学）
专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV
AI总结 本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。
通过解耦影响函数优化多维视频奖励模型
机构 * The University of Tokyo（东京大学） ； HKUST (Guangzhou)（香港科技大学（广州））
专题命中 视频生成 ：text-to-video(abstract)
AI总结 针对文本到视频生成任务中训练样本在不同评估维度上可靠性不一致的问题，提出解耦影响框架以估计维度特定监督风险，并设计维度解耦剪枝与重加权策略，显著提升多维视频奖励模型与真实标注的对齐效果。
GE-Sim 2.0：迈向机器人操作综合闭环视频世界模拟器的路线图
机构 * AgiBot ； BUAA（北京航空航天大学） ； LV-NUS Lab（国立大学理工学院实验室） ； TJU（天津大学）
专题命中 视频生成 ：video generation(abstract)
AI总结 提出GE-Sim 2.0，一种基于动作条件视频生成的闭环视频世界模拟器，通过重新训练数千小时真实机器人数据并新增状态专家、世界裁判和加速框架三个模块，实现高保真动作跟随和轨迹覆盖，在WorldArena排行榜上以2B参数超越专用模型和通用视频生成器，并验证了基于其生成轨迹和奖励训练的策略在真实世界中的有效性。
Sketch2Motion: 文本驱动的二维草图到三维动画的扩散引导骨架优化
机构 * Graphics Research Group, IIIT Delhi（IIIT德里图形研究组）
专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出Sketch2Motion框架，结合扩散模型和骨架优化，将二维草图转化为三维动画，无需配对运动数据，支持多种角色类型。
LESA: 可学习的阶段感知预测器用于扩散模型加速
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 视频扩散模型 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 针对扩散模型计算开销大、现有缓存策略难以适应去噪过程阶段动态变化的问题，提出基于两阶段训练的可学习阶段感知预测器框架，利用KAN网络学习时序特征映射并采用多阶段多专家架构，在保持高质量生成的同时实现显著加速。
Comments Accepted to CVPR 2026
利用局部转移一致性加速扩散采样
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 视频扩散模型 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出一种无需训练的加速方法LTC-Accel，通过利用相邻步骤间转移算子的统计关系来估计当前转移算子，从而加速文本到图像和视频的扩散采样，兼容多种网络结构和现有加速技术。
HarmoVid: 可重光照的视频人像协调
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Adobe Research（Adobe研究）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出一种基于视频扩散模型和光照去闪烁方法，实现前景视频与目标背景场景在阴影、色调和光照强度上的协调，解决视频时域抖动问题。
Comments CVPR 2026
从语言输入角度重新思考视频-语言模型
机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） ； Huazhong University of Science and Technology（华中科技大学） ； Wuhan University（武汉大学）
专题命中 长视频与时序推理 ：video-language(title,abstract)；分类 cs.CV
AI总结 本文从语言输入角度出发，提出一种即插即用的框架，通过生成正负文本、属性文本推理和自加权损失，提升视频-语言模型的性能。
Comments Published in AAAI 2026
张量记忆：用于长程Transformer的固定大小循环状态
机构 * Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） ； IBM Research, Cambridge, MA, USA（IBM研究院） ； University of Toronto, Toronto, Canada（多伦多大学）
专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.CV
AI总结 提出张量记忆模块，通过固定大小的3D循环张量状态增强Transformer，以解耦状态容量与输入长度，并保持空间归纳偏置，适用于长程视频理解。
面向多跳音视频推理的主动全模态感知代理
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 长视频与时序推理 ：long video(abstract)
AI总结 针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。
SONIC-O1：用于评估多模态大语言模型在音视频理解上的真实世界基准
机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； University of Groningen（Groningen大学） ； York University（约克大学）
专题命中 视频数据与评测 ：video understanding(title)；分类 cs.CV
AI总结 提出SONIC-O1基准，包含60小时人工验证的音视频数据，评估多模态大语言模型在开放摘要、多项选择问答和时序定位上的能力，发现模型在时序定位上存在显著性能差距和人口统计偏差。
AgenticVBench: AI代理能否完成真实的后期制作任务？
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.MM
AI总结 本文提出AgenticVBench基准，包含100个来自真实后期制作流程的代理任务，评估多模态AI代理的复合能力，发现最佳代理栈性能仅略超30%，远低于人类专家。
Comments 22 pages, 6 figures. Benchmark website: https://agenticvbench.com
面向不完整多模态输入的统一视觉-语言模型
机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） ； Guangzhou University（广州大学） ； Wuhan University（武汉大学） ； Nanjing University（南京大学）
专题命中 其他视频模型 ：video-language(abstract)；分类 cs.CV
AI总结 针对视频-语言模型在传感器失效导致模态不完整数据下的训练-测试不一致问题，提出首个统一的不完整视频-语言模型作为即插即用模块，提升多模态任务性能。
Comments Published in AAAI 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈