AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
CoMoGen: 基于掩码引导的视频生成的可控运动动力学与交互
机构 * Technical University of Munich（慕尼黑技术大学） ； Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰信息校园） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Obsphera
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CoMoGen框架，通过轻量级MaskAdapter将二进制掩码序列编码为潜在残差信号注入MMDiT模型，并利用LoRA微调运动层，实现从单张图像和掩码序列生成逼真的交互运动，在运动保真度和感知真实性上达到最优。
MotiMotion: 基于视觉推理的运动控制视频生成
机构 * University of California, Merced（加州大学梅尔茨分校） ； Adobe Research（Adobe研究）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出MotiMotion框架，通过将运动控制转化为推理生成问题，改进视频生成中因果关系和常识一致性，引入免训练视觉语言推理器和置信度感知控制方案，通过MotiBench基准测试验证其生成视频的合理性与交互性。
Comments ICML 2026. Project page: https://motimotion.github.io/
SPIRAL：通过反思规划代理实现自演化动作条件视频生成
机构 * Zhejiang University（浙江大学） ； KnowledgeXLab at Shanghai AI Lab（上海人工智能实验室知识X实验室） ； National University of Singapore（新加坡国立大学） ； Chinese Academy of Sciences（中国科学院） ； Tencent Youtu Lab（腾讯优设实验室） ； Nanyang Technological University（南洋理工大学） ； Wuhan University（武汉大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出SPIRAL框架，通过反思规划代理实现长时域动作条件视频生成，解决传统方法在长时间视频生成中的不足，通过闭环设计和自演化机制提升视频生成的一致性和准确性。
Comments 42 Pages, 21 Figures, Project page at https://yuyang-cloud.github.io/spiral
VChain：用于视频生成中推理的视觉思维链
机构 * eyeline-labs（Eyeline Labs）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出VChain，一种在视频生成中引入多模态模型视觉推理信号的新型推理时间视觉思维链框架，通过生成关键帧来指导预训练视频生成器的稀疏推理时间视觉状态适应，从而提升视频生成质量。
Comments ACL 2026 (Findings Paper), ICCV 2025 Workshop Outstanding Paper Award, Project page: https://eyeline-labs.github.io/VChain
流之真相：面向图像到视频生成的主动时间鉴伪
机构 * Anhui Province Key Laboratory of Digital Security (School of Cyber Science and Technology, University of Science and Technology of China)（安徽省数字安全重点实验室（网络安全学院，中国科学技术大学））
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种面向图像到视频生成的主动时间鉴伪方法，通过追踪像素在视频中的流动和变换，解决了传统空间鉴伪在时间维度上的不足。
THEval：谈话头视频生成的评估框架
机构 * Inria Centre at Université Côte d’Azur（Inria 雅克-路易·科蒂尔大学中心） ； Shanghai AI Laboratory（上海人工智能实验室） ； da/sec - Biometrics and Security Research Group, Hochschule Darmstadt（da/sec 生物识别与安全研究组，达姆斯塔特大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种新的评估框架，用于评估生成谈话头视频的质量、自然性和同步性，通过8个指标来衡量，并通过大量实验验证了现有方法在生成表情和无瑕疵细节方面的不足。
Comments CVPR 2026 Findings, Project Page: https://newbyl.github.io/theval_project_page/
动态视频生成：跨时间和空间的视频生成塑造
机构 * Shanghai Jiao Tong University（上海交通大学） ； South China University of Technology（华南理工大学） ； Tsinghua University（清华大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出DVG框架，通过在时间和空间上联合分配计算，自动选择内容感知的加速策略，实现近无损加速，展示了在视频生成中的高效性能。
告别漂移：用于长时视频到视频生成的锚定树采样
机构 * Descript, Inc.（Descript公司）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种名为锚定树采样的方法，通过减少关键路径步骤来解决长时视频生成中的漂移问题，并在静态相机模式下实现了稳定且高质量的视频生成。
Comments 30 pages, 23 figures
CogOmniControl: 通过创意意图认知实现推理驱动的可控视频生成
机构 * SKL-IOTSC, CIS, University of Macau（澳门大学SKL-IOTSC、CIS实验室） ； Online-Video BU, Tencent（腾讯在线视频事业部）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出CogOmniControl框架，通过将可控视频生成分解为创意意图认知和生成两个阶段，利用专门训练的CogVLM生成更专业清晰的输出，并通过强化学习对齐不同条件的控制，最终在两个基准测试中超越现有开源模型。
Aero-World: 从惯性控制生成动作条件的空中视频
机构 * Institute of Artificial Intelligence, University of Central Florida（中央佛罗里达大学人工智能研究所）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出Aero-World，一种将预训练图像到视频扩散模型转换为可控空中视频生成器的方法，通过注入加速度和角速度序列，利用冻结的物理探测器提供惯性一致性监督，从而提高生成视频对低级动作信号的符合度和时间稳定性。
NEWTON：面向物理基础视频生成的代理规划
机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（IROOTECH技术公司） ； Sany Group（三一集团）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出NEWTON，通过将视频生成从系统输出降级为代理工具箱中的一个动作，利用学习的规划器协调物理感知工具，提高视频生成的物理合理性，从而在VideoPhy-2数据集上显著提升联合准确性。
Comments project page: https://Newton026.github.io/newton
Phantom：通过联合建模视觉和潜在物理动态实现物理 infused 的视频生成
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出Phantom模型，通过联合建模视觉内容和潜在物理动态，使视频生成过程具备物理一致性，从而生成既视觉真实又物理合理的视频。
Comments 15 pages, 6 figures, CVPR 2026
通过场景分割策略对文本到视频模型进行劫持
机构 * Yonsei University（延世大学） ； Korea Institute of Science and Technology（韩国科学技术院） ； AIM Intelligence（AIM智能） ； Seoul National University（首尔国立大学） ； Kyung Hee University（庆熙大学）
专题命中 视频生成 ：text-to-video(title,abstract)；分类 cs.CV
AI总结 本文提出了一种新的黑盒劫持方法SceneSplit，通过将有害叙述分割成多个良性场景，利用场景组合作为约束来引导最终输出，从而提高生成有害视频的可能性，验证了当前文本到视频模型的安全机制存在漏洞。
Comments ICLR 2026. Project page at https://velpegor.github.io/SceneSplit/
面向机器人操作的几何感知4D视频生成
机构 * Stanford University（斯坦福大学） ； Toyota Research Institute（丰田研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种几何感知的4D视频生成模型，通过跨视角点图对齐进行训练，以确保生成视频在多视角下的3D一致性，从而在单个RGB-D图像输入下生成时空一致的未来视频序列，并在不依赖相机姿态的情况下实现稳定的视觉和空间对齐预测。
Comments ICLR 2026; Project website: https://robot4dgen.github.io
3DPhysVideo: 通过3D场景重建和物理模拟的一致性引导流SDE用于视频生成
机构 * KAIST（韩国科学技术院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种无需训练的管道，通过3D场景重建和物理模拟生成逼真视频，利用一致性引导流SDE分解预测速度以确保条件输入的一致性，从而在多物体和流体交互场景中实现从单张图像到物理合理视频的过渡。
Comments Project page: https://hwidong-kim.github.io/projects/3DPhysVideo
基于扩散模型的图像到视频生成与轨迹引导的视频重建
机构 * Department of Electrical and Computer Engineering, National Technical University of Athens, Greece（电气与计算机工程系，希腊国家技术大学雅典分校） ； Department of Product and Systems Design Engineering, University of the Aegean, Syros, Greece（产品与系统设计工程系，爱琴海大学锡罗斯分校）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出利用预训练的图像到视频扩散模型，通过GPS轨迹引导生成无人机视频的缺失或丢失帧，无需领域特定微调，展示了在低纹理和小目标条件下视频重建的有效性。
Comments Accepted at the 1st Workshop on Multi-Sensor Trajectory Knowledge Discovery and Extraction (MuseKDE 2026), co-located with the 27th IEEE International Conference on Mobile Data Management (IEEE MDM 2026)
像素到4D：通过动态3D高斯进行相机控制的图像到视频生成
机构 * University of Glasgow（格拉斯哥大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出一种基于动态3D高斯的图像到视频生成框架，通过单次前向传递构建3D场景表示并采样合理物体运动，实现高效且可控的视频生成，实验表明其在多个数据集上均达到SOTA视频质量和推理效率。
EntityBench：迈向实体一致的长程多次视频生成
机构 * ByteDance（字节跳动） ； ByteDance Seed（字节跳动种子） ； Rice University（罗切斯特大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 EntityBench通过140集（2491个镜头）的真实叙事媒体，构建了包含实体调度的评估基准，结合三支柱评估体系和fidelity gate，评估实体一致性。EntityMem作为基线方法，通过存储验证的实体视觉参考提升生成质量。
Comments Project page: https://catherine-r-he.github.io/EntityBench/
Warp-as-History：从单个训练视频生成可泛化的相机控制视频
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出Warp-as-History方法，通过将相机诱导的变形转化为相机变形的伪历史，实现无需训练的零样本相机轨迹生成，提升视频生成的相机顺应性和视觉质量。
Comments Project page: https://yyfz.github.io/warp-as-history/
DriveCtrl: 基于条件的仿真到现实驾驶视频生成
机构 * University of Warwick（沃里克大学） ； Northwestern Polytechnical University（西北工业大学） ； Queen Mary University of London（伦敦大学玛丽女王学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出DriveCtrl框架，通过深度条件生成逼真的驾驶视频，保留场景结构和运动模式，提升生成视频的现实感和时序一致性，同时引入可扩展的数据生成管道和Driving Video Realism Score评估指标。
MechVerse：评估视频生成模型中物理运动一致性
机构 * School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） ； School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 MechVerse通过机械一致的图像到视频生成基准，评估视频生成模型在物理运动一致性上的不足，发现现有模型在复杂耦合中表现不佳。
Comments Under Review
强制头部：通过头部异质性实现长自回归视频生成
机构 * AGI Lab, Westlake University University of California at Merced StepFun
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出Head Forcing框架，通过差异化分配KV缓存策略提升长视频生成质量，实现分钟级生成并支持多提示交互。
PhyMotion: 结构化3D运动奖励用于物理基础的人体视频生成
机构 * UNC Chapel Hill（UNC夏洛特希尔大学） ； FieldAI ； NTU Singapore（新加坡国立大学） ； AI2 ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出PhyMotion，一种结构化的3D运动奖励机制，通过物理模拟器评估人体运动的物理可行性，提升视频生成中人体动作的真实感。
Comments First two authors contributed equally, website: https://phy-motion.github.io/
CRePE：曲率射线期望位置编码用于统一相机控制的视频生成
机构 * Graduate School of AI（人工智能研究生院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出CRePE，一种基于曲率射线期望的位置编码，用于统一相机模型下的视频生成，通过几何注意力适配器稳定相机控制，提升几何感知和感知质量指标。
Comments 17 pages, 8 figures, Under review
OmniNFT: 多模态联合音频视频生成的模态感知强化学习
机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； JD Explore Academy（京东探索研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出OmniNFT，通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题，提升音频视频感知质量与同步性能。
Comments Project page: https://zghhui.github.io/OmniNFT/
OmniHumanoid: 流式跨躯体视频生成与配对自由适应
机构 * Show Lab, National University of Singapore（展示实验室，新加坡国立大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出OmniHumanoid框架，通过分离可迁移运动学习与躯体特定适应，实现跨躯体视频生成，利用无配对视频进行适应，并通过分支隔离注意力设计提升运动与躯体适应的分离度。
SocialDirector: 无训练的社会互动控制多人物视频生成
机构 * The University of Tokyo（东京大学） ； Shanda AI Research Tokyo（Shanda AI东京研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 SocialDirector通过调节交叉注意力图提升多人物视频生成的社会互动准确性，解决演员动作不匹配和社交动态紊乱问题，实验表明其能显著提升互动真实度。
EduStory: 一个统一框架，用于教学一致的多镜头STEM教学视频生成
机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出EduStory框架，通过整合教学状态建模、脚本引导的结构控制和学习导向评估指标，解决多镜头STEM教学视频中知识一致性与教学叙事连贯性的问题，并引入EduVideoBench基准测试以评估生成视频的质量。
AniMatrix：一个以艺术而非物理思考的动画视频生成模型
机构 * Tencent HY Team（腾讯HY团队）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 AniMatrix通过双通道条件机制和三步过渡，以艺术正确性替代物理正确性，实现动画视频生成，其在五个动画生产维度上获得专业动画师的认可。
Comments 37 pages, 1 main figure (qualitative comparison), 1 TikZ architecture diagram; technical report. Model weights and inference code to be released
从运动学至路由视觉控制：用于动作条件化外科视频生成
机构 * SJTU（上海交通大学） ； NUS（国立新加坡大学） ； THU（清华大学） ； EIT（欧洲研究所） ； WHU（武汉大学） ； Harvard（哈佛大学） ； NVIDIA（NVIDIA公司） ； CUHK（香港大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出一种运动学至视觉提升范式，通过五种图像对齐的控制模态生成动作条件化外科视频，采用分层路由框架提升控制精度与效率，构建新基准并验证方法有效性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈