AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
RefDecoder：通过条件视频解码增强视觉生成
机构 * University of Washington（华盛顿大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出RefDecoder，通过引入高保真参考图像信号提升视频生成质量，改进解码器结构以保持结构完整性，在多个基准测试中取得显著提升。
Sat3DGen：从单张卫星图像生成全面的街景3D场景
机构 * LIESMARS & School of Artificial Intelligence, Wuhan University（珞珈实验室与武汉大学人工智能学院） ； EPFL（苏黎世联邦理工学院） ； HKUST（香港科技大学） ； Northeastern University（东北大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Amap, Alibaba Group（高德地图，阿里巴巴集团）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出Sat3DGen，通过几何优先方法提升从单张卫星图像生成高精度3D场景的性能，改进几何精度和真实感，并在新基准上验证其效果。
Comments ICLR 2026; code: https://github.com/qianmingduowan/Sat3DGen demo: https://huggingface.co/spaces/qian43/Sat3DGen project page: https://qianmingduowan.github.io/Sat3DGen_project_page/
RoboEvolve：用于有限数据的机器人操作共进化规划-模拟器
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 RoboEvolve通过共进化循环提升机器人操作性能，利用无标签种子图像实现高效数据生成，显著提升规划和模拟效果，同时表现出极高的数据效率和持续学习能力。
Comments On-going work
通过可控生成增强在3D人体姿态估计中的领域泛化
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出可控人体姿态生成框架，通过系统变化姿态、背景和摄像机视角合成多样化视频数据，增强训练集多样性，提升模型泛化能力，验证了在处理领域差异方面的有效性。
从想象的未来到可执行的动作：用于机器人操作的潜在动作混合
机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； Imperial College London（伦敦帝国理工学院） ； University of Surrey（萨里大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出MoLA，一种面向控制的接口，将想象的未来视频转化为可执行的表示，通过混合预训练的逆动力学模型，提升机器人操作的稳定性和通用性。
Comments ICML 2026
PresentAgent-2: 向通用多模态展示代理迈进
机构 * Peking University（北京大学） ； La Trobe University（拉特罗布大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 PresentAgent-2通过多模态资源收集与生成，实现基于用户查询的交互式展示视频生成，支持单人叙述、多人讨论及观众互动三种模式。
PhyGround：用于生成世界模型中物理推理的基准测试
机构 * Northeastern University（东北大学） ； Tulane University（路易斯安那州立大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 PhyGround通过250个精心设计的提示和13种物理定律的分类，评估视频生成中的物理推理能力，采用大规模人工研究验证并发布专用VLM评估工具PhyJudge-9B，显著降低偏见。
Comments Preprint. 56 pages, 39 figures, 40 tables. Project page: https://phyground.github.io/
WorldReasonBench: 视频生成器作为未来世界状态预测器的人类对齐压力测试
机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； University of Waterloo（滑铁卢大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 WorldReasonBench通过结构化地面真实QA注释，测试视频生成器能否在物理、社会、逻辑和信息层面保持一致性。该基准包含436个测试案例和22个子类别，结合人类对齐的两阶段方法评估生成视频的质量。
Comments Project Page: https://unix-ai-lab.github.io/WorldReasonBench/
渐进式逼真简化
机构 * Reichman University and Google（里奇曼大学和谷歌） ； Google Israel（谷歌以色列） ； Hebrew University and Google（希伯来大学和谷歌） ； Google（谷歌）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出渐进式语义图像简化框架，通过迭代去除并修补元素保持逼真外观，结合视觉-语言模型和学习验证器实现高效高质量的简化过程，应用于内容感知清理和交互编辑。
MultiAnimate：基于姿态的图像动画使其可扩展
机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； ShanghaiTech University（上海科技大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出一种可扩展的多人物图像动画框架，通过引入标识符分配器和标识符适配器，解决多人物场景中的身份混淆和不合理的遮挡问题，实现高质量多人物动画生成。
Comments CVPR2026 Accepted. Project page at https://hyc001.github.io/MultiAnimate/
OphEdit: 无需训练的文本引导眼科手术视频编辑
机构 * Indian Institute of Technology Jodhpur（印度理工学院贾布尔分校） ； All India Institute of Medical Sciences Delhi（全国医学科学研究所德里）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出OphEdit框架，通过确定性二阶ODE反向管道和条件分类器自由引导分支，实现无需训练的文本引导眼科手术视频编辑，保持眼部解剖结构并实现语义修改。
AVI-Edit: 基于粒度感知掩码细化的音频同步视频实例编辑
机构 * School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； State Key Lab of Multimedia Info. Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Nat’l Eng. Research Ctr. of Visual Tech., School of Computer Science, Peking University（北京大学计算机学院视觉技术工程研究中心） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出AVI-Edit框架，通过粒度感知掩码细化和自反馈音频代理，实现音频同步的高质量视频实例编辑，提升了空间和时间控制精度。
Stepper：基于多视角全景图的分步沉浸式场景生成
机构 * Google（谷歌） ； University of Oxford（牛津大学） ； MCML ； Technical University of Munich（慕尼黑技术大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 Stepper通过分步扩展多视角全景图，解决传统方法在视觉保真度与可探索性之间的权衡问题，实现高质量沉浸式3D场景生成。
Comments Accepted at CVPR 2026 Findings; Find our project page under https://fwmb.github.io/stepper/
Lucid-XR：一种用于机器人操控的扩展现实数据引擎
机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； FortyFive Labs（FortyFive实验室） ； Caltech（加州理工学院） ； Harvard University（哈佛大学） ； UC San Diego（南加州大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 Lucid-XR通过XR头显直接运行的物理模拟环境生成多模态数据，实现零样本迁移至复杂环境，支持软材料、松散颗粒和刚体接触的精细操控任务。
Comments Project website: https://lucidxr.github.io
机器人学习的世界模型：全面综述
机构 * Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； The University of Tokyo（东京大学） ； University of Oxford（牛津大学） ； Microsoft（微软公司） ； ETH Zurich（苏黎世联邦理工学院） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 综述从机器人学习角度系统回顾世界模型的快速发展，探讨其与机器人策略的耦合、作为强化学习模拟器的作用以及机器人视频世界模型的发展，总结关键范式与挑战。
Comments 43 pages, 6 figures
从人类视频学习机器人：综述
机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Cambridge（剑桥大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文综述了通过人类视频学习机器人技能的方法，探讨了政策学习基础、人类视频接口、技能转移层次分类及数据基础，分析了挑战与未来研究方向。
Comments Paper list: https://github.com/IRMVLab/awesome-robot-learning-from-human-videos
GVCC：基于代码本驱动的随机修正流零样本视频压缩
机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院）
专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV
AI总结 GVCC通过预训练视频生成模型直接作为解码器，在极低比特率下实现高质量视频重建，通过编码生成轨迹的随机创新信息，提升压缩效率。
Comments 9 pages, 3 figures
相互推动：双模式自我进化用于快速自回归音频视频生成
机构 * VCIP, School of Computer Science, Nankai University（南开大学计算机科学学院VCIP实验室） ； Tongyi Lab（通义实验室） ； Peking University（北京大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出Mutual Forcing框架，通过双阶段训练策略解决音频视频联合建模与快速自回归生成问题，通过共享参数实现自蒸馏，提升训练推理一致性，相比传统方法更高效且质量更优。
是什么驱动了组合泛化？在视觉生成模型中连续训练目标的重要性
机构 * University of Freiburg ； Bosch Center for Artificial Intelligence ； Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
CineAGI：通过LLM协同多模态生成与跨场景整合实现角色一致的电影创作
专题命中 视频生成 ：video generation(abstract)；分类 cs.MM
AI总结 CineAGI通过多代理叙事合成模块、角色中心流水线和分层音视频同步机制，提升电影创作的一致性和质量，实现40%的整体一致性提升。
Comments Accepted to ICME 2026
PhysLayer：基于语言的分层动画与深度感知物理
机构 * Nanjing University（南京大学） ； University of Guelph（圭尔夫大学） ； Zhejiang Sci-Tech University（浙江科技大学） ； Dalian Maritime University（大连海事大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 PhysLayer通过深度感知物理模拟和语言引导，实现静态图像的分层动画生成，提升了物理真实性和可控性，实验结果显示在多个指标上均有显著提升。
Comments Accepted to ICME 2026
学习正确的步骤：面向视觉生成的客观感知过程优化
机构 * University of Science and Technology of China（科学技术大学） ； Shanghai Jiao Tong University（交通大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出OTCA框架，通过细粒度奖励分配提升视觉生成质量，解决传统GRPO在奖励分配上的不足。
通过语义进度函数进行视频分析与生成
机构 * Tel Aviv University（特拉维夫大学） ； Simon Fraser University（西蒙弗雷泽大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出语义进度函数，用于分析和修正视频生成模型中非线性变化的问题，通过线性化语义变化提升视频过渡的平滑性和一致性。
Comments SIGGRAPH 2026
超越帧限：从视角视频生成360度全景视频
机构 * Cornell University（康奈尔大学） ； University of Washington（华盛顿大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出从视角视频生成完整全景视频的方法，通过设计几何与运动感知操作提升生成质量，实现空间与时间一致性，应用于视频稳定、视角控制和交互式视觉问答。
Comments Project page: https://red-fairy.github.io/argus/
SignDATA：手语翻译的数据管道
机构 * Computer Science and Information Engineering National Central University（计算机科学与信息工程国家级中央大学） ； Electrical Engineering National Changhua University Of Education（电气工程国家彰化教育大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出SignDATA，一种标准化手语数据集的预处理工具包，支持端到端的姿势和视频处理流程，通过可配置的接口实现统一输出，提升手语研究的可重复性和比较性。
Comments 7 pages, 1 figure
HumanScore：在生成视频中评估人类动作的基准测试
机构 * Stanford University（斯坦福大学） ； Peking University（北京大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出HumanScore框架，通过六个可解释指标评估AI生成视频中人类动作的质量，揭示感知合理性与生物力学真实性的差距，并产生可靠的模型排名。
多世界：可扩展的多智能体多视角视频世界模型
机构 * The University of Hong Kong（香港大学） ； Sreal AI
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 多世界框架通过多智能体控制模块和全局状态编码器，实现多智能体多视角视频世界建模，提升视频保真度和多视角一致性。
Comments 15 pages, 10 figures
LIVE: 利用图像篡改先验知识进行基于指令的视频编辑
机构 * Nankai University（南开大学） ； Pengcheng Laboratory（鹏城实验室） ； Kuaishou Technology（快手科技） ； Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)（南开国际先进研究院（深圳·福田））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出LIVE框架，结合大规模高质量图像编辑数据和视频数据提升编辑能力，通过帧级噪声策略和两阶段训练策略，构建包含60多项挑战性任务的评估基准，实验表明方法达到SOTA。
通过分离前向和逆向动力学预训练实现解耦的机器人学习
机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） ； Shanghai Innovation Institute（上海创新研究院） ； Tsinghua University（清华大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出DeFI框架，通过分离前向和逆向动力学预训练，利用不同数据源解决视觉-动作耦合问题，实现端到端微调，实验表明在CALVIN ABC-D和SimplerEnv上取得最佳性能。
Comments ICLR 2026
EditVerse：通过上下文学习统一图像和视频编辑与生成
机构 * Adobe Research（Adobe研究院） ； CUHK（中国香港大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出EditVerse框架，通过统一token序列实现图像和视频生成编辑，利用自注意力机制实现跨模态知识迁移，实验表明其在视频编辑任务中达到SOTA水平。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈