机器人 / 具身智能

World4RL: Diffusion World Models for Policy Refinement with Reinforcement Learning for Robotic Manipulation

World4RL: 基于扩散世界模型的强化学习政策精修框架用于机器人操作

Zhennan Jiang, Kai Liu, Yuxin Qin, Shuai Tian, Yupeng Zheng, Mingcai Zhou, Chao Yu, Haoran Li, Dongbin Zhao

机构 * The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） ； Beijing Zhongke Huiling Robot Technology Co（北京中科创联机器人技术有限公司） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 模仿学习与强化学习 ：manipulation(title,abstract)；world model(title,abstract)；robotic(title,abstract)；分类 cs.RO、cs.AI

AI总结 World4RL通过扩散世界模型提升机器人操作政策的精修效果，采用高保真模拟环境进行端到端政策优化，优于模仿学习及其他基线方法。

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

一种用于提升长周期LLM代理的子目标驱动框架

Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出子目标分解规划框架和MiRA强化学习框架，通过实时规划和密集奖励信号提升LLM在长周期任务中的表现，成功率达到43.0%。

Comments 50 pages, 15 figures

VAMPO: Policy Optimization for Improving Visual Dynamics in Video Action Models

VAMPO：通过改进视频动作模型的视觉动态进行策略优化

Zirui Ge, Pengxiang Ding, Baohua Yin, Qishen Wang, Zhiyong Xie, Yemin Wang, Jinbo Wang, Hengtao Li, Runze Suo, Wenxuan Song, Han Zhao, Shangke Lyu, Zhaoxin Fan, Haoang Li, Ran Cheng, Cheng Chi, Huibin Ge, Yaozhi Luo, Donglin Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Xiamen University（厦门大学） ； University of Sussex（Sussex大学） ； Tianjin University（天津大学） ； Wuhan University（武汉大学） ； Hebei University of Technology（河北工业大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； South China University of Technology（华南理工大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 VAMPO通过策略优化直接提升视频动作模型的视觉动态，结合GRPO和非对抗性奖励，在多种模拟和真实任务中提升任务相关视觉动态，增强下游动作生成和泛化能力。