机器人 / 具身智能

Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient

基于随机解耦策略梯度的高效在策略视觉强化学习

Haoxiang You, Yilang Liu, Davis Zong, Qian Wang, Teeratham Vitchutripop, Qi Wang, Daniel Rakita, Ian Abraham

机构 * Yale University（耶鲁大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Sydney（悉尼大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 提出随机解耦策略梯度（SDPG）方法，通过轨迹滚动的随机扰动估计策略梯度，在单GPU上数小时内端到端训练多样化的视觉运动控制策略，显著降低计算和内存开销，并在视觉MuJoCo基准测试中优于基线方法。

SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

SOLE-R1：视频语言推理作为机器人强化学习的唯一奖励

Philip Schroeder, Thomas Weng, Karl Schmeckpeper, Eric Rosen, Stephen Hart, Ondrej Biza

机构 * MIT（麻省理工学院） ； RAI Institute（机器人智能研究所） 纠错

专题命中 模仿学习与强化学习 ：robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.CV

AI总结 提出SOLE-R1模型，通过视频语言时空推理生成密集任务进度估计作为唯一奖励信号，实现在无真实奖励、演示或任务特定调优下的零样本在线强化学习。

Ratio-Variance Regularized Policy Optimization

比率方差正则化策略优化

Yu Luo, Shuo Han, Yihan Hu, Lei Lv, Huaping Liu, Fuchun Sun, Jianye Hao, Dong Li

机构 * Department of Foundation Model, 2012 Labs, Huawei（华为基础模型部门，2012实验室） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 提出R²VPO方法，通过约束策略比率方差作为信任区域的局部近似，替代启发式裁剪，在LLM和机器人控制任务中提升性能与样本效率。

GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL

GUI-Libra：训练原生GUI代理进行推理与行动——基于动作感知监督和部分可验证强化学习

Rui Yang, Qianhui Wu, Zhaoyang Wang, Hanyang Chen, Ke Yang, Hao Cheng, Huaxiu Yao, Baolin Peng, Huan Zhang, Jianfeng Gao, Tong Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 提出GUI-Libra训练方案，通过动作感知SFT和部分可验证RL中的KL正则化，解决GUI代理在长程导航任务中推理与定位冲突及部分可验证性问题，显著提升步骤准确率和任务完成率。

Comments 57 pages, 17 figures

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

通过扩散策略优化扩展世界模型强化学习

Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

机构 * Dynamic Systems Lab, University College London（伦敦大学学院动态系统实验室） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Santa Fe Institute（圣塔菲研究所） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算系） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.LG

AI总结 针对世界模型强化学习中搜索与价值学习之间的结构错位问题，提出基于扩散策略优化的模型基方法MBDPO，统一搜索与策略优化，实现可扩展的策略学习。

Neuro-Inspired Inverse Learning for Planning and Control

神经启发式逆向学习用于规划与控制

Maryna Kapitonova, Tonio Ball

机构 * NeuroMentum AI IMBIT, University of Freiburg, Germany（NeuroMentum AI IMBIT，弗赖堡大学，德国） 纠错

专题命中 模仿学习与强化学习 ：embodied AI(abstract)；分类 cs.AI

AI总结 提出一种神经启发式框架Inverter，通过逆向学习（IL）结合前向/逆向内部模型、开环多步运动指令和层次化动作组织，在规划与控制任务中实现高效推理，平均性能提升24.2%且计算时间降低一到两个数量级。

Comments Version 2, minor fix in online version of the abstract, pdf unchanged

Communication Gain and Delay Cost Under Cross-Timestep Delays in Cooperative Multi-Agent Reinforcement Learning

跨时间步延迟下合作多智能体强化学习中的通信增益与延迟代价

Zihong Gao, Hongjian Liang, Lei Hao, Liangjun Ke

机构 * The State Key Laboratory for Manufacturing Systems Engineering（制造系统工程国家重点实验室） ； School of Automation Science and Engineering, Xi’an Jiaotong University（西安交通大学自动化科学与工程学院） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 针对部分可观测环境中跨时间步通信延迟导致的信息错位问题，提出通信增益与延迟代价（CGDC）度量，并基于此设计演员-评论家框架CDCMA，通过预测未来观测和注意力融合延迟消息来提升合作多智能体强化学习的性能、鲁棒性和泛化能力。

Constrained Meta Reinforcement Learning with Provable Test-Time Safety

具有可证明测试时安全性的约束元强化学习

Tingting Ni, Maryam Kamgarpour

机构 * Sycamore Lab, EPFL, Lausanne, Switzerland（苏黎世联邦理工学院萨克森实验室，瑞士拉瓦尔） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 提出一种约束元强化学习算法，在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略，并证明样本复杂度下界。

One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

一个工具就够了：面向仓库级LLM智能体的强化学习

Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University（信息处理国家级重点实验室，北京大学） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Zhongguancun Institute of Artificial Intelligence (ZGCI)（中关村人工智能研究院（ZGCI）） ； Baidu Inc（百度公司） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI

AI总结 提出RepoNavigator，一个仅配备单一执行感知工具（跳转到调用符号定义）的LLM智能体，通过强化学习端到端训练，在仓库级问题定位中达到最先进性能。

EvoEmo: Towards Evolved Emotional Policies for Adversarial LLM Agents in Multi-Turn Price Negotiation

EvoEmo：面向多轮价格谈判中对抗性LLM智能体的进化情感策略

Yunbo Long, Liming Xu, Lukas Beckenbauer, Yuhan Liu, Alexandra Brintrup

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院） ； TUM School of Management, Technical University of Munich（慕尼黑技术大学管理学院） ； The Alan Turing Institute, London, UK（伦敦阿尔安·图灵研究院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI

AI总结 提出EvoEmo进化强化学习框架，通过将情感状态转移建模为马尔可夫决策过程并采用种群遗传优化，动态优化多轮谈判中的情感表达，显著提升LLM智能体的谈判成功率、效率和买家节省。