机器人 / 具身智能

Scalable Multi-Objective and Meta Reinforcement Learning via Gradient Estimation

可扩展的多目标与元强化学习通过梯度估计

Zhenshuo Zhang, Minxuan Duan, Youran Ye, Hongyang R. Zhang

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PolicyGradEx算法，通过梯度估计实现多目标强化学习的高效优化，实验表明其在机器人控制和Meta-World基准测试中优于现有方法，效率提升达26倍。

Comments 25 pages. Appeared in AAAI 2026

Constrained Group Relative Policy Optimization

带约束的群体相对策略优化

Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；embodied AI(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出带约束的GRPO，通过拉格朗日松弛解决受约束策略优化问题，实验验证其在网格世界和机器人任务中的有效性。

Comments 16 pages, 6 figures

PRISM: Performer RS-IMLE for Single-pass Multisensory Imitation Learning

PRISM：基于单次传递的RS-IMLE单次传递多感官模仿学习

Amisha Bhaskar, Pratap Tokekar, Stefano Di Cairano, Alexander Schperberg

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 PRISM通过单次传递的RS-IMLE方法，实现高效的多感官模仿学习，优于扩散策略，提升成功率并减少轨迹 jerk。

Comments 10 pages main text and 4 figures, and 11 pages appendix and 10 figures, total 21 pages and 14 figures

SA-VLA: Spatially-Aware Flow-Matching for Vision-Language-Action Reinforcement Learning

SA-VLA：面向视觉-语言-动作强化学习的空间感知流匹配

Xu Pan, Zhenglin Wan, Xingrui Yu, Xianwei Zheng, Youkai Ke, Ming Sun, Rui Wang, Ziwei Wang, Ivor Tsang

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

AI总结 SA-VLA通过空间感知的RL适应框架，在强化学习微调中保持空间定位，提升视觉-语言-动作任务的鲁棒性和泛化能力。

Comments Version 1

Beyond Static Datasets: Robust Offline Policy Optimization via Vetted Synthetic Transitions

超越静态数据集：通过验证的合成过渡实现鲁棒的离线策略优化

Pedram Agand, Mo Chen

机构 * Department of Computing Science, Simon Fraser University（计算科学系，西蒙·弗雷泽大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；world model(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出MoReBRAC框架，通过不确定性感知的潜在合成方法，解决离线强化学习中静态数据与策略分布偏移的问题，并在D4RL基准中实现性能提升。

Comments 11 pages, 2 figures, 2 tables

PointMapPolicy: Structured Point Cloud Processing for Multi-Modal Imitation Learning

PointMapPolicy: 结构化点云处理用于多模态模仿学习

Xiaogang Jia, Qian Wang, Anrui Wang, Han A. Wang, Balázs Gyenes, Emiliyan Gospodinov, Xinkai Jiang, Ge Li, Hongyi Zhou, Weiran Liao, Xi Huang, Maximilian Beck, Moritz Reuss, Rudolf Lioutikov, Gerhard Neumann

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Reality Labs, Meta（Meta现实实验室） ； Johannes Kepler University Linz（林茨约翰尼斯·开普勒大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 PointMapPolicy通过结构化点云处理提升多模态模仿学习的精度与泛化能力，利用xLSTM融合点云与RGB数据，在RoboCasa和CALVIN基准中取得最佳性能。

SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling

SAC Flow: 通过速度重参数化序列建模高效训练基于流的策略

Yixian Zhang, Shu'ang Yu, Tonghe Zhang, Mo Guang, Haojia Hui, Kaiwen Long, Yu Wang, Chao Yu, Wenbo Ding

机构 * Tsinghua University（清华大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Li Auto（利汽车） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 SAC Flow通过速度重参数化序列建模，高效训练基于流的策略，实现连续控制和机器人操作的高性能表现。

Heterogeneous Multi-Expert Reinforcement Learning for Long-Horizon Multi-Goal Tasks in Autonomous Forklifts

异质多专家强化学习用于自主叉车的长周期多目标任务

Yun Chen, Bowei Huang, Fan Guo, Kang Song

机构 * State Key Laboratory of Engines, Tianjin University（天津大学内燃机状态重点实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；navigation(abstract)；分类 cs.RO、cs.AI

AI总结 HMER通过异质多专家强化学习框架，有效解决自主叉车在长周期多目标任务中的导航与操作冲突问题，提升任务成功率和操作效率。

Comments 9 pages

ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning

ReinFlow：基于在线强化学习的流匹配策略微调

Tonghe Zhang, Chao Yu, Sichang Su, Yu Wang

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 ReinFlow通过在线强化学习微调流匹配策略，提升连续机器人控制性能，实现高效去噪与训练稳定性。

Comments 38 pages

Journal ref Published in The Thirty-Ninth Annual Conference on Neural Information Processing Systems, 2025

Multiagent Reinforcement Learning with Neighbor Action Estimation

基于邻居动作估计的多智能体强化学习

Zhenglong Luo, Zhiyong Chen, Aoxiang Liu

机构 * School of Engineering, University of Newcastle（新castle大学工程学院） ； School of Automation, Central South University（中南大学自动化学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出基于邻居动作估计的多智能体强化学习框架，通过轻量级模块实现无需显式动作共享的协作策略学习，提升现实机器人系统的鲁棒性和部署可行性。

ESearch-R1: Learning Cost-Aware MLLM Agents for Interactive Embodied Search via Reinforcement Learning

ESearch-R1: 通过强化学习学习成本感知的多模态大语言模型代理以进行交互式具身搜索

Weijie Zhou, Xuangtang Xiong, Ye Tian, Lijun Yue, Xinyu Wu, Wei Li, Chaoyang Zhao, Honghui Dong, Ming Tang, Jinqiao Wang, Zhengyou Zhang

机构 * School of Traffic and Transportation, Beijing Jiaotong University（交通与运输学院，北京交通大学） ； Tencent Robotics X & Futian Laboratory（腾讯机器人X与福田实验室） ； Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；navigation(abstract)；分类 cs.AI、cs.CV

AI总结 ESearch-R1通过强化学习方法，结合交互对话、记忆检索和导航，实现成本感知的多模态大语言模型代理，有效降低任务执行成本并提高成功率。

An effective control of large systems of active particles: An application to evacuation problem

大规模活性粒子系统的有效控制：应用于疏散问题的应用

Albina Klepach, Egor E. Nuzhin, Alexey A. Tsukanov, Nikolay V. Brilliantov

机构 * AIRI ； Artificial Intelligence Center, Skolkovo Institute of Science and Technology（人工智能中心，斯克洛夫科技研究所） ； Department of Mathematics, University of Leicester（数学系，莱斯特大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出一种结合强化学习与人工力的控制策略，用于机器人救援者高效疏散人群，克服了传统方法的可扩展性和鲁棒性不足问题。

Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback

通过隐式人类反馈进行人与机器人对齐的强化学习

Suzie Kim, Hye-Bin Shin, Seong-Whan Lee

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） ； Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

AI总结 通过隐式人类反馈的强化学习方法，利用脑电图信号提升机器人与人类的对齐能力。

Comments Accepted to IEEE Int. Conf. Syst., Man, Cybern. (SMC) 2025

MARL Warehouse Robots

多智能体强化学习在仓库机器人中的应用

Price Allman, Lian Thang, Dre Simmons, Salmon Riaz

机构 * Department of Computer Science, Oral Roberts University（计算机科学系，奥尔巴尼罗尔斯大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

AI总结 本文比较了MARL算法在仓库机器人中的性能，发现QMIX在奖励回报上显著优于IPPO，但需大量超参数调优，适用于小规模部署但存在扩展挑战。

Comments 5 pages.Project documentation: https://pallman14.github.io/MARL-QMIX-Warehouse-Robots/

RobustVLA: Robustness-Aware Reinforcement Post-Training for Vision-Language-Action Models

RobustVLA: 为视觉-语言-动作模型引入鲁棒性感知的强化学习后训练

Hongyin Zhang, Shuo Zhang, Junxi Jin, Qixin Zeng, Runze Li, Donglin Wang

机构 * Westlake University（西湖大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 RobustVLA通过引入鲁棒性感知的强化学习后训练方法，提升视觉-语言-动作模型在环境不确定性下的鲁棒性和可靠性。

Reinforcement Learning from Implicit Neural Feedback for Human-Aligned Robot Control

从隐式神经反馈强化学习实现人对齐的机器人控制

Suzie Kim

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出利用隐式神经反馈的强化学习框架，通过脑电图信号实现人对齐的机器人控制，实验表明其在复杂任务中表现与人工设计奖励相当。

Comments Master's thesis, Korea University, 2025. arXiv admin note: substantial text overlap with arXiv:2507.13171

SEBA: Sample-Efficient Black-Box Attacks on Visual Reinforcement Learning

Tairan Huang, Yulin Jin, Junxu Liu, Qingqing Ye, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；world model(abstract)；分类 cs.AI、cs.LG

Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning

Lan Thi Ha Nguyen, Kien Ton Manh, Anh Do Duc, Nam Pham Hai

机构 * FPT University（FPT大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

Follow-Me in Micro-Mobility with End-to-End Imitation Learning

Sahar Salimpour, Iacopo Catalano, Tomi Westerlund, Mohsen Falahi, Jorge Peña Queralta

专题命中 模仿学习与强化学习 ：robotics(abstract)；navigation(abstract)；分类 cs.RO、cs.LG

AI-Guided Molecular Simulations in VR: Exploring Strategies for Imitation Learning in Hyperdimensional Molecular Systems

Mohamed Dhouioui, Jonathan Barnoud, Rhoslyn Roebuck Williams, Harry J. Stroud, Phil Bates, David R. Glowacki

机构 * IRL ； CiTIUS Centro Singular de Investigación en Tecnoloxías Intelixentes（CiTIUS智能技术研究中心） ； University of Bristol（布里斯托大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；manipulation(abstract)；分类 cs.AI、cs.LG

Comments (First presented at the First Workshop on "eXtended Reality \& Intelligent Agents" (XRIA24) @ ECAI24, Santiago De Compostela (Spain), 20 October 2024)

Journal ref SN COMPUT. SCI. 6, 922 (2025)

Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks

Korneel Van den Berghe, Stein Stroobants, Vijay Janapa Reddi, G. C. H. E. de Croon

机构 * Delft University of Technology（代尔夫特理工大学） ； Harvard University（哈佛大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

EmbodiedBrain: Expanding Performance Boundaries of Task Planning for Embodied Intelligence

Ding Zou, Feifan Wang, Mengyu Ge, Siyuan Fan, Zongbing Zhang, Wei Chen, Lingfeng Wang, Zhongyou Hu, Wenrui Yan, Zhengwei Gao, Hao Wang, Weizhao Jin, Yu Zhang, Hainan Zhao, Mingliang Zhang, Xianxian Xi, Yaru Zhang, Wenyuan Li, Zhengguang Gao, Yurui Zhu

机构 * ZTE NebulaBrain Team（ZTE NebulaBrain团队） 纠错

专题命中 模仿学习与强化学习 ：embodied AI(abstract)；embodied agent(abstract)；分类 cs.RO、cs.CV

Dynamic object goal pushing with mobile manipulators through model-free constrained reinforcement learning

Ioannis Dadiotis, Mayank Mittal, Nikos Tsagarakis, Marco Hutter

机构 * HHCM lab, IIT（IIT基因瓦实验室） ； DIBRIS, University of Genoa（热那亚大学DIBRIS学院） ； RSL, ETH Zürich（苏黎世联邦理工学院机器人实验室） ； NVIDIA（NVIDIA公司） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

Comments presented at ICRA 2025, Video: https://youtu.be/wGAdPGVf9Ws?si=pi83ONWofHHqbFG0

DARIL: When Imitation Learning outperforms Reinforcement Learning in Surgical Action Planning

Maxence Boels, Harry Robertshaw, Thomas C Booth, Prokar Dasgupta, Alejandro Granados, Sebastien Ourselin

机构 * Surgical and Interventional Engineering, King's College London, London, UK（外科与介入工程，伦敦国王学院，伦敦，英国） ； Interventional Engineering, King's College London, London, UK（介入工程，伦敦国王学院，伦敦，英国） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；robotic(abstract)；分类 cs.AI、cs.CV

Comments Paper accepted at the MICCAI2025 workshop proceedings on COLlaborative Intelligence and Autonomy in Image-guided Surgery (COLAS)

A Framework for Scalable Heterogeneous Multi-Agent Adversarial Reinforcement Learning in IsaacLab

Isaac Peterson, Christopher Allred, Jacob Morrey, Mario Harper

机构 * Utah State University（犹他州立大学） ； US DEVCOM Army Research Laboratory（美国陆军研究实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

Comments 8 page, 9 figures, code https://github.com/DIRECTLab/IsaacLab-HARL

Scalable Multi-Objective Robot Reinforcement Learning through Gradient Conflict Resolution

Humphrey Munn, Brendan Tidd, Peter Böhm, Marcus Gallagher, David Howard

机构 * School of Electrical Engineering and Computer Science, University of Queensland（电气工程与计算机科学学院，昆士兰大学） ； Data61 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.LG

MEMBOT: Memory-Based Robot in Intermittent POMDP

Youzhi Liang, Eyan Noronha

机构 * Department of Computer Science Stanford University（计算机科学系 斯坦福大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

Eye, Robot: Learning to Look to Act with a BC-RL Perception-Action Loop

Justin Kerr, Kush Hari, Ethan Weber, Chung Min Kim, Brent Yi, Tyler Bonnen, Ken Goldberg, Angjoo Kanazawa

机构 * UC Berkeley（伯克利大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV

Comments CoRL 2025, project page: https://www.eyerobot.net/

Curriculum-Based Multi-Tier Semantic Exploration via Deep Reinforcement Learning

Abdel Hakim Drid, Vincenzo Suriani, Daniele Nardi, Abderrezzak Debilou

机构 * Department of Electrical Engineering - Mohamed Khider, University of Biskra, Biskra (Algeria)（巴尔克拉大学电子工程系） ； Department of Engineering - University of Basilicata, Potenza (Italy)（巴塞里卡大学工程系） ； Department of Computer, Control, and Management Engineering ``Antonio Ruberti'', Sapienza University of Rome, Rome (Italy)（罗马萨皮恩扎大学计算机、控制与管理工程系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；embodied agent(abstract)；分类 cs.RO、cs.AI

Comments The 19th International Conference on Intelligent Autonomous Systems (IAS 19), 2025, Genoa

SAIL: Faster-than-Demonstration Execution of Imitation Learning Policies

Nadun Ranawaka Arachchige, Zhenyang Chen, Wonsuhk Jung, Woo Chul Shin, Rohan Bansal, Pierre Barroso, Yu Hang He, Yingyang Celine Lin, Benjamin Joffe, Shreyas Kousik, Danfei Xu

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI

Comments The first two authors contributed equally. Accepted to CoRL 2025