机器人 / 具身智能

Support-Constrained RL Enables Real-World Policy Improvement without Real-World Experience

支持约束强化学习实现无需真实世界经验的真实世界策略改进

Raymond Yu, William Huey, Mustafa Mukadam, Anusha Nagabandi, Abhishek Gupta

机构 * University of Washington（华盛顿大学） ； Amazon FAR（亚马逊FAR） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 提出SCORE框架，通过流导向约束模拟中的强化学习到真实数据预训练生成策略的支持集，实现无需真实世界经验即可改进真实世界操作策略，在八项灵巧操作任务中成功率从37.8%提升至89.9%。

Comments 35 pages, 23 figures

Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

强化学习引导的软融合检索用于缺失模态下的鲁棒多模态模仿学习

Hassan Ismkhan, Hamid Bouchahcia

机构 * Bournemouth University（伯恩茅斯大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract,abstract_cn)；分类 cs.RO、cs.LG

AI总结 提出RL4IL方法，利用强化学习策略从训练库中检索最相关专家演示，并通过软交叉注意力融合生成动作，有效处理传感器缺失问题，在LIBERO基准上超越现有方法。

UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning

UniIntervene：用于高效现实世界强化学习的智能干预

Haoyuan Deng, Yitong Gao, Yudong Lin, Haichao Liu, Zhenyu Wu, Ziwei Wang

机构 * Nanyang Technological University（南洋理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 提出UniIntervene智能干预模型，通过检测低效探索并自主恢复策略至高价值状态，在真实机器人操作任务中平均成功率提升8.6%，人类干预减少57%。

Comments Project page: https://denghaoyuan123.github.io/UniIntervene-project/

Fourier Features Let Agents Learn High Precision Policies with Imitation Learning

傅里叶特征让智能体通过模仿学习学习高精度策略

Balázs Gyenes, Emiliyan Gospodinov, Jan Frieling, Enrico Krohmer, Nicolas Schreiber, Xiaogang Jia, Niklas Freymuth, Gerhard Neumann

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； FZI Research Center for Information Technology（FZI信息技术研究中心） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 提出在点云编码器中使用傅里叶特征映射，解决神经网络低频偏好导致的高精度操作问题，在多个基准和真实机器人上显著提升性能。

Comments Published as a conference paper at ICML 2026

HARBOR: A Harness Framework for Agentic Robot Reinforcement Learning

HARBOR：面向智能体机器人强化学习的框架

Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

机构 * TU Darmstadt（达姆施塔特工业大学） ； Honda Research Institute Europe（本田欧洲研究所） ； Columbia University（哥伦比亚大学） ； Tongji University（同济大学） ； Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院） ； University of Würzburg（维尔茨堡大学） ； Hessian.AI（黑森人工智能中心） 纠错

专题命中 模仿学习与强化学习 ：robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 提出HARBOR框架，通过将机器人强化学习自动化视为框架工程问题，利用专用智能体、标准化命令和可复用知识，在模拟中自动完成从环境搭建到策略训练的全流程，并在6个基准测试和16个任务中验证其有效性。

Towards End to End Motion Planning and Execution for Autonomous Underwater Vehicles Using Reinforcement Learning

面向自主水下机器人的端到端运动规划与执行：基于强化学习的方法

Elisei Shafer, Oren Gal

机构 * University of Haifa（海法大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 提出分层强化学习架构，将原始传感器数据直接映射为推进器指令，实现AUV端到端运动规划与执行，在HoloOcean仿真中轨迹长度接近RRT*基线（误差4%-6%），并具备鲁棒性。

Affordance-Based Hierarchical Reinforcement Learning for Quadruped Pedipulation

基于可负担性的四足机器人层级强化学习操控

Tuba Girgin, Jose Castelblanco, Gabriel Rodriguez, Emre Girgin, Cagri Kilic

机构 * Embry-Riddle Aeronautical University（埃姆布里-瑞德航空航天大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；navigation(abstract)；分类 cs.RO；robotics(comments)

AI总结 提出三级层级强化学习框架，利用姿态和交互点可负担性引导导航与操控策略，在仿真和真实环境中实现自主物体操控。

Comments This paper is submitted to Wiley Journal of Field Robotics

Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

空间记忆智能体：用于空间智能的基于经验的过程记忆

Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao, Yuling Xi, Hao Chen

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；robotic(abstract)；分类 cs.AI

AI总结 该研究提出SMA框架，让冻结VLM智能体无需外部空间工具，通过无参数更新自进化提升空间推理，在多基准和模型上表现最优，提供了空间自进化的实用路径。

Comments Under Review

AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies

AutoIntervene：用于动作分块模仿学习策略的校准干预方法

Jinhe Tang, Weiming Zhi

机构 * Australian Center For Robotics, The University of Sydney（悉尼大学澳大利亚机器人中心） ； College of Connected Computing, Vanderbilt University（范德堡大学连接计算学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 AutoIntervene是一种在线框架，通过校准的双向切换阈值在动作分块模仿学习策略与操作员间切换控制，提升了真实世界双臂操作任务的适应后成功率并降低了操作员控制时间。

Comments 9 pages, 7 figures

Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning

用于离策略强化学习的上期望多步Q学习

Abdelghani Ghanem, Mounir Ghogho

专题命中 模仿学习与强化学习 ：manipulation(abstract)；navigation(abstract)；分类 cs.LG

AI总结 针对离策略强化学习中多步回报引发的悲观偏差问题，提出ENQ算法，证明其理论性质，在27个任务上与LQL性能相当且吞吐量更高，集成多评论家时获益更多。

SCOUT: Per-Context Reset Curricula for Sparse-Reward Reinforcement Learning

SCOUT：面向稀疏奖励强化学习的每上下文重置课程

Siddharth Aphale, Ayushman Singh

专题命中 模仿学习与强化学习 ：manipulation(abstract)；navigation(abstract)；分类 cs.LG

AI总结 SCOUT是为每个上下文提供独立重置课程的在线控制器，在六类任务中解决了全局进度无法适配学习差异的问题，无需组标签即可提升稀疏奖励强化学习效果。

FARO: Feasibility-Aware Robot Motion Optimization

FARO：可行性感知机器人运动优化

Michal Ciebielski, Shafeef Omar, Aaron Johnson, Majid Khadiv

机构 * Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑工业大学慕尼黑机器人与机器智能研究所） ； Institute for Advanced Study, Technical University of Munich（慕尼黑工业大学高级研究所） ； Carnegie Mellon University（卡内基梅隆大学） ； SIEMENS AG（西门子公司） ； Huawei-TUM joint laboratory（华为-慕尼黑工业大学联合实验室） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；manipulation(abstract)；分类 cs.RO

AI总结 针对机器人在未知场景快速规划新行为的挑战，提出嵌套运动动力学框架，结合可行性引导树搜索和大语言模型采样策略，能改善搜索过程，生成的轨迹可用强化学习控制器跟踪，质量高可用于实际运动操作场景。

DecompRL: Solving Harder Problems by Learning Modular Code Generation

DecompRL: 通过学习模块化代码生成解决更难的问题

Juliette Decugis, Fabian Gloeckle, Francis Bach, Taco Cohen, Gabriel Synnaeve

机构 * FAIR at Meta ； Inria, \'Ecole Normale Sup\'erieure 纠错

专题命中 模仿学习与强化学习 ：world model(abstract,abstract_cn)；分类 cs.LG

AI总结 提出DecompRL算法，通过强化学习将问题分解为可复用的子函数，重组模块生成候选解，将GPU瓶颈转移至CPU评估，在LiveCodeBench和CodeContests上超越标准RL基线。

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

CoRe: 结合视觉语言模型反馈的复合奖励用于偏好对齐强化学习

Hexian Ni, Tao Lu, Yinghao Cai

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出CoRe框架，将奖励分解为基于任务知识的正式奖励和从观察中学习的残差奖励，利用视觉语言模型迭代优化奖励，实现无需人工的偏好对齐，在机器人操作任务中优于现有方法。

Comments ICML 2026

Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos

局部运动至关重要：一种用于从视频中进行强化学习预训练的解构-重组范式

Jinwen Wang, Youfang Lin, Xiaobo Hu, Shuo Wang, Kai Lv

机构 * Beijing Jiaotong University（北京交通大学） ； Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通数据挖掘与具身智能重点实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.LG

AI总结 提出解构-重组范式（DRP），通过解构全局运动为原子动作学习局部运动表示，再重组以加速下游策略学习，在机器人控制任务中显著提升样本效率。

Comments 20 pages, 16 figures

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pages 9859-9868

Task-Relevant Representation Decoupling for Visual Reinforcement Learning Generalization

面向视觉强化学习泛化的任务相关表示解耦

Jinwen Wang, Youfang Lin, Xiaobo Hu, Qian Xu, Shuo Wang, Zhuo Chen, Kai Lv

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science & Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院交通数据挖掘与具身智能北京市重点实验室） ； CSSC Intelligent Innovation Research Institute（中国船舶集团智能创新研究院） ； Zhejiang University（浙江大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.LG

AI总结 提出自监督任务相关表示解耦算法T2RD，通过表示一致性、交叉重建和交叉动态预测分离任务相关与无关特征，在控制任务中实现SOTA泛化性能。

Comments 23 pages, 13 figures

Journal ref ACM Transactions on Multimedia Computing, Communications and Applications (TOMM), 2026

Scaling Nonlinear Optimization: Many Problems One GPU

扩展非线性优化：多问题单GPU

John Viljoen, Johanna Haffner, Masayoshi Tomizuka, Negar Mehr

机构 * Department of Mechanical Engineering, University of California, Berkeley（加州大学伯克利分校机械工程系） ； Department of Biosystems Science and Engineering, ETH Zürich（苏黎世联邦理工学院生物系统科学与工程系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；navigation(abstract)；分类 cs.RO

AI总结 提出首个基于JAX的GPU批处理NLP求解器jaxipm，通过异构迭代融合和迭代级批处理实现多问题并发求解，在四旋翼控制任务中吞吐量提升达32.85倍。

Comments 8 pages, 6 figures, ieeeconf style, submission for RA-L

Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning

解耦语义与几何基础：面向语言条件模仿学习的空间视觉提示

Yanzhe Tang, Xinyu Shao, Yuxuan Hu, Siyu Chen, Bowen Yang, Yajun Gao, Tongtong Cao, Xiu Li, Long Zeng

机构 * Tsinghua University（清华大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出SVP-IL解耦架构，通过视觉语言基础模型将指令解析为零样本几何掩码，生成空间视觉提示并注入连续动作生成器，在低数据条件下显著提升语言条件模仿学习的成功率。

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

dVLA-RL：基于去噪轨迹的强化学习用于离散扩散视觉-语言-动作模型

Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Baidu AI Cloud D-Robotics Shanghai AI Laboratory（百度AI云D-机器人上海人工智能实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出dVLA-RL方法，将离散扩散VLA模型的强化学习目标从边缘动作概率转移到采样生成路径的联合概率，通过将去噪过程建模为马尔可夫决策过程，实现变步长调度，在LIBERO上达到99.7%成功率，在RoboTwin 2.0上相比SFT提升30.6%。

HiL-ResRL: A Model-Agnostic Finetuning Adapter via Human-in-the-loop Residual Reinforcement Learning

HiL-ResRL: 通过人在回路残差强化学习的模型无关微调适配器

Jingyi Liu, Zhaohong Mai, ShunSen He, Hang Ren, Chao Wang, Shunbo Zhou, XiaoDong Wu, Heng Zhang

机构 * CloudRobo Lab, Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司云机器人实验室） ； South China University of Technology（华南理工大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出一种模型无关的即插即用微调流程，通过残差策略和人在回路指导，在1.5小时内使机器人操作成功率超过95%。

Comments 8 pages, 9 figures

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

通过占据覆盖最大化进行强化学习的无奖励预训练

Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

机构 * Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（计算统计与机器学习 - 意大利技术研究院） ； AI Centre, Computer Science Department, University College London（人工智能中心，计算机科学系，伦敦大学学院） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出一种无奖励预训练方法ROVER，通过最大化状态占据测度的覆盖来学习可迁移探索策略，在稀疏奖励下游任务中快速适应。

WAM-RL: World-Action Model Reinforcement Learning with Reconstruction Rewards and Online Video SFT

WAM-RL：基于重建奖励和在线视频SFT的世界-动作模型强化学习

Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Northeastern University（东北大学） ； Tsinghua University（清华大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；world model(abstract)；分类 cs.RO

AI总结 提出WAM-RL框架，通过强化学习联合优化世界模型和动作模型，解决长时域任务中仅优化动作模型的不足，首次将强化学习引入世界-动作范式。

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

基于视频的最优传输用于反馈高效的离线偏好强化学习

Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出VOTP框架，利用视频基础模型和最优传输生成伪标签，仅需少量人类反馈即可学习有效奖励函数，显著降低标注成本。

Comments ICML 2026 (Oral)

Energy-Efficient Arm Reaching for a Humanoid Robot via Deep Reinforcement Learning with Identified Power Models

基于识别功率模型的深度强化学习实现人形机器人节能手臂伸展

Nestor N. Deniz, Simon Parsons, Fernando Auat Cheein

机构 * Harper Adams University（哈珀亚当斯大学） ； Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所） ； Lincoln Centre for Autonomous Systems（林肯自主系统中心） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO

AI总结 提出一种端到端能量感知强化学习框架，结合物理实验识别的电功率模型与SAC策略，在Unitree G1人形机器人上实现节能手臂伸展，仿真成功率69.9%，实物验证平均能耗71.5 J。

MODIP: Efficient Model-Based Optimization for Diffusion Policies

MODIP：扩散策略的高效基于模型的优化

Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

机构 * Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学，法国国家科学研究中心，智能系统与机器人研究所，法国巴黎） ； Institut Universitaire de France (IUF)（法国大学研究院） 纠错

专题命中 模仿学习与强化学习 ：robot learning(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出MODIP框架，利用世界模型和模型预测控制生成高质量轨迹，以监督方式微调扩散策略，实现离线到在线的强化学习微调，在D4RL和RoboMimic任务上超越行为克隆基线。

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

GenPO++：基于无雅可比似然比的生成式策略优化

Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.LG

AI总结 提出GenPO++框架，利用高阶可逆ODE求解器中的历史状态作为辅助记忆，实现精确可逆映射，从而无偏且高效地计算生成流策略的似然比，在连续控制任务中优于现有方法。

Learning to Throw Objects Safely in Multi-Obstacle Environments

学习在多障碍物环境中安全投掷物体

Mohammadreza Kasaei, Klemen Voncina, Hamidreza Kasaei

机构 * University of Groningen（格罗宁根大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.CV、cs.LG；robotics(comments)

AI总结 研究在多障碍物环境中安全投掷物体的问题，引入势场状态表示，结合动觉演示初始化，用SAC等算法优化，经模拟和真实机器人实验，该表示在成功率和扩展性上表现出色，实现了模拟到真实的可靠迁移。

Comments This paper has been presented at the IEEE International Conference on Robotics & Automation (ICRA), 2026

Mirror Learning

镜像学习

Yunpeng Liu, Matthew Niedoba, Oluwanifemi A. Adekanye, Jason Yoo, Yingchen He, Berend Zwartsenberg, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Inverted AI ； Amii 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 该研究提出镜像学习框架，通过视频扩散模型的视角变换与逆动力学模型合成镜像数据，用其增强行为克隆训练可提升策略性能，为数据收集提供替代方案。

LLM-as-a-Verifier: A General-Purpose Verification Framework

LLM-as-a-Verifier：一种通用验证框架

Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 该工作将验证确定方案正确性的能力作为大模型新扩展轴，提出无需额外训练的通用LLM验证框架，生成连续评分，在多基准上取得SOTA性能，还可用于强化学习等场景。

Comments Code: https://github.com/llm-as-a-verifier/llm-as-a-verifier Website: https://llm-as-a-verifier.com

RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance

RS-Diffuser: 基于分布价值引导的风险敏感扩散规划

Shiqiang Gong

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 提出RS-Diffuser，一种结合扩散轨迹生成与分布价值评论家的风险敏感离线规划框架，通过尾部感知目标引导去噪过程，实现灵活的风险偏好行为，在风险敏感D4RL和机器人导航基准上达到最优性能。

Comments ICIC 2026 Oral