机器人 / 具身智能

CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving

CORAL：面向基于激光雷达的目标导向城市驾驶的课程优化奖励适配

Anisa Saleem, Duksu Kim

机构 * Korea University of Technology and Education (KOREATECH)（韩国技术教育大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.LG

AI总结 CORAL结合五阶段课程与阶段感知奖励，在CARLA中训练多流演员-评论家策略，实现基于激光雷达的城市驾驶，长路线约束下成功率显著优于PPO基线，且可零样本跨城镇迁移。

Comments 13 pages, 6 figures

Action- and Language-Conditioned Video Assessment for Embodied Control

面向具身控制的动作与语言条件视频评估

Hwanhee Kim, Jaehyun Jang, Seungmin Cha, Hyeonseo Yun, Donghoon Lee, Chang D. Yoo

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.RO、cs.CV

AI总结 该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。

Comments 21 pages, 7 figures, Published in Sensors

Journal ref Sensors 26(16), 5046 (2026)

V-Simba: Unleashing the Architectural Potential of RL in Visual Continuous Control

V-Simba：释放强化学习在视觉连续控制中的架构潜力

Donghu Kim, Youngdo Lee, Hojoon Lee, Johan Obando-Ceron, Byungkun Lee, Aaron Courville, Pablo Samuel Castro, Jaegul Choo, Clare Lyle

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 该研究针对视觉RL样本效率低的问题，提出受Simba架构启发的V-Simba视觉RL架构，基于SAC改进后在多个基准测试中性能优于或媲美现有方法，且计算效率更高。

Comments Accepted at RLC'26

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

TEMPO：面向视觉-语言-动作模型的语义-动作解耦强化学习后训练

Ziheng Liu, Quantao Yang

机构 * School of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出TEMPO框架，通过解耦语义投影层与动作专家采用双时间尺度RL后训练，提升VLA模型在操作任务上的性能，在基准与真实任务中均优于现有方法。

Does Latent Context Help? A Controlled Evaluation of Inverse Reinforcement Learning in Arctic Shipping

潜在上下文是否有帮助？北极航运中逆强化学习的受控评估

Vaishnav Vaidheeswaran, Dilith Jayakody, Biruk Ambaw, Jaswanth Kumar, Md Mahbub Alam, Gabriel Spadon

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过对北极航运航次的受控评估，发现非线性共享奖励模型优于线性基线，添加船舶特定潜在上下文反而降低性能，表明可观测特征已能解释行为差异，为安全关键领域的AI部署提供支持。

ATLAS: Adaptive Topological Learning with Abstract Successors for Continual Learning

ATLAS：基于抽象后继的自适应拓扑学习用于持续学习

R. Blake Lawlor, Daniel S. Brown

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ATLAS算法，通过结构解耦转移动态与奖励信号，在空间导航任务中实现高样本效率、抗灾难性遗忘及对新目标的快速适应，在非平稳环境中性能显著优于基线强化学习算法。

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

结合增量知识的神经符号推理用于样本高效分层强化学习

Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

机构 * NTU Singapore（新加坡南洋理工大学） ； IPAL, CNRS, France（法国IPAL-CNRS） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.AI

AI总结 本研究提出结合增量知识（InK）的神经符号分层强化学习，通过符号高层组件执行符号规划、低层神经模块学习运动原语，在导航任务中显著提升了样本效率，还开发了信念世界树搜索方法。

Comments Published in ECML-PKDD 2026

SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling

SP3O：无需奖励建模的分段偏好强化学习

Evan Assmus, Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 SP3O是一种无需奖励建模的新型PbRL算法，利用分段级偏好反馈，通过PPO型损失函数优化策略，在机器人控制和LLM微调等长视界任务中性能优于现有算法。

When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning

基于值函数的模仿学习中，何时在线交互是有帮助的？表示权衡研究

Luca Viano, Antoine Moulin, Audrey Huang, Volkan Cevher, Philip Amortila, Dylan J. Foster

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对基于值函数的模仿学习，提出交互式在线算法OVI，发现专家交互可降低学习者的表示要求，且OVI在多数场景下性能优于现有方法。

Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States

关系隐藏状态强化学习中作为涌现行为的规划

Armin Sommer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI、cs.LG

AI总结 研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。

An offline approach to fNIRS-guided reinforcement learning for robot behavior

一种用于机器人行为的基于fNIRS引导的强化学习的离线方法

Julia Santaniello, Madelaine Brower, Benson Jiang, Donatello Sassaroli, Robert Jacob, Jivko Sinapov

专题命中 模仿学习与强化学习 ：robot learning(abstract)；分类 cs.RO、cs.AI

AI总结 研究利用fNIRS脑信号调节机器人模拟学习的可行性，比较不同交互任务训练的智能体，测试多种增强强化学习算法的方法，发现该框架能有效利用神经信号增强学习，还可离线学习，为特定场景提供替代方案。

Comments Preliminary results

Directional Constraints for Efficient Exploration in Safe Reinforcement Learning

安全强化学习中高效探索的方向约束

Paolo Magliano, Puze Liu, Jan Peters, Davide Tateo, Raffaello Camoriano

机构 * Dipartimento di Automatica e Informatica, Politecnico di Torino（自动控制与信息工程系，都灵理工大学） ； Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems（同济大学，上海智能自主系统研究院） ； German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）） ； Intelligent Autonomous Systems Group, TU Darmstadt（智能自主系统组，达姆施塔特工业大学） ； Lund University（隆德大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 针对安全强化学习中约束学习降低速度和性能的问题，提出扩展ATACOM框架的ATACOM-DC方法，通过引入方向约束区分动作，改善安全与性能权衡，在模拟机器人控制任务中评估，分析约束违反成本和任务性能。

Comments This paper has been accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Pittsburgh, USA, 2026. 8 pages, 8 figures

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

Safe Reinforcement Learning using Ideas from Model Predictive Control

利用模型预测控制思想的安全强化学习

Georg Schäfer, Jakob Rehrl, Stefan Huber, Simon Hirlaender

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。

Comments Accepted at Eurocast 2026

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

CanvasAgent：通过视觉工具编排实现复杂图像创建和编辑

Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao, Xiaoyang Ye, Lin Ma, Wenhao Jiang

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI、cs.CV

AI总结 研究复杂图像创建编辑问题，提出CanvasAgent代理，通过多轮交互编排异构视觉工具，先经监督微调学习轨迹，再用广义信赖域策略优化器结合多种信号优化，结合CanvasCraft数据集进行实验，证明其对复杂多工具图像创建工作流程有效。

Comments 18pages, 5 figures

OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies

OmniTacTune：用于视觉策略触觉残余适应的与策略无关的真实世界强化学习

Kelin Yu, Haode Zhang, Harish Ravichandar, Yunhai Han, Ruohan Gao

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 研究针对视觉策略在接触丰富操作中不足的问题，提出OmniTacTune管道，通过残余校正让触觉反馈适应预训练视觉策略，经两阶段设计，实验证明其能跨任务等泛化，有效提升策略成功率。

Comments Project page: https://colinyu1.github.io/omnitactune-site/

CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

CRRL：一种用于自主系统恢复的基于因果关系的强化学习框架

Safia Fatima, Kai Olav Ellefsen, Leon Moonen

机构 * Simula Research Laboratory（Simula研究实验室） ； University of Oslo（奥斯陆大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 研究自主系统恢复中传统强化学习问题，引入基于因果关系的CRRL框架，利用驾驶日志因果关系塑造训练信号，使策略与基于规则的恢复有效协作，提升相关指标。

Comments 30 pages

Evidence-State Rewards for Long-Context Reasoning

证据状态奖励用于长上下文推理

Ya Gao, Pekka Marttinen

机构 * Aalto University（阿alto大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 提出Maven框架，通过可编辑证据记忆和动作级状态转移奖励，优化长上下文推理中的证据导航，优于仅结果强化学习和证据识别基线。

Comments Under review

Multi-Agent Goal Recognition with Team- and Goal-Conditioned Reinforcement Learning and Factorized Branch-and-Bound

基于团队与目标条件强化学习和因子化分支定界的多智能体目标识别

Thiago Thomas, Gabriel de Oliveira Ramos, Felipe Meneguzzi

机构 * Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)（里约格兰德杜斯阿伦斯天主教大学） ； Universidade do Vale do Rio dos Sinos (Unisinos)（里约斯inos大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.AI、cs.LG

AI总结 提出MAGR-BB方法，利用共享的团队与目标条件策略作为评分模型，结合因子化分支定界搜索，从轨迹中联合推断智能体分组及团队目标，在基准测试中大幅降低假设空间并缩短识别时间。

Comments 12 pages, 1 figure, 2 tables

Memory-Efficient Policy Libraries with Low-Rank Adaptation in Reinforcement Learning

基于低秩适配的强化学习内存高效策略库

Samuel Valland Lyngset, Tor Viljen Raanaas, Gard Sveipe, Eirik Møller Nilsen, Jim Torresen, Kai Olav Ellefsen, Tobias Lømo

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 研究将参数高效微调方法（如LoRA）迁移至机器人强化学习，通过PPO算法微调基线模型构建多任务策略库，实现内存占用降低20-160倍，存储节省90-95%，且成功率无显著差异。

AI Coaching for Accelerating Human Skill Development with Reinforcement Learning

AI教练：利用强化学习加速人类技能发展

Wei Wang, Enlin Gu, Antonio Loquercio, Haimin Hu, Rahul Mangharam

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 模仿学习与强化学习 ：embodied AI(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出一种基于非合作动态博弈和强化学习的AI教练框架，通过自适应共享控制和因果影响模型加速人类运动技能发展，在无人机竞速用户研究中显著提升学习效果。

Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

奖励条件注意力：奖励设计如何塑造自动驾驶代理的感知

Mohamed Benabdelouahad, Ahmed Djalal Hacini, Nadir Farhi, Aissa Boulmerka

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院） ； Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia实验室） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 研究奖励设计如何影响自动驾驶强化学习代理的内部注意力模式，发现奖励内容直接决定编码器优先关注的场景元素，且连续碰撞时间惩罚会形成学习性警觉先验。

TurboMPC: Fast, Scalable, and Differentiable Model Predictive Control on the GPU

TurboMPC：GPU上快速、可扩展且可微分的模型预测控制

Gabriel Bravo-Palacios, Jianghan Zhang, Zachary Pestrikov, Brian Plancher, Thomas Lew

机构 * Dartmouth College（达特茅斯学院） ； Toyota Research Institute（丰田研究所） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 提出TurboMPC，一种完全运行在GPU上的可微分MPC求解器，通过SQP、ADMM内求解器、隐式微分和JAX-CUDA协同设计，在约束规划、人形模仿学习和强化学习中实现高达15倍和58倍的加速，并在实车最小时间竞赛中通过贝叶斯优化调参显著提升性能。

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

AIR: MLLMs中的自适应交错推理与代码

Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

机构 * Independent Researcher（独立研究员） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI、cs.CV

AI总结 提出自适应交错推理框架AIR，通过强化学习训练代码增强的复杂数值计算任务，采用分组约束奖励函数和两阶段数据构建，使性能平均提升6.1个百分点。

Comments 19 pages, 4 figures

CRAX: Fast Safe Reinforcement Learning Benchmarking

CRAX：快速安全强化学习基准测试

Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。

Temporal Self-Imitation Learning

时间自我模仿学习

Yinsen Jia, Boyuan Chen

机构 * Duke University（杜克大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 提出时间自我模仿学习框架，通过挖掘高效成功轨迹并转化为可重用监督信号，提升长时域机器人操作任务的学习效率与鲁棒性。

Reversal Q-Learning

逆向Q学习

Aditya Oberai, Seohong Park, Sergey Levine

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 提出逆向Q学习（RQL）算法，通过扩展MDP框架和逆向流生成虚拟在线轨迹，结合偏差-方差缩减技术，实现基于流策略的离线强化学习，在50个机器人任务中取得最佳平均性能。

HOLO-MPPI: Multi-Scenario Motion Planning via Hierarchical Policy Optimization

HOLO-MPPI：通过分层策略优化的多场景运动规划

Youngjae Min, Jovin D'sa, Faizan M. Tariq, David Isele, Navid Azizan, Sangjae Bae

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Honda Research Institute, USA（本田研究所（美国）） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.RO、cs.AI

AI总结 提出HOLO-MPPI框架，结合离线高层策略学习与在线低层随机最优控制，实现多场景运动规划，无需针对每个场景重新调整参数，在自动驾驶中优于MPPI和端到端RL基线。

Provably Safe, Yet Scalable Reinforcement Learning

可证明安全且可扩展的强化学习

Kai S. Yun, Zeyang Li, Navid Azizan

机构 * MIT（麻省理工学院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 提出PS2-RL框架，通过两阶段架构（学习备份策略隐式构造控制不变集，再通过可微投影层训练RL策略）实现可证明安全且可扩展的强化学习，在高达10维状态空间中保持性能与安全性。

Shape Formation for the Cooperative Transportation of Arbitrary Objects Using Multi-Agent Reinforcement Learning

基于多智能体强化学习的任意物体协同运输中的形状形成

Mohamed Sayed, Wolfram Burgard, Tanja Katharina Kaiser

机构 * University of Technology Nuremberg（纽伦堡工业大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.AI

AI总结 提出一种多智能体强化学习方法，使多机器人系统自主形成支撑任意形状和非均匀质量分布物体的编队，同时避免障碍物，实现可靠且泛化的协同运输。