机器人 / 具身智能

Repetition as Reinforcement: Enhancing Sample Efficiency via Instant Episode Repetition in Reinforcement Learning

重复作为强化：通过强化学习中的即时回合重复提升样本效率

Hoda Yamani, Yuning Xing, Koen van Rijnsoever, Bruce A. MacDonald, Henry Williams

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 受人类学习的重复机制启发，提出即时回合重复（IER）机制，将其集成至 SAC、TD3 算法并在多类基准任务上验证，可提升强化学习的样本效率与学习性能。

Comments 23 pages, 12 figures. Accepted at RLC 2026; to appear in Reinforcement Learning Journal (RLJ) 2026. Code: https://github.com/UoA-CARES/instant-episode-repetition

Temporal Logic Guided Universal Task Representations for Reinforcement Learning

用于强化学习的时序逻辑引导通用任务表示

Hao Zhang, Zhangli Zhou, Zhen Kan

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui Provincial Key Laboratory of Humanoid Robots（安徽省人形机器人重点实验室） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出受时序逻辑启发的通用任务表示框架LOTUS，将其集成至强化学习算法，通过LTL编码器建模语义、双模拟度量保障稳定性，在多场景下的学习效率、泛化能力等指标优于现有方法。

Comments Accepted by IEEE Transactions on Neural Networks and Learning Systems (Early Access). Project page: https://lotus-website.github.io/

CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving

CORAL：面向基于激光雷达的目标导向城市驾驶的课程优化奖励适配

Anisa Saleem, Duksu Kim

机构 * Korea University of Technology and Education (KOREATECH)（韩国技术教育大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.LG

AI总结 CORAL结合五阶段课程与阶段感知奖励，在CARLA中训练多流演员-评论家策略，实现基于激光雷达的城市驾驶，长路线约束下成功率显著优于PPO基线，且可零样本跨城镇迁移。

Comments 13 pages, 6 figures

Trajectory First: A Curriculum for Discovering Diverse Policies

轨迹优先：发现多样化策略的课程

Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

机构 * TU Berlin（柏林技术大学） ； Robotics Institute（机器人研究所） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出一种两阶段课程，通过轨迹先验生成多样化高奖励行为，再蒸馏为反应式策略，提升任务性能与行为多样性。

Comments Best paper at the Inductive Biases in Reinforcement Learning Workshop at RLC 2025

Journal ref Reinforcement Learning Journal 2026

Reward Guidance for Reinforcement Learning Tasks Based on Large Language Models: The LMGT Framework

Yongxin Deng, Xihe Qiu, Jue Chen, Xiaoyu Tan

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

Journal ref Knowledge-Based Systems, 322 (2025) 113689

Action- and Language-Conditioned Video Assessment for Embodied Control

面向具身控制的动作与语言条件视频评估

Hwanhee Kim, Jaehyun Jang, Seungmin Cha, Hyeonseo Yun, Donghoon Lee, Chang D. Yoo

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.RO、cs.CV

AI总结 该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。

Comments 21 pages, 7 figures, Published in Sensors

Journal ref Sensors 26(16), 5046 (2026)

V-Simba: Unleashing the Architectural Potential of RL in Visual Continuous Control

V-Simba：释放强化学习在视觉连续控制中的架构潜力

Donghu Kim, Youngdo Lee, Hojoon Lee, Johan Obando-Ceron, Byungkun Lee, Aaron Courville, Pablo Samuel Castro, Jaegul Choo, Clare Lyle

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 该研究针对视觉RL样本效率低的问题，提出受Simba架构启发的V-Simba视觉RL架构，基于SAC改进后在多个基准测试中性能优于或媲美现有方法，且计算效率更高。

Comments Accepted at RLC'26

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

TEMPO：面向视觉-语言-动作模型的语义-动作解耦强化学习后训练

Ziheng Liu, Quantao Yang

机构 * School of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出TEMPO框架，通过解耦语义投影层与动作专家采用双时间尺度RL后训练，提升VLA模型在操作任务上的性能，在基准与真实任务中均优于现有方法。

Does Latent Context Help? A Controlled Evaluation of Inverse Reinforcement Learning in Arctic Shipping

潜在上下文是否有帮助？北极航运中逆强化学习的受控评估

Vaishnav Vaidheeswaran, Dilith Jayakody, Biruk Ambaw, Jaswanth Kumar, Md Mahbub Alam, Gabriel Spadon

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过对北极航运航次的受控评估，发现非线性共享奖励模型优于线性基线，添加船舶特定潜在上下文反而降低性能，表明可观测特征已能解释行为差异，为安全关键领域的AI部署提供支持。

DeepForgeSeal: Latent Space-Driven Semi-Fragile Watermarking for Deepfake Detection Using Adversarial Reinforcement Learning

DeepForgeSeal：基于对抗强化学习的隐空间驱动半脆弱深度伪造检测水印技术

Tharindu Fernando, Clinton Fookes, Sridha Sridharan

机构 * The Signal Processing, Artificial Intelligence and Vision Technologies (SAIVT), Queensland University of Technology, Australia（信号处理、人工智能与视觉技术研究所（SAIVT），昆士兰理工大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI、cs.CV

AI总结 该研究针对深度伪造检测中现有水印方法鲁棒性与脆弱性难以平衡的问题，提出基于对抗强化学习的隐空间驱动半脆弱水印框架，在CelebA和CelebA-HQ数据集上性能优于现有最优方法

Comments Accepted for Publication in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

ATLAS: Adaptive Topological Learning with Abstract Successors for Continual Learning

ATLAS：基于抽象后继的自适应拓扑学习用于持续学习

R. Blake Lawlor, Daniel S. Brown

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ATLAS算法，通过结构解耦转移动态与奖励信号，在空间导航任务中实现高样本效率、抗灾难性遗忘及对新目标的快速适应，在非平稳环境中性能显著优于基线强化学习算法。

Imitation Learning from Human Motion Alone Does Not Guarantee Biomechanically Plausible Gait Kinetics

超越动作模仿：仅有人体动作数据是否足以解释步态控制与生物力学？

Xinyi Liu, Jangwhan Ahn, Edgar Lobaton, Jennie Si, He Huang

机构 * Joint Department of Biomedical Engineering, University of North Carolina - Chapel Hill（北卡罗来纳大学教堂山分校联合生物医学工程系） ； Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系） ； School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 本研究探讨了在基于强化学习的动作模仿框架中，加入足-地面相互作用测量对人类步态运动学和运动动力学估计的影响，发现仅准确再现运动学不足以保证生物力学合理性，需引入动力学约束以提升步态表示的物理一致性。

Comments 8 pages, 7 figures

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

结合增量知识的神经符号推理用于样本高效分层强化学习

Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

机构 * NTU Singapore（新加坡南洋理工大学） ； IPAL, CNRS, France（法国IPAL-CNRS） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.AI

AI总结 本研究提出结合增量知识（InK）的神经符号分层强化学习，通过符号高层组件执行符号规划、低层神经模块学习运动原语，在导航任务中显著提升了样本效率，还开发了信念世界树搜索方法。

Comments Published in ECML-PKDD 2026

SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling

SP3O：无需奖励建模的分段偏好强化学习

Evan Assmus, Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 SP3O是一种无需奖励建模的新型PbRL算法，利用分段级偏好反馈，通过PPO型损失函数优化策略，在机器人控制和LLM微调等长视界任务中性能优于现有算法。

When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning

基于值函数的模仿学习中，何时在线交互是有帮助的？表示权衡研究

Luca Viano, Antoine Moulin, Audrey Huang, Volkan Cevher, Philip Amortila, Dylan J. Foster

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对基于值函数的模仿学习，提出交互式在线算法OVI，发现专家交互可降低学习者的表示要求，且OVI在多数场景下性能优于现有方法。

Maximum Entropy Behavior Exploration for Sim2Real Zero-Shot Reinforcement Learning

为实机零样本强化学习的最大熵行为探索

Jiajun Hu, Nuria Armengol Urpi, Jin Cheng, Stelian Coros

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FB-MEBE算法，通过最大熵行为探索策略和正则化批评者，提升实机四足机器人控制的零样本强化学习性能，实现自然可部署的政策。

Reinforcement Learning on Cost-Constrained Quadrupedal Hardware

成本受限四足硬件上的强化学习

Javier C. Weddington, Bence P. Ölveczky, Stephen A. Baccus

机构 * Stanford University（斯坦福大学） ； Harvard University（哈佛大学） ； Stanford University School of Medicine（斯坦福大学医学院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.AI

AI总结 该研究针对低成本四足硬件的仿真-现实差距，采用生物启发方法，结合延迟前向模型与时间感知神经网络，学习到鲁棒CPG，实现了成本受限硬件上的强化学习控制。

Comments Sim-to-real transfer, locomotion, reinforcement learning, central pattern generator

What Matters for Simulation to Online Reinforcement Learning on Real Robots

在真实机器人上在线强化学习中什么至关重要

Yarden As, Dhruva Tirumala, René Zurbrügg, Chenhao Li, Stelian Coros, Andreas Krause, Markus Wulfmeier

机构 * ETH Zurich（苏黎世联邦理工学院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.AI

AI总结 本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。

Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States

关系隐藏状态强化学习中作为涌现行为的规划

Armin Sommer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI、cs.LG

AI总结 研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

强化学习智能体中类似障碍表型的跨诊断空间

Hari Prasad

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI、cs.LG

AI总结 研究在强化学习智能体中建模心理障碍，将其重新表述为对认知评估信号的剂量可控操纵，通过多个旋钮表示多种障碍，呈现分级剂量反应，还发现障碍自组织成二维空间、旋钮对不同障碍有不同影响及旋钮相互作用可预测共病等，且框架具有通用性。

Comments 15 pages, 8 figures, 6 tables

TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning

TRIAGE：面向智能体强化学习的角色类型化信用分配

Yuanda Xu, Zhengze Zhou, Hejian Sang, Xiaomin Li, Jiaxin Zhang, Xinchen Du, Sen Na, Zhipeng Wang, Alborz Geramifard

机构 * LinkedIn Corporation（领英公司） ； Harvard University（哈佛大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 提出TRIAGE框架，通过角色类型化信用分配修正GRPO仅依赖结果信用的盲点，在ALFWorld等任务中提升成功率并减少交互步数。

A Systematic Investigation of RL-Jailbreaking in LLMs

LLMs中RL越狱的系统性研究

Montaser Mohammedalamen, Kevin Roice, Reginald McLean, Alyssa Lefaivre Škopac

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次系统分解RL越狱框架，通过分析奖励函数、动作空间、回合长度等环境形式化因素和算法措施，发现密集奖励和延长回合长度是越狱成功的主要驱动因素，并提供了提升RL越狱效率及强化模型防御的工具。

Comments Warning: This paper may contain unfiltered and potentially offensive jailbreaking examples. Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

An offline approach to fNIRS-guided reinforcement learning for robot behavior

一种用于机器人行为的基于fNIRS引导的强化学习的离线方法

Julia Santaniello, Madelaine Brower, Benson Jiang, Donatello Sassaroli, Robert Jacob, Jivko Sinapov

专题命中 模仿学习与强化学习 ：robot learning(abstract)；分类 cs.RO、cs.AI

AI总结 研究利用fNIRS脑信号调节机器人模拟学习的可行性，比较不同交互任务训练的智能体，测试多种增强强化学习算法的方法，发现该框架能有效利用神经信号增强学习，还可离线学习，为特定场景提供替代方案。

Comments Preliminary results

SKooP: Symmetric Koopman Predictions for Faster and More Generalizable Legged Robot Locomotion with Reinforcement Learning

SKooP：用于强化学习的更快、更通用的有腿机器人运动的对称库普曼预测

Evelyn D'Elia, Weishu Zhan, Giulio Turrisi, Giulio Romualdi, Giuseppe L'Erario, Raffaello Camoriano, Wei Pan, Daniele Pucci

机构 * Italian Institute of Technology (IIT)（意大利理工学院） ； University of Manchester（曼彻斯特大学） ； Dynamic Legged Systems Laboratory, IIT（意大利理工学院动态腿式系统实验室） ； Generative Bionics S.R.L（生成仿生学有限公司） ； DAUIN, Politecnico di Torino（都灵理工大学DAUIN） ； Rehab Technologies Lab, IIT（意大利理工学院康复技术实验室） ； Newcastle University（纽卡斯尔大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 研究针对强化学习样本效率低问题展开，提出SKooP方法，结合形态对称与库普曼模型优势，在学习策略时学习系统动力学模型，将其预测用于评论家，还纳入群对称，验证了该方法能减少收敛时间并增加学习奖励，且策略可转移。

Comments This paper has been accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Pittsburgh, USA, 2026

Directional Constraints for Efficient Exploration in Safe Reinforcement Learning

安全强化学习中高效探索的方向约束

Paolo Magliano, Puze Liu, Jan Peters, Davide Tateo, Raffaello Camoriano

机构 * Dipartimento di Automatica e Informatica, Politecnico di Torino（自动控制与信息工程系，都灵理工大学） ； Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems（同济大学，上海智能自主系统研究院） ； German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）） ； Intelligent Autonomous Systems Group, TU Darmstadt（智能自主系统组，达姆施塔特工业大学） ； Lund University（隆德大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 针对安全强化学习中约束学习降低速度和性能的问题，提出扩展ATACOM框架的ATACOM-DC方法，通过引入方向约束区分动作，改善安全与性能权衡，在模拟机器人控制任务中评估，分析约束违反成本和任务性能。

Comments This paper has been accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Pittsburgh, USA, 2026. 8 pages, 8 figures

Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning

简单配方有效：视觉-语言-动作模型通过强化学习成为自然持续学习者

Jiaheng Hu, Jay Shim, Chen Tang, Yoonchang Sung, Bo Liu, Peter Stone, Roberto Martin-Martin

机构 * University of Southern California（南加州大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.RO、cs.LG

AI总结 本文通过系统研究发现，对于大型预训练视觉-语言-动作模型，简单的顺序微调结合低秩适配在持续强化学习中表现出高可塑性、几乎无遗忘和强零样本泛化，优于复杂方法。

Comments Accepted at RLC 2026; Best paper award at ICRA26 RL4IL Workshop

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies

安全流Q学习：基于可达性的安全离线强化学习流策略

Mumuksh Tayal, Manan Tayal, Ravi Prakash

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。

Comments 21 pages, 6 figures, 3 tables; First 2 authors have contributed equally; Paper accepted at Reinforcement Learning Conference (RLC) 2026

Safe Reinforcement Learning using Ideas from Model Predictive Control

利用模型预测控制思想的安全强化学习

Georg Schäfer, Jakob Rehrl, Stefan Huber, Simon Hirlaender

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.LG

AI总结 针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。

Comments Accepted at Eurocast 2026

Latent Policy Steering through One-Step Flow Policies

通过一步流策略实现潜在策略引导

Hokyun Im, Andrey Kolobov, Jianlong Fu, Youngwoon Lee

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Microsoft Research（微软研究院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出Latent Policy Steering (LPS)，通过一步流策略实现高保真的潜在策略改进，解决了离线强化学习中回报最大化与行为约束之间的权衡问题，实现了无需复杂超参数调整的鲁棒性能。

Comments Accepted to RSS 2026, Project Webpage : https://jellyho.github.io/LPS/