机器人 / 具身智能

A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

一种带有触觉反馈的视觉-触觉数据采集系统用于粗到细模仿学习

Yeseung Kim, Nayoung Oh, Jun Park, Teetat Thamronglak, Daehyung Park

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 本文提出一种视觉-触觉数据采集系统，生成时间结构丰富的接触密集演示，用于模仿学习。通过直接驱动夹具和触觉阵列，保留自然触觉反馈，结合实时注释，生成多模态数据集以支持粗到细学习算法。

Supervised Reward Inference

监督奖励推理

Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 研究人类通过多样行为表明目标时的奖励推理问题，提出监督奖励推理（SRI）方法，证明其理论上渐近贝叶斯最优，实证上在相关基准和机器人任务中表现出色，还展示了框架对动作和目标预测的通用性。

Comments 35 pages, 8 figures. Updated with public code link

Hierarchical Reinforcement Learning for Air Combat at DARPA's AlphaDogfight Trials

在DARPA的AlphaDogfight试验中用于空战的分层强化学习

Adrian P. Pope, Jaime S. Ide, Daria Micovic, Henry Diaz, David Rosenbluth, Lee Ritholtz, Jason C. Twedt, Thayne T. Walker, Kevin Alcedo, Daniel Javorsek

机构 * Primordial Labs ； Lockheed Martin Artificial Intelligence Center, Applied AI Team（洛克希德·马丁人工智能中心，应用人工智能团队） ； United States Air Force（美国空军） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 针对高维连续控制难题，在DARPA的AlphaDogfight试验中，采用由高级策略选择器和低级策略组成的分层深度强化学习方法，整合专家知识训练，超越人类专家飞行员，获ADT锦标赛第二名。

Comments 15 pages (main text) + 4 pages (supplementary material), 13 figures. This work has been accepted for publication in IEEE Transactions on Artificial Intelligence (IEEE-TAI). This replaces the previous conference-version presented at the 2021 International Conference on Unmanned Aircraft System (ICUAS 21), June 15-18, 2021, Athens, Greece

Journal ref IEEE Transactions on Artificial Intelligence (IEEE-TAI), vol. 4, no. 6, pp. 1371-1385, 2023

SafeOR-Gym: A Benchmark Suite for Safe Reinforcement Learning Algorithms on Practical Operations Research Problems

SafeOR-Gym：用于实际运筹学问题的安全强化学习算法的基准套件

Asha Ramanujam, Adam Elyoumi, Hao Chen, Sai Madhukiran Kompalli, Akshdeep Singh Ahluwalia, Shraman Pal, Dimitri J. Papageorgiou, Can Li

机构 * Davidson School of Chemical Engineering, Purdue University（普渡大学化学工程学院） ； Energy Sciences, ExxonMobil Technology and Engineering Company（埃克森美孚技术与工程公司能源科学部） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 针对现有安全强化学习基准与高风险领域相关性有限的问题，提出SafeOR-Gym基准套件，含九个运筹学环境，集成CMDP接口，评估多种算法，揭示性能差异，为安全强化学习研究提供实用测试平台。

Calculating Mutual Information between a Reward Maximizer and its Environment

信息论视角下最优奖励最大化世界模型的分析

Alfred Harwood, Jose Faustino, Alex Altair

机构 * Dovetail Research（Dovetail研究公司） ； University of Sao Paulo（圣保罗大学） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI

AI总结 本文从信息论角度分析了最优奖励最大化中世界模型的信息量，证明最优策略对环境的信息量为n log m比特，并适用于多种奖励最大化目标。

Autocorrelation effects in a stochastic-process model for solving two-armed bandit problems

在基于时间序列的决策模型中自相关效应的影响

Tomoki Yamagami, Mikio Hasegawa, Takatomo Mihana, Ryoichi Horisaki, Atsushi Uchida

机构 * Department of Information and Computer Sciences, Saitama University（Saitama大学信息与计算机科学系） ； Department of Electrical Engineering, Tokyo University of Science（东京科学大学电气工程系） ； Department of Information Physics and Computing, The University of Tokyo（东京大学信息物理与计算系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 本研究通过分析基于时间序列的决策模型，揭示了自相关性质在多臂老虎机问题中的影响，发现环境依赖性及自相关对决策性能的关键作用。

Comments 21 pages, 8 figures

CoRL-MPPI: Enhancing MPPI With Learnable Behaviours For Efficient And Provably-Safe Multi-Robot Collision Avoidance

CoRL-MPPI: 通过可学习行为增强MPPI以实现高效且可证明安全的多机器人避障

Stepan Dergachev, Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik, Konstantin Yakovlev

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 CoRL-MPPI通过结合协同强化学习与MPPI，提升多机器人避障的效率与安全性。

Comments Comments: 8 pages, 6 figures. Substantially revised version. The manuscript, algorithm description, and figures have been extensively updated. The experimental evaluation has been redesigned with new scenarios, ablation study and an additional car-like motion model

Reinforcement Learning in the Real World: A Survey of Statistical Challenges and Future Directions

现实世界中的强化学习：统计挑战与未来方向综述

Asim H. Gazi, Yongyi Guo, Daiqi Gao, Ziping Xu, Kelly W. Zhang, Susan A. Murphy

机构 * Department of Computer Science, Harvard University（哈佛大学计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） ； Department of Statistics, Harvard University（哈佛大学统计学系） ； School of Data Science and Society, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校数据科学与社会学院） ； Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 本文综述现实世界强化学习应用，指出其研究与部署存在差距及两大挑战。将应用框架化为三部分过程，回顾应对统计挑战的进展，涵盖在线、离线方法及持续改进设计，还概述受应用启发的未来研究方向。

Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty

李普希茨正则化评论家导致策略对转移动态不确定性具有鲁棒性

Xulin Chen, Ruipeng Liu, Zhenyu Gan, Garrett E. Katz

机构 * College of Engineering & Computer Science, Syracuse University（工程与计算机科学学院，苏利文大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.LG

AI总结 研究针对强化学习中转移动态不确定性致策略性能下降问题，提出基于近端策略优化的PPO-PGDLC算法，集成投影梯度下降与李普希茨正则化评论家，实验表明该算法在环境扰动下性能更好且动作更平滑。

Journal ref Vol. 39 No. 1 (2026): Proceedings of FLAIRS-39

Joint Energy Management and Coordinated AIGC Workload Scheduling for Distributed Data Centers: A Diffusion-Aided Reward Shaping Approach

分布式数据中心的联合能源管理与协同AIGC工作负载调度：一种扩散辅助奖励塑造方法

Yang Fu, Peng Qin, Liming Chen, Zihao Zhang, Hao Yu, Yifei Wang

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.LG

AI总结 针对AIGC在数据中心带来的能源管理与工作负载调度挑战，提出联合调度框架，考虑多种能源资源，制定系统效用最大化问题。因奖励稀疏限制DRL算法，开发扩散模型辅助奖励塑造方法，实验表明该方案能有效适应波动和异质性，实现高效学习收敛和系统效用。

Active Sensing with Meta-Reinforcement Learning for Emitter Localization from RF Observations

基于元强化学习的主动感知用于从射频观测定位发射源

M. Shamail J. Khan, Nisha L. Raichur, Lucas Heublein, Christian Wielenberg, Alexander Mattick, Tobias Feigl, Christopher Mutschler, Felix Ott

机构 * Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所） ； Positioning Systems Lab, University of Technology Nürnberg (UTN)（定位系统实验室，图恩大学） ； Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt（人工智能中心，应用技术大学魏玛-施魏尔堡） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 本文提出利用元强化学习框架，通过序列探索环境，从射频观测中定位发射源，解决GNSS干扰下的定位问题，实验显示80.1%的成功率。

Comments 6 pages, 9 figures

A Graph-Based Reinforcement Learning Approach with Frontier Potential Based Reward for Safe Cluttered Environment Exploration

一种基于前沿势奖励的基于图的强化学习方法用于安全杂乱环境探索

Gabriele Calzolari, Vidya Sumathy, Christoforos Kanellakis, George Nikolakopoulos

机构 * Department of Computer Science, Electrical and Space Engineering, Luleå University of Technology（计算机科学、电气与航天工程系，吕勒奥技术大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 提出结合图神经网络探索贪心策略与安全护盾的方法，用近端策略优化算法训练网络，最大化探索效率并减少护盾干预，还提出奖励函数，能在杂乱环境高效安全探索。

Comments 6 pages, 4 figures, accepted at the 24th European Control Conference (ECC)

Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs

强化学习改善LLM中参数化知识的遍历

Renfei Zhang, Manasa Kaniselvan, Rylan Schaeffer abd Niloofar Mireshghallah

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MIT（麻省理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 本文发现强化学习提升LLM知识回忆能力，原因在于改进了模型对参数化知识层次结构的遍历技能，而非获取新知识。

Comments `

Self-Curriculum Model-based Reinforcement Learning for Shape Control of Deformable Linear Objects

基于自课程模型的可变形线性物体形状控制强化学习

Zhaowei Liang, Song Wang, Zhao Jin, Shirui Wu, Dan Wu

机构 * Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 提出两阶段框架，结合基于模型强化学习与在线视觉伺服，通过自课程目标生成机制实现可变形线性物体高效精确的形状控制，在仿真和真实任务中优于主流方法。

Comments Accepted to IROS 2026

GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents

GrowthHacker: 使用代码修改型LLM代理的自动离线策略评估优化

Jie JW Wu, Ayanda Patrick Herlihy, Ahmad Saleem Mirza, Ali Afoud, Fatemeh Fard

机构 * Michigan Technological University, Houghton（密歇根技术大学） ； Birmingham City University（伯明翰城市大学） ； University of British Columbia, Kelowna（不列颠哥伦比亚大学, 肯洛纳） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 提出GrowthHacker基准，利用LLM代理自动迭代修改代码以优化离线策略评估（OPE）实现，在Open Bandit Pipeline和Scope-RL上评估多种框架，证明基于LLM的代理可作为自动增长黑客持续改进OPE系统。

Comments Accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2026

Physical Imitation Learning: Distilling Control Policies into Passive Elasticity

物理模仿学习：将控制策略蒸馏到被动弹性中

Huyue Ma, Yurui Jin, Helmut Hauser, Rui Wu

机构 * School of Engineering Mathematics and Technology, University of Bristol, and the Bristol Robotics Laboratory（布里斯托大学工程数学与技术学院及布里斯托机器人实验室） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO

AI总结 提出物理模仿学习(PIL)方法，将强化学习控制策略分解为主动与被动部分，被动部分卸载到并联弹性关节，显著降低能耗，在模拟四足机器人上实现高达95%的机械功率卸载。

FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies

FlowRL：基于扩散策略的强化学习分类与模块化框架

Chenxiao Gao, Edward Chen, Tianyi Chen, Bo Dai

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 提出扩散/流策略强化学习算法的统一分类法，构建模块化JAX框架，在多个基准上提供系统比较，为算法设计与应用提供指导。

Comments accepted by RLC 2026

Offline Diffusion Policy for Multi-User Delay-Constrained Scheduling

面向多用户延迟约束调度的离线扩散策略

Zhuoran Li, Ruishuo Chen, Hai Zhong, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（交叉信息学院（IIIS），清华大学） 纠错

专题命中 模仿学习与强化学习 ：embodied AI(abstract)；分类 cs.AI

AI总结 提出基于离线强化学习的SOCD算法，利用扩散策略和批评网络指导，从离线数据中学习高效调度策略，避免在线交互，在部分可观测和大规模环境中表现优异。

A Human-Sensitive Controller: Adapting to Human Musculoskeletal Disorder-Related Constraints via Reinforcement Learning

一种人类敏感控制器：通过强化学习适应人类肌肉骨骼疾病相关约束

Vitor Martins, Sara M. Cerqueira, Mercedes Balcells, Elazer R Edelman, Cristina P. Santos

机构 * Fundação para a Ciência e Tecnologia（葡萄牙科学与技术基金会） ； Centro de Microssistemas Eletromecânicos da Universidade do Minho（University of Minho微机电系统中心） ； Massachusetts Institute of Technology（麻省理工学院） ； Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布莱尔妇女医院） ； GEVAB, IQS School of Engineering（GEVAB，IQS工程学院） ； LABBELS-Associate Laboratory, University of Minho（University of Minho关联实验室） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 提出基于强化学习的人类敏感机器人控制策略，使用Q学习和深度Q网络优化协作机器人的人机工效，在保持零疼痛风险下平均缩短38%任务完成时间。

GraphWalker: Agentic Knowledge Graph Question Answering via Synthetic Trajectory Curriculum

GraphWalker: 通过合成轨迹课程实现基于知识图谱的代理问答

Shuwen Xu, Yao Xu, Jiaxiang Liu, Chenhao Yuan, Wenshuo Peng, Jun Zhao, Kang Liu

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)

AI总结 GraphWalker通过自动化轨迹合成和分阶段微调解决知识图谱问答中的探索与泛化问题，提升轻量强化学习性能，在CWQ和WebQSP上取得最优效果。

Comments COLM 2026

AegisTS: An Agent-Driven Hierarchical Reinforcement Learning System for Multivariate Time Series Data Cleaning

AegisTS: 一种基于强化学习的层次化智能体系统用于多变量时间序列数据清洗

Yuhan Shi, Yuanyuan Yao, Lu Chen, Mourad Khayati, Yushuai Li, Tianyi Li

专题命中 模仿学习与强化学习 ：navigation(abstract)

AI总结 针对多变量时间序列中同时存在的多种质量问题，提出基于强化学习的层次化智能体系统AegisTS，通过联合优化问题处理顺序和清洗模型选择，实现无需真值的高效数据清洗。

Deep Reinforcement Learning for Adaptive Gain Tuning in Control of Teleoperation Manipulators with Joint Flexibility and Time-Varying Delays

具有关节灵活性和时变延迟的遥操作机器人控制中自适应增益调整的深度强化学习

Armin Attarzadeh, Mohammad Ali Ghaemifar, Alireza Khanzadeh, Soheil Ganjefar

专题命中 模仿学习与强化学习 ：robotic(abstract)

AI总结 针对含有关节灵活性和时变延迟的遥操作机器人控制问题，提出结合稳定P+d控制器与基于TD3算法的深度强化学习智能体的混合控制方法，可实时调整增益减少振动，为相关遥操作系统提供实用方案。

Comments 7 pages, 6 figures. Source code available at: https://github.com/ArminAttarzadeh/DRL-Controller-Gain-Tuner

Homing through Reinforcement Learning

通过强化学习实现归巢

Riya Singh, Pratikshya Jena, Anish Kumar, Shradha Mishra

专题命中 模仿学习与强化学习 ：navigation(abstract)

AI总结 提出强化学习框架模拟连续二维域中的自适应归巢，发现平均归巢时间随旋转扩散强度呈非单调变化，且RL智能体比主动布朗粒子更快、更定向。

From Guessing to Placeholding: A Cost-Theoretic Framework for Uncertainty-Aware Code Completion

从猜测到占位：一种基于代价理论的不确定性感知代码补全框架

Liang Zhu, Haolin Chen, Lidong Zhao, Xian Wu

机构 * Tencent, Shenzhen, China（腾讯深圳公司） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)

AI总结 针对硬补全范式在不确定上下文中生成错误代码的问题，提出自适应占位补全框架，在高熵位置输出占位符，理论证明其期望代价低于硬补全，实验显示编辑代价降低19%-50%。

From Denoising to Decision Making: A Survey on Diffusion Model-Enabled Deep Reinforcement Learning for Wireless Networks

从去噪到决策：面向无线网络的扩散模型赋能深度强化学习综述

Nguyen Cong Luong, Zeping Sui, Jie Cao, Min Xu, Nguyen Duc Hai, Zhihao Dong, Nguyen Duc Duy Anh, Qiushi Zhao, Nguyen Quoc Khanh, Zhe Fu, Shaohan Feng, Bo Ma

专题命中 模仿学习与强化学习 ：robotics(abstract)

AI总结 本文综述了扩散模型与深度强化学习结合的方法，通过捕捉无线资源管理中的复杂多模态动作结构，提升决策质量，并系统总结了其在移动边缘计算、无人机辅助、车联网、AIGC驱动系统、无线资源分配、物理层安全及机器人/无人机规划等领域的应用。

Comments 22 pages, 7 figures, Author list corrected