机器人 / 具身智能

Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions

局部引导，全局影响：高斯重塑信任区域解锁行为转变

Bingxu Liu, Jiashun Liu, Johan Obando-Ceron, Hao Wang, Runze Liu, Pablo Samuel Castro, Aaron Courville, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Mila - Québec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI、cs.LG

AI总结 针对PPO在非平稳环境中优化失效的问题，提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域实现非单调约束，在保持局部稳定性的同时允许必要的大幅策略更新，并在多种任务中取得强性能。

Comments 21 pages

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

ViVa：用于机器人强化学习的视频生成价值模型

Jindi Lv, Hao Li, Jie Li, Fankun Kong, Yang Wang, Pengfei Yi, Yifei Nie, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

机构 * GigaAI ； Sichuan University（四川大学） ； Tsinghua University（清华大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 提出ViVa，利用预训练视频生成器联合预测未来本体感受和标量价值，通过时空先验实现可靠价值估计，在三个任务中取得最优结果，与RECAP结合平均成功率达80%。

Reflex First, Reflect Later: Latency-Aware Embodied LLM Agents for Dynamic Response

先反射，后反思：面向动态响应的延迟感知具身大语言模型智能体

Yangqing Zheng, Shunqi Mao, Dingxin Zhang, Weidong Cai

机构 * School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.AI；embodied AI(comments)

AI总结 该研究针对动态环境中具身LLM智能体的推理延迟问题，提出RRARA智能体及相关评估指标，通过时间转换机制与预规划器实现决策质量与响应能力的平衡。

Comments Accepted by the CVPR 2025 Embodied AI Workshop

HiCrowd: Hierarchical Crowd Flow Alignment for Dense Human Environments

HiCrowd：密集人群环境中的分层人群流对齐

Yufei Zhu, Shih-Min Yang, Martin Magnusson, Allan Wang

机构 * Robot Navigation and Perception Lab, AASS Research Center, Örebro University, Sweden（奥雷布罗大学机器人导航与感知实验室，AASS研究中心，瑞典） ； Miraikan – The National Museum of Emerging Science and Innovation, Japan（日本新兴科学与创新国家博物馆——Miraikan） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO；robotics(comments)

AI总结 提出HiCrowd分层框架，结合强化学习与模型预测控制，通过跟随人群流解决机器人冻结问题，在真实和合成数据集上提升导航效率与安全性。

Comments 2026 IEEE International Conference on Robotics and Automation (ICRA)

Reward Evolution with Graph-of-Thoughts: A Bi-Level Language Model Framework for Reinforcement Learning

基于思维图的奖励进化：一种用于强化学习的双层语言模型框架

Changwei Yao, Xinzi Liu, Chen Li, Marios Savvides

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Tokyo（东京大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO；robotics(journal_ref)

AI总结 本文提出RE-GoT框架，结合LLM与VLM的图思维推理，通过任务分解和视觉反馈迭代优化奖励函数，实验表明在RoboGen和ManiSkill2任务中均优于现有方法。

Journal ref IEEE International Conference on Robotics and Automation (ICRA 2026)

SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards

空间思考者：通过密集奖励强化场景图基础的空间推理

Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

机构 * University of Oxford（牛津大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 模仿学习与强化学习 ：分类 cs.AI、cs.CV、cs.LG；embodied AI(comments)；world model(comments)

AI总结 研究针对多模态大语言模型空间推理难题，提出SpatialThinker，通过在线强化学习统一场景图生成与视觉推理，构建心理场景图并借助密集奖励推理，贡献包括基于SGG推理、高质量训练数据集及密集奖励设计。

Comments Preprint. Accepted at NeurIPS 2025 Workshops on SPACE in Vision, Language, and Embodied AI (SpaVLE) as Oral, Embodied World Models for Decision Making (EWM), Aligning Reinforcement Learning Experimentalists and Theorists (ARLET), and Scaling Environments for Agents (SEA)

Solving nonconvex Hamilton--Jacobi--Isaacs equations with PINN-based policy iteration

用基于PINN的策略迭代求解非凸哈密顿-雅可比-艾萨克斯方程

Hee Jun Yang, Minjung Gim, Yeoneung Kim

机构 * National Institute for Mathematical Sciences（数学科学研究院） ； Department of Applied Artificial Intelligence（应用人工智能系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.AI

AI总结 本文提出结合PINN与策略迭代的无网格框架，可求解高维非凸HJI方程，在两类数值实验中表现优于直接PINN求解器，具理论依据与应用潜力。

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

iARCS：用于可控3D场景生成的迭代智能体强化学习

Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

机构 * Tribhuvan University（特里布文大学） ； Pulchowk Campus, IOE, Tribhuvan University（特里布文大学工程学院普尔乔克校区） ； NAAMII（尼泊尔先进数学与信息学研究所） ； INSAIT, Sofia University “St. Kliment Ohridski”（索菲亚大学圣克莱门特奥赫里德斯基分校INSAIT） 纠错

专题命中 模仿学习与强化学习 ：embodied AI(abstract)；分类 cs.AI

AI总结 研究针对现有3D场景生成器无法满足任务约束的问题，提出iARCS迭代智能体强化学习框架，通过两阶段策略优化约束保真度，生成的数据可改进基础生成器，具实用价值。

Comments 15 pages, 9 figures, 4 tables. Includes appendix

SEAR: Sample Efficient Action Chunking Reinforcement Learning

SEAR：样本高效的动作分块强化学习

C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

机构 * Autonomous Learning Robots, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自主学习机器人实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.LG

AI总结 SEAR 是一种样本高效的在线强化学习算法，通过利用动作分块的时间结构和滚动时间 horizon，有效结合小和大分块大小的优势，在 Metaworld 上优于现有方法。

Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies

拉格朗日扰动扩散引导：用于生成策略的潜在强化学习

Hikmet Simsir, Ozgur S. Oguz

机构 * University of Michigan（密歇根大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.LG

AI总结 提出拉格朗日扰动扩散引导（LP-DS），通过学习紧凑的噪声空间扰动来微调冻结的生成策略，利用拉格朗日信任区域目标优化，在保持潜在先验约束的同时提升下游价值，在多个基准上实现样本效率和回报提升。

Comments Accepted as a regular paper at ICML 2026

From Rebound to Remedy: Understanding and Mitigating Reward Hacking via Representation Engineering

当奖励黑客反弹时：通过表征层面信号理解与缓解它

Rui Wu, Ruixiang Tang

机构 * Rutgers University（罗格斯大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.LG

AI总结 本文研究了大型语言模型强化学习中奖励黑客现象，通过环境操控设置分析其三阶段反弹模式，并提出基于表征工程的Advantage Modification方法以更有效抑制黑客行为。

Distributional Active Inference

分布式主动推断

Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

机构 * University of Southern Denmark（丹麦南部大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.LG

AI总结 本文提出了一种将主动推断整合到分布式强化学习框架中的形式抽象，以提升复杂环境机器人系统最优控制的样本效率。

SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

SpatialCLI：先借助空间工具进行推理，再脱离工具进行推理

Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, Shunian Chen, Caijun Yan, Jianyao Xu, Shunyu Liu, Weijie Fu, Peiliang Li, Xiaozhi Chen, Yuxiang Cai

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.AI

AI总结 本研究提出SpatialCLI框架，通过三个阶段让视觉语言模型先借助专用空间工具推理，再内化感知能力，在MindCube上大幅提升了Qwen3-VL-8B-Instruct的性能，表现优于对比模型。

Adversarial observations in probabilistic State-Space Models for robust Reinforcement Learning

概率状态空间模型中的对抗观测用于鲁棒强化学习

M. Santos-Pascual, D. Ríos Insua

机构 * Inst. Math. Sciences, Spanish Nat. Research Council, Madrid, Spain（西班牙国家研究委员会数学科学研究所，马德里） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 分析线性概率状态空间模型中受似然约束的对抗观测对潜在状态和策略决策的影响，为构建鲁棒强化学习系统提供理论基础，适用于机器人等安全关键领域。

Comments 42 pages, 10 figures, PREPRINT ONGOING: Revised version with additional theoretical results and experiments

Vision-based Goal-Reaching Control for Mobile Robots Using a Hierarchical Learning Framework

基于视觉的目标到达控制的移动机器人Hierarchical Learning框架

Mehdi Heydari Shahna, Pauli Mustalahti, Jouni Mattila

机构 * Faculty of Engineering and Natural Sciences, Tampere University（工程与自然科学学院，塔尔皮莱大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO

AI总结 本文提出一种基于视觉的目标到达控制框架，通过分层学习方法提高移动机器人在复杂地形中的安全性和稳定性。

Compact Task-Aligned Imitation Learning for Laboratory Automation

紧凑的任务对齐模仿学习用于实验室自动化

Kanata Suzuki, Hanon Nakamura, Kana Miyamoto, Tetsuya Ogata

机构 * Spatial Robotics Research Center, Fujitsu Limited.（富士通株式会社空间机器人研究中心） ； Faculty of Science and Engineering, Waseda University（早稻田大学理工学部） ； National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 本文提出了一种紧凑的模仿学习框架，通过小基础模型和扩散变换器专家实现高效实验室自动化，实验显示其在三个任务中的高成功率。

Expert Behavior Prior Reinforcement Learning

专家行为先验强化学习

Gong Gao, Weidong Zhao, Xianhui Liu, Ning Jia

机构 * School of Computer Science, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI

AI总结 研究针对行为先验强化学习依赖静态离线数据集的问题，提出专家行为先验算法，通过Q引导的条件变分自编码器生成专家策略先验，并结合专家策略引导和策略梯度校正模块，提升样本效率与收敛稳定性。

Athena-Brain Technical Report: An Efficient Robot Brain for General Intelligence and Embodied Interaction

雅典娜大脑技术报告：用于通用智能和具身交互的高效机器人大脑

Jialian Li, Junhong Liu, Yuchen Cao, Weiran Guo, Jiaming Song, Xutao Wang, Yi Zhao, Jiangpin Liu, Jie Chen

专题命中 模仿学习与强化学习 ：embodied agent(abstract)；分类 cs.AI

AI总结 研究针对具身智能体对设备端紧凑模型需求，提出雅典娜大脑8B模型，经多阶段训练流程，使其兼具通用与具身交互能力，实验证明该模型在通用和具身评估中有效，能在保持性能同时生成更简洁回复。

A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

一种带有触觉反馈的视觉-触觉数据采集系统用于粗到细模仿学习

Yeseung Kim, Nayoung Oh, Jun Park, Teetat Thamronglak, Daehyung Park

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 本文提出一种视觉-触觉数据采集系统，生成时间结构丰富的接触密集演示，用于模仿学习。通过直接驱动夹具和触觉阵列，保留自然触觉反馈，结合实时注释，生成多模态数据集以支持粗到细学习算法。

Supervised Reward Inference

监督奖励推理

Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 研究人类通过多样行为表明目标时的奖励推理问题，提出监督奖励推理（SRI）方法，证明其理论上渐近贝叶斯最优，实证上在相关基准和机器人任务中表现出色，还展示了框架对动作和目标预测的通用性。

Comments 35 pages, 8 figures. Updated with public code link

Hierarchical Reinforcement Learning for Air Combat at DARPA's AlphaDogfight Trials

在DARPA的AlphaDogfight试验中用于空战的分层强化学习

Adrian P. Pope, Jaime S. Ide, Daria Micovic, Henry Diaz, David Rosenbluth, Lee Ritholtz, Jason C. Twedt, Thayne T. Walker, Kevin Alcedo, Daniel Javorsek

机构 * Primordial Labs ； Lockheed Martin Artificial Intelligence Center, Applied AI Team（洛克希德·马丁人工智能中心，应用人工智能团队） ； United States Air Force（美国空军） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 针对高维连续控制难题，在DARPA的AlphaDogfight试验中，采用由高级策略选择器和低级策略组成的分层深度强化学习方法，整合专家知识训练，超越人类专家飞行员，获ADT锦标赛第二名。

Comments 15 pages (main text) + 4 pages (supplementary material), 13 figures. This work has been accepted for publication in IEEE Transactions on Artificial Intelligence (IEEE-TAI). This replaces the previous conference-version presented at the 2021 International Conference on Unmanned Aircraft System (ICUAS 21), June 15-18, 2021, Athens, Greece

Journal ref IEEE Transactions on Artificial Intelligence (IEEE-TAI), vol. 4, no. 6, pp. 1371-1385, 2023

SafeOR-Gym: A Benchmark Suite for Safe Reinforcement Learning Algorithms on Practical Operations Research Problems

SafeOR-Gym：用于实际运筹学问题的安全强化学习算法的基准套件

Asha Ramanujam, Adam Elyoumi, Hao Chen, Sai Madhukiran Kompalli, Akshdeep Singh Ahluwalia, Shraman Pal, Dimitri J. Papageorgiou, Can Li

机构 * Davidson School of Chemical Engineering, Purdue University（普渡大学化学工程学院） ； Energy Sciences, ExxonMobil Technology and Engineering Company（埃克森美孚技术与工程公司能源科学部） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 针对现有安全强化学习基准与高风险领域相关性有限的问题，提出SafeOR-Gym基准套件，含九个运筹学环境，集成CMDP接口，评估多种算法，揭示性能差异，为安全强化学习研究提供实用测试平台。

Calculating Mutual Information between a Reward Maximizer and its Environment

信息论视角下最优奖励最大化世界模型的分析

Alfred Harwood, Jose Faustino, Alex Altair

机构 * Dovetail Research（Dovetail研究公司） ； University of Sao Paulo（圣保罗大学） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI

AI总结 本文从信息论角度分析了最优奖励最大化中世界模型的信息量，证明最优策略对环境的信息量为n log m比特，并适用于多种奖励最大化目标。

Autocorrelation effects in a stochastic-process model for solving two-armed bandit problems

在基于时间序列的决策模型中自相关效应的影响

Tomoki Yamagami, Mikio Hasegawa, Takatomo Mihana, Ryoichi Horisaki, Atsushi Uchida

机构 * Department of Information and Computer Sciences, Saitama University（Saitama大学信息与计算机科学系） ； Department of Electrical Engineering, Tokyo University of Science（东京科学大学电气工程系） ； Department of Information Physics and Computing, The University of Tokyo（东京大学信息物理与计算系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 本研究通过分析基于时间序列的决策模型，揭示了自相关性质在多臂老虎机问题中的影响，发现环境依赖性及自相关对决策性能的关键作用。

Comments 21 pages, 8 figures

CoRL-MPPI: Enhancing MPPI With Learnable Behaviours For Efficient And Provably-Safe Multi-Robot Collision Avoidance

CoRL-MPPI: 通过可学习行为增强MPPI以实现高效且可证明安全的多机器人避障

Stepan Dergachev, Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik, Konstantin Yakovlev

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 CoRL-MPPI通过结合协同强化学习与MPPI，提升多机器人避障的效率与安全性。

Comments Comments: 8 pages, 6 figures. Substantially revised version. The manuscript, algorithm description, and figures have been extensively updated. The experimental evaluation has been redesigned with new scenarios, ablation study and an additional car-like motion model

Reinforcement Learning in the Real World: A Survey of Statistical Challenges and Future Directions

现实世界中的强化学习：统计挑战与未来方向综述

Asim H. Gazi, Yongyi Guo, Daiqi Gao, Ziping Xu, Kelly W. Zhang, Susan A. Murphy

机构 * Department of Computer Science, Harvard University（哈佛大学计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） ； Department of Statistics, Harvard University（哈佛大学统计学系） ； School of Data Science and Society, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校数据科学与社会学院） ； Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 本文综述现实世界强化学习应用，指出其研究与部署存在差距及两大挑战。将应用框架化为三部分过程，回顾应对统计挑战的进展，涵盖在线、离线方法及持续改进设计，还概述受应用启发的未来研究方向。

Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty

李普希茨正则化评论家导致策略对转移动态不确定性具有鲁棒性

Xulin Chen, Ruipeng Liu, Zhenyu Gan, Garrett E. Katz

机构 * College of Engineering & Computer Science, Syracuse University（工程与计算机科学学院，苏利文大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.LG

AI总结 研究针对强化学习中转移动态不确定性致策略性能下降问题，提出基于近端策略优化的PPO-PGDLC算法，集成投影梯度下降与李普希茨正则化评论家，实验表明该算法在环境扰动下性能更好且动作更平滑。

Journal ref Vol. 39 No. 1 (2026): Proceedings of FLAIRS-39

Joint Energy Management and Coordinated AIGC Workload Scheduling for Distributed Data Centers: A Diffusion-Aided Reward Shaping Approach

分布式数据中心的联合能源管理与协同AIGC工作负载调度：一种扩散辅助奖励塑造方法

Yang Fu, Peng Qin, Liming Chen, Zihao Zhang, Hao Yu, Yifei Wang

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.LG

AI总结 针对AIGC在数据中心带来的能源管理与工作负载调度挑战，提出联合调度框架，考虑多种能源资源，制定系统效用最大化问题。因奖励稀疏限制DRL算法，开发扩散模型辅助奖励塑造方法，实验表明该方案能有效适应波动和异质性，实现高效学习收敛和系统效用。

Active Sensing with Meta-Reinforcement Learning for Emitter Localization from RF Observations

基于元强化学习的主动感知用于从射频观测定位发射源

M. Shamail J. Khan, Nisha L. Raichur, Lucas Heublein, Christian Wielenberg, Alexander Mattick, Tobias Feigl, Christopher Mutschler, Felix Ott

机构 * Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所） ； Positioning Systems Lab, University of Technology Nürnberg (UTN)（定位系统实验室，图恩大学） ； Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt（人工智能中心，应用技术大学魏玛-施魏尔堡） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 本文提出利用元强化学习框架，通过序列探索环境，从射频观测中定位发射源，解决GNSS干扰下的定位问题，实验显示80.1%的成功率。

Comments 6 pages, 9 figures

A Graph-Based Reinforcement Learning Approach with Frontier Potential Based Reward for Safe Cluttered Environment Exploration

一种基于前沿势奖励的基于图的强化学习方法用于安全杂乱环境探索

Gabriele Calzolari, Vidya Sumathy, Christoforos Kanellakis, George Nikolakopoulos

机构 * Department of Computer Science, Electrical and Space Engineering, Luleå University of Technology（计算机科学、电气与航天工程系，吕勒奥技术大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 提出结合图神经网络探索贪心策略与安全护盾的方法，用近端策略优化算法训练网络，最大化探索效率并减少护盾干预，还提出奖励函数，能在杂乱环境高效安全探索。

Comments 6 pages, 4 figures, accepted at the 24th European Control Conference (ECC)