机器人 / 具身智能

Inference Time Policy Optimization for Offline RL with Differentiable World Models

基于可微世界模型的离线强化学习推理时间策略优化

Rohan Deb, Stephen J. Wright, Arindam Banerjee

机构 * Siebel School of Computing and Data Science（计算与数据科学学院） ； Department of Computer Sciences（计算机科学系） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Wisconsin Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 模仿学习与强化学习 ：world model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种在推理时间利用可微世界模型优化策略参数的方法，通过端到端的梯度计算提升离线强化学习的性能，同时探讨了推理时间适应的计算开销与收益的权衡。

ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

ARC-RL: 一种受ARC Raiders启发的强化学习游乐场

Carlo Romeo, Andrew D. Bagdanov

机构 * Media Integration and Communication Center – University of Florence（媒体整合与通信中心——佛罗伦萨大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出ARC-RL，一个包含四种MuJoCo连续控制环境的强化学习游乐场，这些环境的机器人形态灵感来自ARC Raiders的生物目录，通过统一的观察模板、动作约定和奖励函数，研究不同形态和动画风格约束下的强化学习算法性能。

roto 2.0: The Robot Tactile Olympiad

roto 2.0：机器人触觉奥林匹克

Elle Miller, Jayaram Reddy, Ayush Deshmukh, Trevor McInroe, David Abel, Oisin Mac Aodha, Sethu Vijayakumar

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.LG

AI总结 本文提出roto 2.0，一个基于触觉的强化学习基准，旨在通过四种不同的机器人形态（16-DOF到24-DOF）标准化触觉强化学习，专注于端到端的'盲'操作，仅使用本体感觉和触觉传感，不使用状态信息或蒸馏。研究展示了显著的性能提升，盲控代理在10秒内完成13次保定球旋转，比当前最先进的速度快了一个数量级。通过开源环境和经过充分调优的基线，降低了进入门槛，使研究人员能够优先考虑基本算法挑战而非繁琐的强化学习调优。

Comments Accepted to 7th ViTac Workshop, ICRA 2026

Domain-Adaptable Reinforcement Learning for Code Generation with Dense Rewards

用于密集奖励的领域可适应强化学习代码生成

Erfan Aghadavoodi Jolfaei, Daniel Maninger, Abhinav Anand, Mert Tiftikci, Mira Mezini

机构 * Hessian Center for Artificial Intelligence (hessian.AI)（海斯曼人工智能中心） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；robotic(abstract)；分类 cs.LG

AI总结 本研究提出了一种领域可适应的强化学习框架，用于改进代码生成的正确性、质量和安全性，通过定制化的执行感知奖励公式和令牌级奖励映射机制，提高了代码生成在不同领域中的适应性和执行效率。

Comments 10 pages, 2 figures, under review

TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

TimeRewarder: 通过帧间时间距离从被动视频中学习密集奖励

Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出TimeRewarder方法，通过帧间时间距离从被动视频中学习密集奖励，以提升强化学习在稀疏奖励任务中的性能，实验表明其在多个任务中显著提高了成功率和样本效率。

Comments ICML 2026 spotlight paper

Tutor-Student Reinforcement Learning: A Dynamic Curriculum for Robust Deepfake Detection

tutor-student 强化学习：一种动态课程以实现鲁棒的深度伪造检测

Zhanhe Lei, Zhongyuan Wang, Jikang Cheng, Baojin Huang, Yuhong Yang, Zhen Han, Chao Liang, Dengpan Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Integrated Circuits, Peking University（北京大学集成电路学院） ； School of Information, Huazhong Agricultural University（华中农业大学信息学院） ； Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学先进技术网络研究院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种 tutor-student 强化学习框架，通过动态优化训练课程来提高深度伪造检测的鲁棒性和泛化能力。

Comments Accepted to CVPR 2026

Journal ref The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR 2026)

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ: 通过自监督动作排名实现离线到在线强化学习

Andrew Choi, Wei Xu

机构 * Horizon Robotics（地平线机器人） 纠错

专题命中 模仿学习与强化学习 ：robot learning(abstract)；分类 cs.RO、cs.AI

AI总结 该研究提出RankQ方法，通过自监督多项排名损失增强时序差分学习，以在大状态-动作空间中更准确地学习批评器，从而在稀疏奖励D4RL基准和基于视觉的机器人学习中实现更高效的离线到在线微调。

Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model

Affordance-R1: 为多模态大语言模型中的通用化 affordance 推理设计的强化学习

Hanqing Wang, Shaoyang Wang, Yiming Zhong, Zemin Yang, Jiamin Wang, Zhiqing Cui, Jiahao Yuan, Yifan Han, Mingyu Liu, Yuexin Ma

机构 * The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； ShanghaiTech University（上海科技大学） ； East China Normal University（华东师范大学） ； Nanjing University of Information Science & Technology（南京信息工程大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出 Affordance-R1，一种结合认知 CoT 引导的 Group Relative Policy Optimization (GRPO) 的统一 affordance 地标框架，通过强化学习实现零样本泛化和测试时推理能力。

Mem-$π$: Adaptive Memory through Learning When and What to Generate

Mem-$π$: 通过学习何时以及生成什么来实现自适应记忆

Xiaoqiang Wang, Chao Wang, Hadi Nekoei, Christopher Pal, Alexandre Lacoste, Spandana Gella, Bang Liu, Perouz Taslakian

机构 * ServiceNow AI Research（ServiceNow AI研究院） ； Mila -- Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 Mem-$π$ 通过学习在何时以及生成什么来实现自适应记忆，利用专门的语言或视觉-语言模型生成上下文特定的指导，从而在多种代理任务中优于基于检索和先前RL优化的记忆基线。

Comments Work in progress

How to Utilize Failure Demo Data?: Effective Data Selection for Imitation Learning Using Distribution Differences in Attention Mechanism

如何利用失败演示数据？：利用注意力机制中的分布差异进行有效的模仿学习数据选择

Kana Miyamoto, Kanata Suzuki, Tetsuya Ogata

机构 * Faculty of Science and Engineering, Waseda University, Tokyo, Japan（科学与工程学部，早稻田大学，东京，日本） ； Physical AI Laboratory, Fujitsu Limited, Kanagawa, Japan（物理人工智能实验室， Fujitsu 有限，神奈川，日本） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 本文提出了一种利用注意力机制中的分布差异来有效选择模仿学习数据的方法，通过学习成功-失败差异的潜在表示，提高行动稳定性，并引入一个后训练度量来选择有益于学习的失败样本。

Comments 15 pages, 6 figures, 2 tables

Reinforcement Learning for Risk Adaptation via Differentiable CVaR Barrier Functions

通过可微分CVaR障碍函数实现风险适应的强化学习

Xinyi Wang, Taekyung Kim, Bardh Hoxha, Georgios Fainekos, Dimitra Panagou

机构 * Department of Robotics（机器人学系） ； Department of Aerospace Engineering（航空航天工程系） ； University of Michigan（密歇根大学） ； Toyota Motor North America, Research & Development（丰田美国北美洲研发） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 本文提出了一种端到端的风险适应框架，用于在障碍物运动不确定性的环境下进行人群导航，结合强化学习与基于条件价值-at-风险（CVaR）障碍函数的可微分二次规划安全层，共同学习名义控制输入、风险水平和安全边际，并强制执行显式的概率安全约束。

Comments Project page: https://anonymousrobotics9666.github.io/rlcvarbf/

Compositional Transduction with Latent Analogies for Offline Goal-Conditioned Reinforcement Learning

基于潜在类比的组合转导用于离线目标条件强化学习

Junseok Kim, Dohyeong Kim, Mineui Hong, Songhwai Oh

机构 * Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气与计算机工程系和首尔国立大学ASRI） ； Independent researcher（独立研究者） ； Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.LG

AI总结 本文提出了一种基于潜在类比的组合转导方法，用于解决离线目标条件强化学习中面对新情境时的目标泛化问题，通过引入新的类比表示方法，提升了在不同情境下的目标达到能力。

Comments ICML 2026