机器人 / 具身智能

DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation

DenseReward：通过失败合成进行密集奖励学习以实现机器人操作

Yu Fang, Wanxi Dong, Jiaqi Liu, Yue Yang, Mingxiao Huo, Yao Mu, Huaxiu Yao, Li Erran Li, Daniel Szafir, Mingyu Ding

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） ； Amazon AWS AI（亚马逊AWS人工智能） 纠错

专题命中 模仿学习与强化学习 ：manipulation(title,abstract)；robotic(title,abstract)；robot learning(abstract)；分类 cs.RO

AI总结 研究针对强化学习中缺乏可靠奖励模型的问题，提出DenseReward模型，通过自动生成失败数据合成逼真轨迹，从视觉和语言预测密集奖励分数，在模拟和现实操作中表现优异，还为下游任务提供指导并发布相关资源。

Comments Website: https://dense-reward.github.io/

Directional Constraints for Efficient Exploration in Safe Reinforcement Learning

安全强化学习中高效探索的方向约束

Paolo Magliano, Puze Liu, Jan Peters, Davide Tateo, Raffaello Camoriano

机构 * Dipartimento di Automatica e Informatica, Politecnico di Torino（自动控制与信息工程系，都灵理工大学） ； Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems（同济大学，上海智能自主系统研究院） ； German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）） ； Intelligent Autonomous Systems Group, TU Darmstadt（智能自主系统组，达姆施塔特工业大学） ； Lund University（隆德大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO、cs.LG

AI总结 针对安全强化学习中约束学习降低速度和性能的问题，提出扩展ATACOM框架的ATACOM-DC方法，通过引入方向约束区分动作，改善安全与性能权衡，在模拟机器人控制任务中评估，分析约束违反成本和任务性能。

Comments This paper has been accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Pittsburgh, USA, 2026. 8 pages, 8 figures

Calculating Mutual Information between a Reward Maximizer and its Environment

信息论视角下最优奖励最大化世界模型的分析

Alfred Harwood, Jose Faustino, Alex Altair

机构 * Dovetail Research（Dovetail研究公司） ； University of Sao Paulo（圣保罗大学） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI

AI总结 本文从信息论角度分析了最优奖励最大化中世界模型的信息量，证明最优策略对环境的信息量为n log m比特，并适用于多种奖励最大化目标。