机器人 / 具身智能

4D Visual Pre-training for Robot Learning

Chengkai Hou, Yanjie Ze, Yankai Fu, Zeyu Gao, Songbo Hu, Yue Yu, Shanghang Zhang, Huazhe Xu

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； Shanghai Qizhi Institute（上海启智研究院） ； CASIA（中国科学院自动化研究所） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；manipulation(abstract)；robotic(abstract)

Point Cloud Matters: Rethinking the Impact of Different Observation Spaces on Robot Learning

Haoyi Zhu, Yating Wang, Di Huang, Weicai Ye, Wanli Ouyang, Tong He

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks

Semantically Controllable Augmentations for Generalizable Robot Learning

Zoey Chen, Zhao Mandi, Homanga Bharadhwaj, Mohit Sharma, Shuran Song, Abhishek Gupta, Vikash Kumar

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Accepted for publication by IJRR. First 3 authors contributed equally. Last 3 authors advised equally

Redundancy-aware Action Spaces for Robot Learning

Pietro Mazzaglia, Nicholas Backshall, Xiao Ma, Stephen James

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Published in the RA-L journal

Composing Pre-Trained Object-Centric Representations for Robotics From "What" and "Where" Foundation Models

Junyao Shi, Jianing Qian, Yecheng Jason Ma, Dinesh Jayaraman

专题命中 机器人学习 ：robotics(title,abstract)；robot learning(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments ICRA 2024. Project website: https://sites.google.com/view/pocr

Robot Learning in the Era of Foundation Models: A Survey

Xuan Xiao, Jiahang Liu, Zhipeng Wang, Yanmin Zhou, Yong Qi, Qian Cheng, Bin He, Shuo Jiang

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；manipulation(abstract)；navigation(abstract)

Scaling Robot Learning with Semantically Imagined Experience

Tianhe Yu, Ted Xiao, Austin Stone, Jonathan Tompson, Anthony Brohan, Su Wang, Jaspiar Singh, Clayton Tan, Dee M, Jodilyn Peralta, Brian Ichter, Karol Hausman, Fei Xia

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

RLBench: The Robot Learning Benchmark & Learning Environment

Stephen James, Zicong Ma, David Rovick Arrojo, Andrew J. Davison

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Videos and code: https://sites.google.com/view/rlbench

RoboNet: Large-Scale Multi-Robot Learning

Sudeep Dasari, Frederik Ebert, Stephen Tian, Suraj Nair, Bernadette Bucher, Karl Schmeckpeper, Siddharth Singh, Sergey Levine, Chelsea Finn

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments accepted at the Conference on Robot Learning (CoRL) 2019

Surgical WAM: A World-Action Model for Data-Efficient Surgical Robot Learning

Surgical WAM：面向数据高效型手术机器人学习的世界-动作模型

Wenrui Bao, Tianyun Jiang, Zhiben Chen, Ser-Nam Lim, Peter D. Peng, Yuzhang Shang

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；world model(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 本文提出Surgical WAM模型，通过无动作视频预训练结合带动作标注数据微调，在四项模拟手术操纵任务中将平均成功率从63.5%提至77.8%，为数据高效的手术机器人学习提供了可行方案。

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue：基于时间距离扩展机器人价值基础模型

Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

机构 * DAMO Academy, Alibaba Group（达摩院（阿里巴巴集团）） ； Hupan Lab（湖畔实验室） 纠错

专题命中 机器人学习 ：robotic(title,abstract)；robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 该研究提出开源机器人价值基础模型 RynnValue，以时间距离为监督目标，在多维度超越现有方法，可提升机器人策略的真实世界任务成功率并实现零样本泛化。

Comments 23 pages, 5 figures

Look, Focus, Act: Efficient and Robust Robot Learning via Human Gaze and Foveated Vision Transformers

看、聚焦、行动：通过人类注视和中央凹视觉变换器实现高效且稳健的机器人学习

Ian Chuang, Jinyu Zou, Andrew Lee, Dechen Gao, Iman Soltani

机构 * University of California, Berkeley（加州大学伯克利分校） ； Tongji University（同济大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 研究如何将人类注视融入机器人策略以提升效率与稳健性，开发GIAVA系统，通过中央凹补丁令牌化将注视信息集成到视觉变换器，减少计算量，降低计算开销，增强稳健性，在高精度任务中提高成功率，凸显人类启发的中央凹视觉处理的潜力。

Comments Project page: https://soltanilara.github.io/giava/

$μ_0$: A Scalable 3D Interaction-Trace World Model

$\mu_0$: 一种可扩展的3D交互轨迹世界模型

Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, Yao-Chih Lee, H. Jin Kim, Jia-Bin Huang, Furong Huang

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Seoul National University（首尔大学） 纠错

专题命中 机器人学习 ：world model(title,abstract)；robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 提出基于3D轨迹的可扩展世界模型$\mu_0$，通过预测交互点轨迹实现跨本体机器人学习，无需动作标签，性能媲美有监督模型。

COBALT: Crowdsourcing Robot Learning via Cloud-Based Teleoperation with Smartphones

COBALT: 通过基于云的远程操作利用智能手机进行机器人学习

Ayush Agarwal, Ansh Gandhi, Jeremy A. Collins, Omar Rayyan, Aryan Sarswat, Ranjani Koushik, Masoud Moghani, Ajay Mandlekar, Animesh Garg

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of California, Berkeley（加州大学伯克利分校） ； New York University Abu Dhabi (NYUAD)（纽约大学阿布扎克分校） ； University of Toronto（多伦多大学） ； NVIDIA（英伟达） 纠错

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出COBALT平台，通过基于云的远程操作技术，利用智能手机等设备大规模收集高质量的机器人学习数据，提高仿真实验和现实世界中的机器人学习效率。

Robot Learning with Sparsity and Scarcity

Jingxi Xu

机构 * COLUMBIA UNIVERSITY（哥伦比亚大学） 纠错

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.LG

Ark: An Open-source Python-based Framework for Robot Learning

Magnus Dierking, Christopher E. Mower, Sarthak Das, Huang Helong, Jiacheng Qiu, Cody Reading, Wei Chen, Huidong Liang, Huang Guowei, Jan Peters, Quan Xingyue, Jun Wang, Haitham Bou-Ammar

专题命中 机器人学习 ：robot learning(title)；robotics(abstract)；manipulation(abstract)；navigation(abstract)

AMPLIFY: Actionless Motion Priors for Robot Learning from Videos

Jeremy A. Collins, Loránd Cheng, Kunal Aneja, Albert Wilcox, Benjamin Joffe, Animesh Garg

机构 * Georgia Tech（佐治亚理工学院） ； Georgia Tech Research Institute（佐治亚理工研究 institute） 纠错

专题命中 机器人学习 ：robot learning(title)；robotics(abstract)；world model(abstract)；robotic(abstract)

Sample Efficient Robot Learning in Supervised Effect Prediction Tasks

Mehmet Arda Eren, Erhan Oztop

机构 * Department of Artificial Intelligence, Ozyegin University（人工智能系，奥兹德温大学） ； OTRI/SISReC, Osaka University（OTRI/SISReC，大阪大学） 纠错

专题命中 机器人学习 ：robot learning(title)；robotics(abstract)；world model(abstract)；robotic(abstract)

Comments 15 pages, 6 figures

GRAPE: Generalizing Robot Policy via Preference Alignment

Zijian Zhang, Kaiyuan Zheng, Zhaorun Chen, Joel Jang, Yi Li, Siwei Han, Chaoqi Wang, Mingyu Ding, Dieter Fox, Huaxiu Yao

专题命中 机器人学习 ：robot policy(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments Website: https://grape-vla.github.io/

GNFactor: Multi-Task Real Robot Learning with Generalizable Neural Feature Fields

Yanjie Ze, Ge Yan, Yueh-Hua Wu, Annabella Macaluso, Yuying Ge, Jianglong Ye, Nicklas Hansen, Li Erran Li, Xiaolong Wang

专题命中 机器人学习 ：robot learning(title)；robotics(abstract)；manipulation(abstract)；robotic(abstract)

Comments CoRL 2023 Oral. Website: https://yanjieze.com/GNFactor/

The Shortcomings of Force-from-Motion in Robot Learning

Elie Aljalbout, Felix Frank, Patrick van der Smagt, Alexandros Paraschos

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning

Dantong Niu, Yuvan Sharma, Giscard Biamby, Jerome Quenum, Yutong Bai, Baifeng Shi, Trevor Darrell, Roei Herzig

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

What Matters to You? Towards Visual Representation Alignment for Robot Learning

Ran Tian, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

专题命中 机器人学习 ：robot learning(title)；robotics(abstract)；manipulation(abstract)；robotic(abstract)

Explaining the Decisions of Deep Policy Networks for Robotic Manipulations

Seongun Kim, Jaesik Choi

专题命中 机器人学习 ：robotic(title,abstract)；manipulation(abstract)；robot policy(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2021)

Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models

Pushkal Katara, Zhou Xian, Katerina Fragkiadaki

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study

Cristian C. Beltran-Hernandez, Damien Petit, Ixchel G. Ramirez-Alpizar, Kensuke Harada

专题命中 机器人学习 ：robot learning(title,abstract)；manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments 12 pages, 11 figures, 4 tables, in journal review. Corresponding author: Cristian C. Beltran-Hernandez

PyRep: Bringing V-REP to Deep Robot Learning

Stephen James, Marc Freese, Andrew J. Davison

专题命中 机器人学习 ：robot learning(title,abstract)；robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.CV、cs.LG

RoboClaw: An Agentic Framework for Scalable Long-Horizon Robotic Tasks

RoboClaw：一个用于可扩展长周期机器人任务的代理框架

Ruiying Li, Yunlang Zhou, YuYao Zhu, Kylin Chen, Jingyuan Wang, Sukai Wang, Kongtao Hu, Minhui Yu, Bowen Jiang, Zhan Su, Jiayao Ma, Xin He, Yongjian Shen, Yang Yang, Guanghui Ren, Maoqing Yao, Wenhao Wang, Yao Mu

机构 * AgiBot ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） ； MoE Key Lab of Artificial Intelligence, AI Institute, SJTU（上海交通大学人工智能研究院教育部人工智能重点实验室） 纠错

专题命中 机器人学习 ：robotic(title,abstract)；robotics(abstract,comments)；manipulation(abstract)；分类 cs.RO、cs.AI

AI总结 RoboClaw通过统一数据收集、策略学习和任务执行，提高长周期机器人任务的稳定性和可扩展性，减少人工干预，提升多策略鲁棒性。

Comments Code available at: https://github.com/RoboClaw-Robotics/RoboClaw

Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models

Chenrui Tie, Shengxiang Sun, Jinxuan Zhu, Yiwei Liu, Jingxiang Guo, Yue Hu, Haonan Chen, Junting Chen, Ruihai Wu, Lin Shao

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； Peking University（北京大学） ； Sichuan University（四川大学） ； Zhejiang University（浙江大学） 纠错

专题命中 机器人学习 ：robotic(title,abstract)；robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI

Journal ref Robotics: Science and Systems 2025

Factory: Fast Contact for Robotic Assembly

Yashraj Narang, Kier Storey, Iretiayo Akinola, Miles Macklin, Philipp Reist, Lukasz Wawrzyniak, Yunrong Guo, Adam Moravanszky, Gavriel State, Michelle Lu, Ankur Handa, Dieter Fox

专题命中 机器人学习 ：robotic(title,abstract)；robotics(abstract,comments)；robot learning(abstract)；分类 cs.RO、cs.LG

Comments Accepted to Robotics: Science and Systems (RSS) 2022