Jitendra Malik

Learning Physical Interaction: A Survey of Tactile- and Force-aware Robot Learning

学习物理交互：触觉与力感知机器人学习综述

Shilin Shan, Chuhao Zhou, Ruize Wang, Xinyan Chen, Xiangyu Chen, Xinyu Zhou, Boyu Ma, Iris Yuxuan Hu, Jingliang Li, Celeste Yuxuan Hu, Geng Li, Guohao Chen, Tianrui Zhu, Zhe Li, Yanjie Ze, Haoran Geng, Zhiyang Dou, Jianxin Bi, Yuejiang Liu, Jianshu Zhou, Jiachen Li, Paul Liang, Tatsuya Harada, Robert Katzschmann, Harold Soh, Na Li, Edward Johns, Danica Kragic, Jan Peters, Wojciech Matusik, Masayoshi Tomizuka, Jitendra Malik, Jianfei Yang

机构 * Nanyang Technological University（南洋理工大学） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； The University of Tokyo（东京大学） ； ETH Zurich（苏黎世联邦理工学院） ； Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； Technical University of Darmstadt（达姆施塔特工业大学） 纠错

AI总结 本综述针对力与触觉感知机器人学习研究的空白，提出TF-ART分类法，整合多模态感知与多阶段系统设计视角，兼具算法与实践意义。

Comments 53 pages, 7 figures

FARM: Find Anything using Relational Spatial Memory

FARM: 使用关系空间记忆找到任何物体

Siming He, Leo Huang, Adam Lilja, Fabio Huebel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

AI总结 提出FARM系统，通过实时构建包含几何、视觉语言描述和视角证据的开放词汇物体级记忆，并利用VLM解析查询和显式空间约束，在44k语言查询中Recall@5和Recall@10分别提升164%和224%，Accuracy@1提升35%。

When Does Continual Learning Require Learning

持续学习何时需要学习

Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

机构 * UC Berkeley（加州大学伯克利分校） ； Capital Fund Management（资本基金管理公司） 纠错

AI总结 研究大语言模型持续学习问题，从空间和时间轴分解变化，通过重新设置基准和引入协议评估多种方法，发现持续学习非单一能力，不同环境变化需不同更新行为，为设计更强持续学习系统提供指导。

Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/

Scalable Behavior Cloning with Open Data, Training, and Evaluation

基于开放数据、训练和评估的可扩展行为克隆

Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

AI总结 提出ABC开源行为克隆栈，包含最大遥操作数据集ABC-130K（3500小时/13万片段/195任务），并开源硬件、训练和仿真流程，通过协同训练实现仿真与真实评估关联，验证DiT和VLA模型设计，成功执行折纸盒、取信用卡等灵巧任务。

Comments 30 pages. Project page: https://abc.bot

ForceBand: Learning Forceful Manipulation with sEMG

ForceBand: 利用表面肌电信号学习有力操作

Botao He, Zhi Wang, Linna Kuang, Ishaan Ghosh, Jitendra Malik, Cornelia Fermuller, Tingfan Wu, Jiayuan Mao, Ruoshi Liu, Haozhi Qi, Yiannis Aloimonos

机构 * Amazon FAR（亚马逊 FAR） ； University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 提出ForceBand，一种低成本腕戴式sEMG系统，通过预测手指力来增强人类演示数据，用于机器人有力操作策略学习，在多种物体上实现87%的成功率。

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex: 触觉反应灵巧操作

Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Li Fei-Fei, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Linxi Fan, Trevor Darrell

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Stanford（斯坦福大学） ； Panasonic（松下） ； La Sapienza University（罗马大学） ； ItalAI 纠错

AI总结 提出大规模触觉数据集和可变速率混合Transformer架构，在12项精细操作任务上平均成功率提升超30%。

Comments Project page: https://tactile-rex.github.io/

PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation

PTLD: 从仿真到现实的触觉潜在知识蒸馏用于灵巧操作

Rosy Chen, Mustafa Mukadam, Michael Kaess, Tingfan Wu, Francois R Hogan, Jitendra Malik, Akash Sharma

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） ； FAIR at Meta（Meta的FAIR团队） ； UC Berkeley（伯克利大学） 纠错

AI总结 提出PTLD方法，通过真实世界触觉策略数据蒸馏鲁棒状态估计器，解决触觉仿真困难问题，在灵巧操作任务中相比纯本体感策略提升182%和57%。

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

Do as I Do: 从日常人类视频中获取灵巧操作数据

Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

机构 * UC Berkeley（加州大学伯克利分校） 纠错

AI总结 提出DO AS I DO算法，从单目RGB人类视频中重建手-物交互并重定向到多指灵巧机器人手，生成可执行的操作数据，优于现有方法。

Comments Project website: https://do-as-i-do.com/

Contrastive Action-Image Pre-training for Visuomotor Control

对比动作-图像预训练用于视觉运动控制

Yuvan Sharma, Dantong Niu, Anirudh Pai, Zekai Wang, Zhuoyang Liu, Baifeng Shi, Stefano Saravalle, Boning Shao, Ruijie Zheng, Jing Wang, Konstantinos Kallidromitis, Yusuke Kato, Fabio Galasso, Yuke Zhu, Danfei Xu, Linxi "Jim" Fan, Jitendra Malik, Trevor Darrell, Roei Herzig

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Sapienza University of Rome（罗马大学） ； Panasonic（松下） ； ItalAI 纠错

AI总结 提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。

SAM 3D: 3Dfy Anything in Images

SAM 3D: 将图像中的任何内容3D化

SAM 3D Team, Xingyu Chen, Fu-Jen Chu, Pierre Gleize, Kevin J Liang, Alexander Sax, Hao Tang, Weiyao Wang, Michelle Guo, Thibaut Hardin, Xiang Li, Aohan Lin, Jiawei Liu, Ziqi Ma, Anushka Sagar, Bowen Song, Xiaodong Wang, Jianing Yang, Bowen Zhang, Piotr Dollár, Georgia Gkioxari, Matt Feiszli, Jitendra Malik

机构 * Meta Superintelligence Labs（Meta超智能实验室） 纠错

AI总结 提出SAM 3D生成模型，从单张图像重建3D物体的几何、纹理和布局，通过人机协同标注和分阶段训练突破数据瓶颈，在真实场景中取得显著优势。

Comments Website: https://ai.meta.com/sam3d/

Combining Optimal Control and Learning for Visual Navigation in Novel Environments

将最优控制与学习相结合用于新环境中的视觉导航

Somil Bansal, Varun Tolani, Saurabh Gupta, Jitendra Malik, Claire Tomlin

机构 * University of California, Berkeley（加州大学伯克利分校） ； Facebook AI Research（脸书人工智能研究） 纠错

AI总结 本文提出了一种结合模型控制与学习感知的方法，用于在新环境中实现可靠的视觉导航，通过生成无碰撞路径的 waypoints，使机器人能够高效地到达目标位置，同时在低帧率和仿真到现实的迁移中表现良好。

Comments Project website: https://vtolani95.github.io/WayPtNav/

DIPOLE: Fusing Vision and Geometry for Robust Visuomotor Generalization

DIPOLE：融合视觉与几何实现鲁棒的视觉运动泛化

Yikai Tang, Haoran Geng, Jindou Jia, Yuxuan Hu, Sheng Zang, Jianfei Yang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley（加州大学伯克利分校） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 提出DIPOLE，通过训练时模态丢弃和轻量交叉注意力融合视觉与几何信息，实现跨光照、纹理、视角等变化的鲁棒策略泛化，在18个模拟和4个真实任务中平均性能提升39.1%。

AutoEval Done Right: Using Synthetic Data for Model Evaluation

AutoEval 的正确做法：使用合成数据进行模型评估

Pierre Boyeau, Anastasios N. Angelopoulos, Nir Yosef, Jitendra Malik, Michael I. Jordan

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley, USA（电子工程与计算机科学系，加州大学伯克利分校） ； Department of Systems Immunology, Weizmann Institute of Science, Rehovot, Israel（系统免疫学系，魏茨曼科学研究所） ； Inria, Ecole Normale Supérieure, Paris, France（法国国家信息与自动化技术研究所，巴黎高等师范学院） 纠错

AI总结 本文提出高效且统计上无偏的算法，利用AI标记的合成数据减少模型评估所需的人工标注量，在GPT-4实验中有效样本量提升高达50%。

Comments camera-ready paper version

MonoDuo: Using One Robot Arm to Learn Bimanual Policies

MonoDuo: 使用单机械臂学习双臂策略

Sandeep Bajamahal, Lawrence Yunliang Chen, Toru Lin, Zehan Ma, Jitendra Malik, Ken Goldberg

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出MonoDuo框架，利用单臂机器人演示和人类协作数据，通过数据增强生成合成演示，训练双臂机器人策略，在五项任务中实现零样本部署和少样本微调，成功率高达70%。

Comments Accepted to appear in the 2026 IEEE International Conference on Robotics and Automation (ICRA), Vienna, Austria, 1-5 June 2026

Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation

超越二元：基于物理接触表示的仿真到现实灵巧操作

Jiahe Pan, Stelian Coros, Jitendra Malik, Toru Lin

机构 * ETH Zürich（苏黎世联邦理工学院） ； UC Berkeley（伯克利加州大学） 纠错

AI总结 提出基于物理原理的中心压力（CoP）触觉表示，结合可微动力学传感器标定，实现多指手的零样本仿真到现实迁移，在插销入孔和球平衡任务中优于二元接触和原始触觉基线。

Comments Project site: https://mpan31415.github.io/tactile_rep/

Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning

扩散模型的多目标学习：半监督学习下的统计理论

Ziheng Cheng, Yixiao Huang, Hanlin Zhu, Haoran Geng, Somayeh Sojoudi, Jitendra Malik, Pieter Abbeel, Xin Guo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对扩散模型在多目标学习中因模型容量增大导致统计成本高的问题，提出半监督两阶段训练方法，利用未标记数据通过伪样本蒸馏，证明所需配对样本量仅取决于专家模型复杂度。

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

ViTacFormer：学习跨模态表示以实现视觉-触觉灵巧操作

Liang Heng, Haoran Geng, Kaifeng Zhang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley（加州大学伯克利分校） ； Peking University（北京大学） ； Sharpa 纠错

AI总结 本文提出ViTacFormer，通过跨注意力编码器融合高分辨率视觉与触觉，并结合自回归触觉预测头提升精度与鲁棒性，实现多指手的模仿学习，成功完成高精度灵巧操作任务。

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学） 纠错

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

World Model for Robot Learning: A Comprehensive Survey

机器人学习的世界模型：全面综述

Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, Oier Mees, Marc Pollefeys, Zhuang Liu, Jiajun Wu, Pieter Abbeel, Jitendra Malik, Yilun Du, Jianfei Yang

机构 * Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； The University of Tokyo（东京大学） ； University of Oxford（牛津大学） ； Microsoft（微软公司） ； ETH Zurich（苏黎世联邦理工学院） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） 纠错

AI总结 综述从机器人学习角度系统回顾世界模型的快速发展，探讨其与机器人策略的耦合、作为强化学习模拟器的作用以及机器人视频世界模型的发展，总结关键范式与挑战。

Comments 43 pages, 6 figures

Rodrigues Network for Learning Robot Actions

罗德里格斯网络用于学习机器人动作

Jialiang Zhang, Haoran Geng, Yang You, Congyue Deng, Pieter Abbeel, Jitendra Malik, Leonidas Guibas

机构 * MIT（麻省理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

AI总结 本文提出罗德里格斯网络，通过引入运动学先验知识提升机器人动作学习性能，验证了其在动作预测和手部重建中的有效性。

Comments ICLR 2026

Learning to Grasp Anything by Playing with Random Toys

通过随机玩具学习抓取任何物体

Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Caitlin Regan, Shankar Sastry, Trevor Darrell, Jitendra Malik, Roei Herzig

机构 * University of California, Berkeley（加州大学伯克利分校） ； Sapienza University of Rome（罗马大学） ； ItalAI ； Panasonic（松下） 纠错

AI总结 本文通过随机组装的简单玩具训练机器人，使其具备泛化抓取能力，采用对象中心视觉表示实现零样本性能，实现在YCB数据集上的67%抓取成功率。

Forecasting Motion in the Wild

野外运动预测

Neerja Thakkar, Shiry Ginosar, Jacob Walker, Jitendra Malik, Joao Carreira, Carl Doersch

机构 * UC Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

AI总结 本文提出密集点轨迹作为行为视觉标记，设计扩散变换器模型，实现复杂运动模式的预测，并通过300小时野生动物视频验证了其高效性和泛化能力。

Comments project page: https://motion-forecasting.github.io/

Human-level 3D shape perception emerges from multi-view learning

人类水平的三维形状感知源自多视角学习

Tyler Bonnen, Jitendra Malik, Angjoo Kanazawa

AI总结 本文提出了一种基于多视角学习的框架，通过自然视觉数据预测人类三维形状推断，首次实现了与人类表现一致的准确率，揭示了模型动态与人类感知的自然对应关系。

Comments Project page: https://tzler.github.io/human_multiview Code: https://github.com/tzler/human_multiview Huggingface dataset: https://huggingface.co/datasets/tzler/MOCHI

Diffusion Forcing for Multi-Agent Interaction Sequence Modeling

扩散力场用于多智能体交互序列建模

Vongani H. Maluleke, Kie Horiuchi, Lea Wilken, Evonne Ng, Jitendra Malik, Angjoo Kanazawa

机构 * Sony Group Corporation（索尼集团公司） ； Meta ； UC Berkeley（加州大学伯克利分校） 纠错

AI总结 本文提出MAGNet框架，通过灵活的条件和采样生成多智能体运动序列，支持多种交互任务，实现长序列生成和智能体间协调。

Comments Project page: https://von31.github.io/MAGNet/ ; Code: https://github.com/Von31/MAGNet-code

Why AI systems don't learn and what to do about it: Lessons on autonomous learning from cognitive science

为何人工智能系统不学习以及应如何应对：来自认知科学的自主学习启示

Emmanuel Dupoux, Yann LeCun, Jitendra Malik

机构 * FAIR at META 纠错

AI总结 本文探讨当前AI模型在实现自主学习中的局限性，提出受人类和动物认知启发的学习架构，整合观察学习与行为学习，并通过元控制信号切换学习模式。

How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

如何用刀剥皮：将细粒度操作与人类偏好对齐

Toru Lin, Shuying Deng, Zhao-Heng Yin, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文提出了一种通过剥皮任务学习细粒度操作与人类偏好的对齐方法，通过两阶段策略优化实现高成功率和泛化能力。

Comments Project page can be found at https://toruowo.github.io/peel

D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping

D-REX：用于学习灵巧抓取的可微现实到仿真到现实引擎

Haozhe Lou, Mingtong Zhang, Haoran Geng, Hanyang Zhou, Sicheng He, Zhiyuan Gao, Siheng Zhao, Jiageng Mao, Pieter Abbeel, Jitendra Malik, Daniel Seita, Yue Wang

机构 * Physical Superintelligence (PSI) Lab, University of Southern California（南加州大学物理超智能实验室） ； Viterbi School of Engineering, University of Southern California（南加州大学韦伯尔工程学院） ； Department of EECS, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） 纠错

AI总结 D-REX通过可微引擎实现现实到仿真到现实的抓取学习，利用高斯点表示自动构建数字双胞胎并优化质量识别，从而提升抓取策略的力感知性能。

Comments ICLR 2026 Poster

Learning Dexterous Manipulation Skills from Imperfect Simulations

从不完美的仿真中学习灵巧操作技能

Elvis Hsieh, Wen-Han Hsieh, Yen-Jen Wang, Toru Lin, Jitendra Malik, Koushil Sreenath, Haozhi Qi

机构 * UC Berkeley（伯克利大学） 纠错

AI总结 本研究提出\ours框架，通过仿真到现实迁移解决复杂接触动力学和触觉反馈问题，实现多指手在螺母拧紧和螺丝驱动任务中的高效操作。

Journal ref 2026 IEEE International Conference on Robotics & Automation

SAM 3D Body: Robust Full-Body Human Mesh Recovery

SAM 3D Body：鲁棒的完整人体网格恢复

Xitong Yang, Devansh Kukreja, Don Pinkus, Anushka Sagar, Taosha Fan, Jinhyung Park, Soyong Shin, Jinkun Cao, Jiawei Liu, Nicolas Ugrinovic, Matt Feiszli, Jitendra Malik, Piotr Dollar, Kris Kitani

机构 * Meta Superintelligence Labs（Meta 超智能实验室） 纠错

AI总结 SAM 3D Body提出一种可提示的单图像完整人体3D网格恢复模型，通过新颖的参数化网格表示MHR，实现鲁棒的姿态估计和高泛化能力。

Comments Code: https://github.com/facebookresearch/sam-3d-body

TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment

TactAlign: 通过触觉对齐实现人到机器人的政策转移

Youngsun Wi, Jessica Yin, Elvis Xiang, Akash Sharma, Jitendra Malik, Mustafa Mukadam, Nima Fazeli, Tess Hellebrekers

机构 * Meta FAIR 纠错

AI总结 TactAlign通过触觉对齐方法实现了人到机器人的政策转移，无需配对数据或人工标注，适用于多种接触丰富任务并具备良好的泛化能力。

Comments Website: https://yswi.github.io/tactalign/