Developmental Scaffolding with Large Language Models
专题命中 机器人操作 :robotics(abstract,comments);robot learning(abstract);manipulation(abstract);robotic(abstract)
Comments To appear in IEEE Transactions on Robotics ©IEEE2023
视觉与机器人
机器人、具身智能、机器人学习、操作、导航和具身世界模型。
专题命中 机器人操作 :robotics(abstract,comments);robot learning(abstract);manipulation(abstract);robotic(abstract)
Comments To appear in IEEE Transactions on Robotics ©IEEE2023
专题命中 机器人操作 :manipulation(abstract,comments);robotics(abstract);navigation(abstract);robotic(abstract)
Comments Experiment-oriented Locomotion and Manipulation Research, RSS 2023 workshop. arXiv admin note: text overlap with arXiv:2306.10133
不要放弃BATON:通过智能体子任务探索和感知转换的记忆实现长程机器人操作
机构 * University of Southern California(南加州大学) ; University of Central Florida(中佛罗里达大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 该研究针对长程机器人操作的误差累积与子任务转换问题,提出BATON方法,通过子任务探索与感知转换记忆,在RoboMemArena基准上提升任务成功率11.6%、累计成功率14.9%。
SiMDex:挖掘相似的自我中心视频以实现跨 embodiment 的灵巧操作
机构 * The University of Tokyo(东京大学) ; ByteDance Seed(字节跳动 Seed) ; The University of Hong Kong(香港大学) ; Shanghai Jiao Tong University(上海交通大学) ; Tsinghua University(清华大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.CV、cs.LG
AI总结 该研究提出SiMDex框架,通过三层流程从海量自我中心人类视频中挖掘与任务相关的子集,用于VLA后训练,仅用少量样本便显著提升了机器人灵巧操作的成功率,证明选择性数据整理更有效。
Comments 12 pages, 4 figures. Project page: https://lin-nie.github.io/SiMDex/
DynamicManip:基于单个静态演示实现动态操作
机构 * Sun Yat-sen University(中山大学) ; Stanford University(斯坦福大学) ; Southeast University(东南大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.CV、cs.LG
AI总结 本文提出DynamicManip,通过静态转动态数据增强流水线、动态感知自适应策略及动态操作基准,解决机器人动态操作的数据效率与实时性问题,实验显示其性能显著优于现有方法。
Comments Project page: https://liaohr9.github.io/DynamicManip/ Code: https://github.com/liaohr9/DynamicManip
基于临界模型的具身智能自进化学习
专题命中 机器人操作 :embodied AI(title,abstract);manipulation(abstract)
AI总结 本文提出基于临界模型的具身智能自进化学习方法,通过状态级临界模型引导采样易失败场景,在多类具身任务中显著降低失败率,性能优于基线及同类先进模型。
HiFi-UMI:仅从高保真UMI数据中学习可部署的操作策略
机构 * Simple AI(简单人工智能公司)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.CV、cs.LG
AI总结 研究如何从高保真UMI数据学习可部署操作策略,提出HiFi-UMI系统,其无需外部跟踪达3毫米精度。利用该系统数据实现零机器人训练后策略,预训练还能降误差提成功率,且开源了相关高保真资源。
Comments 33 pages, 15 figures, 4 tables. Project page: https://cloud.simpleai.tech/simple-world-lab/hifi-umi/ Dataset: https://huggingface.co/datasets/simple-world-lab/HiFi-UMI-2K
一只手注视着另一只手:动态环境中用于高效样本双机器人操作的动态多智能体协作
机构 * University of Freiburg(弗莱堡大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 研究动态环境中双机器人操作问题,提出轻量级DynaMAC框架,将相对手臂视为动态任务参数,解决因果限制,保留多流策略优势。通过DynaBench基准测试,性能远超基线,能零样本泛化,简化数据收集,为人机协作助力。
一种用于灵巧操作的极简重定向引导强化学习方法
机构 * Cornell University(康奈尔大学) ; Amazon FAR(亚马逊FAR)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 研究如何将重定向引导强化学习用于灵巧操作,提出REGRIND方法,从单人演示学习策略,经重定向、模拟训练、零样本转移到硬件,在丰富接触任务中产生类人行为,还分析了模拟到现实转移的关键因素。
Comments Website: https://yunhaifeng.com/REGRIND
Pix2Act:具有等变增强的图像空间操纵策略
机构 * Northeastern University(东北大学) ; Stanford University(斯坦福大学) ; University of Pennsylvania(宾夕法尼亚大学) ; Brown University(布朗大学) ; Texas A&M University(德州农工大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 研究针对将操纵动作表示为相机平面二维轨迹带来的挑战,提出Pix2Act模仿学习方法,通过生成图像空间关键点轨迹及三角测量恢复末端执行器姿态,将三维控制转为二维预测问题,提升泛化能力与性能,优于现有基线且抗相机扰动。
Comments Project Website: https://haojhuang.github.io/pix2act_page/
LiMoDE: 从动态专家混合视角重新思考终身机器人操作
机构 * School of EEE, Nanyang Technological University(南洋理工大学电气与电子工程学院)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 提出一种两阶段终身学习方案LiMoDE,通过动态专家混合结构实现多任务预训练和任务自适应,有效缓解灾难性遗忘并促进知识迁移。
CoorDex: 协调身体与手部先验以实现连续灵巧类人运动操作
机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; University of California, Berkeley(加利福尼亚大学伯克利分校)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 提出CoorDex学习框架,通过将高维身体和灵巧手控制转化为协调的潜在残差控制,实现类人机器人在运动中执行灵巧操作,如不停顿抓取瓶子、移动中开冰箱门等。
Comments Project page: https://skevinci.github.io/coordex/
MemoryVAM:将记忆融入视频动作模型以实现机器人操作
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; Nirvana Robotics(涅槃机器人) ; University of California, San Diego(加州大学圣迭戈分校) ; University of Utah(犹他大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 提出MemoryVAM,通过Recap-Cue模块将情景记忆注入视频世界模型策略,解决长时域操作中的非马尔可夫性问题,在LIBERO-Mem和真实机器人任务上显著提升成功率。
Comments Project page: https://MemoryVAM.github.io/
记忆作为消耗性资产:为具身智能体定价闪存耐久性及其局限性
机构 * KAIKAKU
专题命中 机器人操作 :embodied agent(title);manipulation(abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 本文提出将机器人闪存耐久性视为折旧资本,通过单一影子价格η进行定价,实现成本最优的存储层级分配,并基于真实机器人日志测量价值-写入关联χ的符号,发现其取决于部署场景。
机器人操作臂的自适应模块化几何控制
专题命中 机器人操作 :robotic(title,abstract);manipulation(abstract)
AI总结 针对惯性参数不确定的机器人操作臂,提出一种自适应模块化几何控制框架,通过SE(3)上的对数映射定义构型误差,结合李代数对偶配对实现模块间功率共轭连接,并引入正定对称矩阵流形上的几何自适应律,证明闭环跟踪误差半全局一致最终有界。
Comments Submitted to Systems & Control Letters
PATCH: 基于动作块条件潜在补丁创新的机器人操作监控
机构 * School of Computer Science, The University of Sydney(悉尼大学计算机科学学院) ; Australian Centre For Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 提出PATCH监控器,通过动作块条件潜在补丁创新检测局部场景动态,实现扰动感知的机器人操作干预与恢复。
通用操控外骨骼:利用实时扭矩反馈学习全身柔顺策略
机构 * Ant Group(蚂蚁集团) ; Stanford University(斯坦福大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 提出通用操控外骨骼(UME),通过实时触觉扭矩反馈和全身数据采集,使机器人学习主动柔顺策略,在受限空间中完成移动操作、力控翻转等任务。
无皱鲁棒性:并行仿真与鲁棒MPC实现可认证的变形体操作
机构 * Georgia Institute of Technology(佐治亚理工学院)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 提出CORD-SLS实时控制方法,通过GPU并行可微仿真与接触平滑实现高效梯度规划,结合鲁棒模型预测控制与共形预测校准,在绳索和布料操作中达到毫秒级规划与高安全性。
GHOST: 用于泛化机器人操作的层次化子目标策略
机构 * Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所) ; UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.CV、cs.LG
AI总结 提出GHOST框架,通过将控制分解为高层子目标预测和低层目标条件控制器,实现视觉运动操作策略的泛化,并利用人类演示适应新物体和任务变化。
Comments Accepted at RSS 2026
当视频误读:面向探索性操作痕迹问答的阅读启发式闭环蒸馏
机构 * Tsinghua University(清华大学) ; DISCOVER Robotics
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 针对探索性操作中机器人误读视频痕迹的问题,提出闭环痕迹蒸馏方法,通过任务编码代理提取单行自然语言启发式提示,使冻结VLM准确预测最小成功动作链,在模拟和真实机器人任务上提升准确率0.38-0.47。
Comments 16 pages, 4 figures, 4 tables
Instant-Fold: 可变形物体操作的情境模仿学习
机构 * The Robot Learning Lab(机器人学习实验室) ; Imperial College London(伦敦帝国学院)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 提出Instant-Fold框架,通过单次人类演示的情境模仿学习,无需梯度更新即可推断并执行多种可变形物体操作模式,在仿真训练后零样本迁移到真实世界。
超越二元:基于物理接触表示的仿真到现实灵巧操作
机构 * ETH Zürich(苏黎世联邦理工学院) ; UC Berkeley(伯克利加州大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 提出基于物理原理的中心压力(CoP)触觉表示,结合可微动力学传感器标定,实现多指手的零样本仿真到现实迁移,在插销入孔和球平衡任务中优于二元接触和原始触觉基线。
Comments Project site: https://mpan31415.github.io/tactile_rep/
SUGAR: 一种可扩展的人类-视频驱动的通用人形机器人运动-操作学习框架
机构 * CFCS, School of Computer Science, Peking University(计算机学院,北京大学计算机科学系) ; School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 该研究提出SUGAR框架,通过将多样化的视频转化为可部署的人形机器人运动-操作技能,无需特定任务的奖励工程或参考动作条件,在仿真和现实硬件中实现了六种代表性任务的高性能表现,展示了可扩展性和零样本现实迁移能力。
Comments Project Page: https://tianshuwu.github.io/sugar-humanoid/
SkiP: 在何时跳过和何时细化以实现高效的机器人操作
机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院) ; Peng Cheng Laboratory(鹏城实验室) ; Southern University of Science and Technology(南方科技大学) ; Sun Yat-sen University(中山大学) ; UNT ; University of Chinese Academy of Sciences(中国科学院大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.CV
AI总结 SkiP通过动态跳过冗余步骤和精细化关键步骤,提升机器人操作效率,无需额外结构或规划器。
掌控你的视角:高分辨率全球语义操控在学习图像压缩中的应用
机构 * University of Macau(澳门大学) ; Nanyang Technological University(南洋理工大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.AI、cs.CV、cs.LG
AI总结 本文提出了一种新的方法,用于在学习图像压缩中实现高分辨率全球语义操控,通过改进的周期几何衰减调度策略,克服了现有方法在高分辨率语义操控中的局限性。
VTouch++:一个用于双臂操作的多模态数据集,具有基于视觉的触觉增强
机构 * Humanoid Robot (Shanghai) Co., Ltd.(人形机器人(上海)有限公司) ; Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(上海智能自主系统研究院,同济大学) ; School of Astronautics, Harbin Institute of Technology(航天学院,哈尔滨工程大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 本文提出VTouch++数据集,通过视觉触觉传感提供高保真的物理交互信号,采用矩阵式任务设计实现系统学习,并利用自动化数据采集管道确保可扩展性,通过跨模态检索和真实机器人评估验证其有效性。
在不确定性下学习混合控制策略以实现高精度接触操作
机构 * Collaborative Robotics and Intelligent Systems Institute, Oregon State University(协作机器人与智能系统研究所,俄勒冈州立大学)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 本文提出混合位置-力控制策略,通过Mode-Aware Training for Contact Handling (MATCH)提升学习效率,在高噪声环境下显著提高任务成功率并减少力的使用。
多模态扩散强迫用于强力操控
机构 * University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
专题命中 机器人操作 :manipulation(title,abstract);分类 cs.RO、cs.AI、cs.LG
AI总结 本文提出多模态扩散强迫框架,通过随机部分遮蔽和扩散模型重建轨迹,学习机器人多模态轨迹,提升对动作与力信号的依赖性,实验证明其在模拟和现实环境中的强性能和鲁棒性。
Comments Project website: https://unified-df.github.io
机器人微米级纳米加工以实现卓越的一致性
专题命中 机器人操作 :robotic(title,abstract);robotics(abstract)
AI总结 本文提出利用机器人手臂自动化微米级纳米加工,提高复杂器件制造的一致性,通过Josephson结电阻开发验证了机器人在减少人工操作波动方面的有效性。
Comments 5 pages, 3 figures
Journal ref Appl. Phys. Lett. 128, 144101 (2026)
指尖上的全景:通过SightWarp实现对远处物体的直接操控
专题命中 机器人操作 :manipulation(title,abstract);navigation(abstract)
AI总结 SightWarp通过眼手协调实现对远距离物体的直接操控,提升3D交互性能与灵活性。
Comments 12 pages, 11 figures, The 38th Annual ACM Symposium on User Interface Software and Technology (UIST '25), September 28-October 01, 2025, Busan, Republic of Korea