视觉大模型 / VLM

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

CLAP：通过语言-动作基础实现从视觉语言模型到视觉语言动作模型的直接适配

Yuri Ishitoya, Jeremy Siburian, Masashi Hamaya, Kuniaki Saito, Cristian C. Beltran-Hernandez, Mai Nishimura

机构 * Ochanomizu University（御茶水女子大学） ； University of Tokyo（东京大学） ； OMRON SINIC X Corp（欧姆龙（中国）有限公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,abstract)；grounding(title)；分类 cs.AI

AI总结 研究如何将预训练视觉语言模型直接转换为视觉语言动作模型，核心方法是提出CLAP，通过在数字动作序列前加自然语言描述来解决输出分布不匹配问题，单轮微调效果良好，还将发布多尺度紧凑VLA家族助力能力转移分析。

Comments Project website: https://omron-sinicx.github.io/clap/

Learning More from Less: Reinforcement Learning from Hindsight

从更少中学习更多：事后诸葛亮式强化学习

Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG

AI总结 研究针对强化学习用于视觉-语言-动作模型后期训练时样本效率低的问题，提出事后诸葛亮式学习方法，通过对失败轨迹重标记，让策略联合原始与重标记轨迹训练，在分布外任务上显著提升样本效率并优于基线。