视觉大模型 / VLM

LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation

LACY: 基于视觉-语言模型的语言-动作循环用于自我改进的机器人操作

Youngjin Hong, Houjian Yu, Mingen Li, Changhyun Choi

机构 * Department of Electrical and Computer Engineering, Univ. of Minnesota（电气与计算机工程系，明尼苏达大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.AI

AI总结 提出LACY框架，通过联合学习语言到动作、动作到语言和语言一致性验证三个任务，实现机器人操作的自我改进，平均任务成功率提升56.46%。

Comments Accepted to ICRA 2026. Project page: https://vla2026.github.io/LACY/

IntentionNav: A Benchmark for Intent-Driven Object Navigation from Implicit Human Instruction

IntentionNav: 一种基于隐式人类指令的意图驱动目标导航基准

Lin Qian, Shijie Li, Sihao Lin, Xuan Zhang, Bangya Liu, Yanran Li, Hujun Yin

机构 * The University of Manchester（曼彻斯特大学） ； A*STAR ； Responsible AI Research Centre, Adelaide University（阿德莱德大学负责任人工智能研究中心） ； University of Bedfordshire（贝福德郡大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract_cn)；分类 cs.CV

AI总结 提出IntentionNav基准，通过隐式人类指令（如“我需要热一下食物”）驱动智能体推断目标物体并导航至其位置，实验表明当前模型在终端成功率和精确定位方面存在显著瓶颈。

Comments preprint

How Mobile World Model Guides GUI Agents?

移动世界模型如何指导GUI代理？

Weikai Xu, Kun Huang, Yunren Feng, Jiaxing Li, Yuhan Chen, Yuxuan Liu, Zhizheng Jiang, Heng Qu, Pengzhi Gao, Wei Liu, Jian Luan, Xiaolin Hu, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； MiLM Plus, Xiaomi Inc.（小米公司） ； Independent Researchers（独立研究人员） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Wuhan University（武汉大学） ； Xiamen University（厦门大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文通过训练四种模态（增量文本、完整文本、扩散图像、可渲染代码）的世界模型，并评估其在下游任务中的效用，发现可渲染代码重建在分布内保真度高，文本反馈对在线分布外执行更鲁棒，世界模型生成的轨迹可提供迁移经验但无法替代原始分布，且对低熵过度自信的代理，后验自省收益有限。