视觉大模型 / VLM

Generating Fine Details of Entity Interactions

生成实体交互的细节

Xinyi Gu, Jiayuan Mao

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种基于多模态大语言模型的方法，通过分解和细化过程提升图像中实体交互细节的生成质量。

Comments EMNLP 2025. Project Page: https://detailscribe.github.io/

Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation

通过执行反馈强化学习训练高阶调度器以实现长周期GUI自动化

Zehao Deng, Tianjie Ju, Zheng Wu, Zhuosheng Zhang, Gongshen Liu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出CES多代理框架，通过训练高阶调度器解决GUI代理在长周期任务中的责任耦合和状态管理问题，提升任务规划与执行效率。

Comments Accepted to CVPR 2026

LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments

LaViRA: 语言-视觉-机器人动作翻译用于连续环境中的零样本视觉语言导航

Hongyu Ding, Ziming Xu, Yudong Fang, You Wu, Zixuan Chen, Jieqi Shi, Jing Huo, Yifan Zhang, Yang Gao

机构 * School of Computer Science, Nanjing University（南京大学计算机科学学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)

AI总结 LaViRA通过分解动作层次结构，利用多模态大语言模型的优势，实现连续环境中零样本视觉语言导航的高效导航与泛化能力。

Comments ICRA 2026

PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation

PROSPECT：通过语义-空间融合和潜在预测表示实现统一的流式视觉-语言导航

Zehua Fan, Wenqi Lyu, Wenxuan Song, Linge Zhao, Yifei Yang, Xi Wang, Junjie He, Lida Huang, Haiyan Liu, Bingchuan Sun, Guangjun Bao, Xuanyao Mao, Liang Xu, Yan Wang, Feng Gao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； University of Adelaide（阿德莱德大学） ； Wuhan University（武汉大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing Jiaotong University（北京交通大学） ； AIR Wuxi Innovation Center, Tsinghua University（清华大学无锡创新中心） ； Lenovo（联想集团） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 PROSPECT通过语义-空间融合和潜在预测表示，实现统一的流式视觉-语言导航，提升环境动态和空间结构的预测能力。

FeedAIde: Guiding App Users to Submit Rich Feedback Reports by Asking Context-Aware Follow-Up Questions

FeedAIde: 通过提问情境感知的后续问题引导应用用户提交丰富的反馈报告

Ali Ebrahimi Pourasad, Meyssam Saghiri, Walid Maalej

机构 * University of Hamburg（汉堡大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 FeedAIde通过情境感知和生成式AI技术，帮助用户更高效地提交详细反馈报告，提升开发人员获取信息的价值。

Comments Accepted for publication at the 13th International Conference on Mobile Software Engineering and Systems (MOBILESoft) 2026

Evolution 6.0: Robot Evolution through Generative Design

进化6.0：通过生成设计实现机器人进化

Muhammad Haris Khan, Artyom Myshlyaev, Artem Lykov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 进化6.0通过生成式AI实现机器人自主设计工具和执行任务，展示高成功率和泛化能力。

Comments Accepted to HRI