视觉大模型 / VLM

GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents

GROW: 将GRPO与状态-动作建模对齐以适用于开放世界VLM智能体

Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） ； Zhejiang Normal University（浙江师范大学） ； Shandong Normal University（山东省师范大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GROW框架，通过将收集的轨迹分解为状态-动作样本，并在样本间计算优势，解决了标准GRPO在多轮RL中因需要完整轨迹导致上下文过长和噪声的问题，实验表明其在超过800个Minecraft任务中取得SOTA性能。

GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations

GesVLA: 一种具有手势感知能力的视觉-语言-动作模型嵌入表示

Wenxuan Guo, Ziyuan Li, Meng Zhang, Yichen Liu, Yimeng Dong, Chuxi Xu, Yunfei Wei, Ze Chen, Erjin Zhou, Jianjiang Feng

机构 * Tsinghua University（清华大学） ； Dexmal 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出GesVLA模型，通过引入手势作为平行指令模态，解决现有VLA系统在复杂场景中空间模糊问题，采用双VLM架构实现手势表示与动作策略的紧密耦合，并通过手势数据生成管道和两阶段训练策略提升目标定位准确性和人机交互效率。

Comments Project page: https://gwxuan.github.io/GesVLA/

GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation

GA-VLN: 用于高效视觉-语言导航的几何感知鸟瞰图表示

Jiahao Yang, Zihan Wang, Xiangyang Li, Xing Zhu, Yujun Shen, Yinghao Xu, Shuqiang Jiang

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Robbyant ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GA-VLN框架，通过引入几何感知的鸟瞰图表示（GA-BEV），整合显式和隐式几何信息，提升视觉-语言导航的效率和性能，实验表明其在仅使用导航数据的情况下取得了最先进的结果。

AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

AwareVLN: 基于自感知的视觉语言导航推理

Wenxuan Guo, Xiuwei Xu, Yichen Liu, Xiangyu Li, Hang Yin, Huangxing Chen, Wenzhao Zheng, Jianjiang Feng, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出AwareVLN框架，通过自感知推理机制实现端到端的视觉语言导航，解决了传统方法在理解代理、指令和场景关系上的不足，并在多个数据集上实现了优于现有方法的性能。

Comments Accepted to CVPR 2026. Project page: https://gwxuan.github.io/AwareVLN/

X-OmniClaw Technical Report: A Unified Mobile Agent for Multimodal Understanding and Interaction

X-OmniClaw 技术报告：一种统一的移动代理用于多模态理解和交互

Xiaoming Ren, Ru Zhen, Chao Li, Yang Song, Qiuxia Hou, Yanhao Zhang, Peng Liu, Qi Qi, Quanlong Zheng, Qi Wu, Zhenyi Liao, Binqiang Pan, Haobo Ji, Haonan Lu

机构 * OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出X-OmniClaw，一种统一的移动代理，用于Android生态系统中的多模态理解和交互，通过统一的感知、记忆和行动架构，提升复杂移动任务的上下文感知能力，展示了其在多模态交互中的高效性和可靠性。

Comments 12 pages, 7 figures