AI Agent

LLM-Guided Agentic Floor Plan Parsing for Accessible Indoor Navigation of Blind and Low-Vision People

基于大语言模型的代理楼层计划解析用于视障和低视力人士的无障碍室内导航

Aydin Ayanzadeh, Tim Oates

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；multi-agent(abstract)

AI总结 本文提出一种基于代理的框架，将单张楼层平面图转换为结构化的知识库，生成安全的无障碍导航指令。系统通过多代理模块生成空间知识图谱，并通过路径规划器生成导航指令，实验结果显示在真实场景和基准数据集上均优于单次调用基线。

Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training

Mobile-R1: 通过系统性训练提升基于视觉语言模型的移动代理的交互能力

Jihao Gu, Qihang Ai, Yingyao Wang, Pi Bu, Jingxuan Xing, Zekun Zhu, Wei Jiang, Ziming Wang, Yingxiu Zhao, Ming-Liang Zhang, Jun Song, Yuning Jiang, Bo Zheng

机构 * Future Living Lab, Alibaba Group（未来生活实验室，阿里巴巴集团） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出Mobile-R1系统性训练方法，通过分层课程学习提升移动代理的探索与自我纠正能力，并构建中文移动数据集和基准测试。

Comments 19 pages, 15 figures

AutoGUI-v2: A Comprehensive Multi-Modal GUI Functionality Understanding Benchmark

AutoGUI-v2：一个全面的多模态GUI功能理解基准

Hongxin Li, Xiping Wang, Jingran Su, Zheng Ju, Yuntao Chen, Qing Li, Zhaoxiang Zhang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； New Laboratory of Pattern Recognition（模式识别新实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； Hong Kong Institute of Science & Innovation（香港科学创新研究院） ； PolyU ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract,abstract_cn)；autonomous agent(abstract)

AI总结 AutoGUI-v2通过多平台截图递归解析生成多样化任务，评估深度GUI功能理解和交互预测能力，揭示VLMs在功能接地与描述上的差异及复杂交互逻辑的挑战。

Comments Technical Report

InquireMobile: Teaching VLM-based Mobile Agent to Request Human Assistance via Reinforcement Fine-Tuning

InquireMobile: 教授基于VLM的移动代理通过强化微调请求人类帮助

Qihang Ai, Pi Bu, Yue Cao, Yingyao Wang, Jihao Gu, Jingxuan Xing, Zekun Zhu, Wei Jiang, Zhicheng Zheng, Jun Song, Yuning Jiang

机构 * Future Living Lab, Alibaba Group（未来生活实验室，阿里巴巴集团） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） 纠错

专题命中 GUI与网页智能体 ：agent(title)；分类 cs.AI

AI总结 本文提出InquireMobile，通过强化学习方法提升移动代理在关键决策点主动请求人类帮助的能力，实现46.8%的询问成功率提升，成为InquireBench上表现最佳的基线模型。

Comments 15 pages, 10 figures

Proteus: Shapeshifting Desktop Visualizations for Mobile via Multi-level Intelligent Adaptation

Proteus：通过多级智能适应实现移动端的桌面可视化变形

Can Liu, Sizhe Cheng, Feng Liang, Zhibang Jiang, Lingru Huang, Kavinda Athapaththu, Yong Wang

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)

AI总结 Proteus通过多级智能适应技术，自动将桌面可视化转换为移动端可读的可视化，解决移动端屏幕尺寸和交互方式差异导致的显示问题。

Comments accepted by ACM Designing Interactive Systems Conference

Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible

增强隐私保护的移动GUI代理：可用但不可见

Lepeng Zhao, Zhenhua Zou, Shuo Li, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出一种基于匿名化的隐私保护框架，通过检测敏感UI内容并替换为非识别性占位符，实现敏感信息在任务执行中可用但不可见，减少隐私泄露同时保持代理的无缝使用。

Comments 15 pages, 4 figures

GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction

GoClick：轻量级元素接地模型用于自主GUI交互

Hongxin Li, Yuntao Chen, Zhaoxiang Zhang

机构 * 1 University of Chinese Academy of Sciences, Beijing, China. 2 New Laboratory of Pattern Recognition, State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China. 3 Hong Kong Institute of Science \& Innovation, Chinese Academy of Sciences, Hong Kong, China. Zhaoxiang Zhang 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出GoClick，一种轻量级GUI元素接地模型，通过改进架构和数据精炼流程，在保持高精度的同时降低参数规模，适用于资源受限设备的低延迟GUI交互任务。

Comments Technical Report

Safe Navigation in Unknown and Cluttered Environments via Direction-Aware Convex Free-Region Generation

通过方向感知的凸自由区域生成实现未知和杂乱环境中的安全导航

Zhicheng Song, Yongjian Li, Kai Chen, Yulin Li, Fan Shi, Jun Ma

机构 * Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）机器人与自主系统方向） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出一种结合候选运动方向与机器人几何的凸自由区域生成框架，通过连续安全轨迹生成实现持续无碰撞运动，实验表明该方法在杂乱2D导航场景中生成更符合后续导航的自由区域，并在3D和真实世界中验证了其扩展性和实用性。

Wireless Mobile Charging for Emergency Electric Vehicle Routing: A Mixed-Integer and Metaheuristic Framework for In-Motion Energy Transfer

无线移动充电用于紧急电动汽车路线规划：一种混合整数和元启发式框架用于行驶中的能量传输

Jingyi Zhao, Haoxiang Yang, Youxuan Pan, Yang Liu

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出无线移动充电电动汽车路线规划问题，通过感应耦合实现移动充电卡车对行驶中的电动汽车无线充电，结合混合整数规划和元启发式算法优化异构车队的路线与动态能量传输。

Comments 8 pages, 5 figures