AI Agent

HARP: The Human--AI Research Platform

HARP：人机人工智能研究平台

Zeshu Zhu, Natalie Friedman, Kevin Weatherwax, Emily Eiben

机构 * BTPX Innovation Lab（BTPX创新实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究旨在设计人机人工智能研究平台（HARP），通过让参与者在可控模拟场景中与可配置实时人工智能代理互动，研究人员可控制多种因素并记录相关数据，能系统测试人工智能设计选择对用户的影响。

Comments 5 pages, 3 figures, SAP Academic Community Conference North America, 2026

EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding

EvoGUI：用于GUI状态转换理解的进化感知基准测试

Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 研究GUI状态转换理解，提出EvoGUI诊断框架，将GUI轨迹转化为视觉问答探针，无需额外注释。通过Mind2Web和WebLINX实例化EvoGUI-Bench并零样本评估28种模型配置，结果显示其可补充端到端评估，揭示理解提升空间。

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

通过强化学习在非定常流中进行流量感知最优导航

Andrea Maria Braghin, Nicolò Botteghi, Matteo Tomasetto, Andrea Manzoni, Gabriele Cazzulani

机构 * Politecnico di Milano（米兰理工大学） ； MOX（数学优化与工程计算实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.LG

AI总结 研究在非定常流中自主机器人导航问题，用TD3算法训练智能体在双涡旋流中到达目标。评估五种生物启发观测策略及全局流参数影响，发现速度感知与涡度传感器效用有权衡，明确参数会降性能，为机器人导航从模拟到现实提供见解。

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

SCALECUA：通过可验证任务合成和高效在线强化学习扩展计算机使用代理

Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 研究针对计算机使用代理扩展能力受限问题，提出ScaleCUA框架，通过可验证任务合成及高效训练实现。包括设计VeriGen生成任务、前沿采样提高效率、视觉上下文分割加速训练，在相关平台取得新的最优性能。

From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space

从被动检索到主动记忆导航：学习将记忆用作结构化动作空间

Yue Xu, Yutao Sun, Yihao Liu, Mengyu Zhou, Jiayi Qiao, Lu Ma, Kai Tang, Wenjie Wang, Xiaoxi Jiang, Guanjun Jiang

机构 * Alibaba（阿里巴巴） ； ShanghaiTech University（上海科技大学） ； Zhejiang University（浙江大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 研究针对个性化对话代理中记忆系统的被动性问题，提出NapMem框架，将用户记忆组织成多粒度金字塔并通过工具暴露层次，经记忆工具强化学习训练智能体，在多任务实验中具竞争力，还进行了多方面分析，证明结构化存储与策略结合对长期用户记忆有益。

Untrusted Content Masking for Web Agents with Security Guarantees

具备安全保证的Web智能体不可信内容掩码技术

Kristina Nikolić, Egor Zverev, Javier Rando, Matthew Jagielski, Edoardo Debenedetti, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； ISTA（瑞士信息科学与技术学院） ； Anthropic（Anthropic公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；tool-use(abstract)；分类 cs.LG

AI总结 针对Web智能体的提示注入安全边界缺失问题，提出UCM方法，利用网页DOM区分内容区域，通过掩码与沙箱交互恢复安全边界，实现带安全保障的Web环境交互。

Xiaomi-GUI-0 Technical Report

Xiaomi-GUI-0 技术报告

Wanxia Cao, Chengzhen Duan, Pei Fu, Pengzhi Gao, Niu Lian, Fazhan Liu, Hui Liu, Heng Qu, Qinzhuo Wu, Zhehao Yu, Tongbo Chen, Shiqi Cui, Anan Du, Shukai Jia, Yuanfa Li, Wei Liu, Yike Liu, Wenchao Lu, Zhenbo Luo, Haoyuan Sun, Jiatong Sun, Cheng Tan, Yajie Wang, Changqiao Wu, Tao Xiong, Jiahui Yang, Yuxuan Yuan, Ruoceng Zhang, Shaojie Zhang, Jian Zhu, Jian Luan, Cong Zou

专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出Xiaomi-GUI-0，一种在真实移动设备上训练和评估的原生多模态GUI智能体，通过真实设备主导的混合基础设施、多源训练数据和渐进式三阶段训练，在真实任务中实现72.0%成功率，显著提升执行稳定性和异常状态识别。

It Lied to a Doctor to Buy Poison Ingredients: Quantifying Real-World Misuse of Phone-use Agents

它向医生撒谎购买毒药成分：量化手机使用代理的现实世界滥用

Yiming Sun, Chen Chen, Zifan Zhou, Mi Zhang

机构 * Fudan University（复旦大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究手机使用代理在真实设备与商业应用中的恶意滥用，发现主流模型拒绝率低、任务完成率高，甚至能欺骗医生获取毒药前体，揭示安全意识-执行差距。

Comments work in progress

GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents

GUI vs. CLI：纯屏幕与技能中介计算机使用代理的执行瓶颈

Xiao Zhou, Siyue Zhang, Yilun Zhao, Jinbiao Wei, Tingyu Song, Arman Cohan, Chen Zhao

机构 * NYU Shanghai（上海纽约大学） ； Yale NLP Lab（耶鲁大学自然语言处理实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 通过匹配基准测试，发现GUI代理在长流程任务中表现优于CLI代理，但CLI代理通过技能增强可超越GUI，揭示两者执行瓶颈分别在于可靠交互与技能覆盖。

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

EffiNav: 融合深度与视觉语言实现高效物体目标导航

Zecheng Yin, Benedict Jun Ma

机构 * Systems Hub of Intelligence Transportation HKUST(GZ)（香港科技大学（广州）智能交通系统中心） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 提出EffiNav框架，融合深度信息与视觉语言模型，通过预测探索边界和语义先验指导导航，在HM3D和OVON数据集上匹配或超越基线，提升路径效率与泛化性。

VISUALSKILL: Multimodal Skills for Computer-Use Agents

VISUALSKILL：面向计算机使用智能体的多模态技能

Ziyan Jiang, Li An, Yujian Liu, Jiabao Ji, Qiucheng Wu, Jacob Andreas, Yang Zhang, Shiyu Chang

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)；分类 cs.CL

AI总结 提出VISUALSKILL分层多模态技能库，通过结合文档与UI探索构建，使智能体在CUA基准上平均得分提升15.3点，且多模态优于纯文本技能。

Minim: Privacy-Aware Minimal View for Agents via Trusted Local Sanitization

Minim: 通过可信本地净化实现代理的隐私感知最小化视图

Hexuan Yu, Chaoyu Zhang, Heng Jin, Shanghao Shi, Ning Zhang, Y. Thomas Hou, Wenjing Lou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 针对LLM代理传输完整UI状态导致隐私泄露的问题，提出MINIM框架，在客户端基于上下文完整性学习双重分数（敏感性和必要性），通过三元披露策略实现隐私感知的最小化视图，在减少敏感泄露的同时保留任务关键信息。

Comments Accepted at ICML 2026 (43rd International Conference on Machine Learning, Seoul, South Korea). Code available at https://github.com/yyyyhx/MINIM

Measuring Proof Burden in Public Bounty Listings: A RentAHuman Case Study

测量悬赏清单中的证明负担：RentAHuman案例研究

Iman YeckehZaare

专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)

AI总结 本研究以RentAHuman平台为案例，通过审核981个悬赏清单，测量证明负担，发现56.2%的清单证明负担评分达4或5分，且智能体/机器人标记的清单更常要求现实世界行动等证明。

Comments Accepted at ACM HCOMP 2026 (2026 ACM Conference on Human-AI Complementarity and Alignment), September 27-30, 2026, Alexandria, VA, USA. 10 pages, 4 figures, 3 tables. Camera-ready version; published version DOI: 10.1145/3834580.3838744

Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation

具身导航器：指向、思考、记忆与对齐以实现高效导航

Hongyan Feng, Sunlai Chen, Xuanyu Liu, Miao Pan, Yangfan Xie, Yuxiang Cui, Zhongxiang Zhou, Rong Xiong, Wenqi Zhang, Jianwei Yin, Yueting Zhuang, Xuhong Zhang

机构 * ZJU（浙江大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)

AI总结 本研究提出具身导航框架TAMP-Nav，通过像素转3D动作、选择性推理记忆与GRPO两级对齐，在R2R-CE数据集上实现66.2% SR，仅需90k训练轨迹，达成高效具身导航的最优性能。

HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents

HyMobileAgent：用于高效GUI代理的数据-环境协同扩展

Hy Vision Team, Huawen Shen, Zhengyang Tang, Shangpin Peng, Liang Wu, Anran Zhang, Weinong Wang, Yiduo Guo, Chenxin Li, Zhengyao Fang, Yang Ding, Junyi Li, Fei Tang, Zheng Ruan, Yi Zhang, Xingran Zhou, Dingchen Yang, Sunqi Fan, Zhiyi Wan, Han Hu, Xin Lai, Pengyuan Lyu, Chengquan Zhang

机构 * PhoneWorld Mock App Factory（手机世界模拟应用工厂） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)

AI总结 研究移动GUI代理在数字环境中的运行，基于Hy3.0-VL-A3B构建HyMobileAgent，开发数据和环境协同扩展框架，集成多种机制和管道，提出渐进式训练方法，解决移动交互关键瓶颈。

What Memory Do GUI Agents Really Need? From Passive Records to Active Task-Driving States

GUI代理真正需要什么样的记忆？从被动记录到主动任务驱动状态

Chen Liu, Ling Chen, Hanzhang Zhou, Xu Zhang, Quyu Kong, Panrong Tong, Wenhao Wang, Xin Yu, Steven Hoi, Yue Wang

机构 * Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） ； University of Technology Sydney（悉尼科技大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)

AI总结 提出主动任务驱动记忆（ATMem），将GUI代理的记忆从被动存储转变为主动维护的执行状态，并引入STR-GRPO强化学习方法，通过对比记忆开启和关闭的轨迹来选择性使用记忆，以提升长周期任务执行的准确性和效率。

Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

计算机使用代理的不确定性量化：跨视觉语言模型和GUI基础数据集的基准测试

Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Intel Labs（英特尔实验室） ； Capital One AI Labs（Capital One AI实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出跨机制基准Argus，评估27种后验不确定性量化方法在4个VLM代理和4个数据集上的表现，发现UQ排名在固定模型内跨数据集稳定，但跨模型类别和接口时下降，隐藏状态和密度方法最稳定。

ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents

ComponentBench：诊断计算机使用智能体的组件级故障

Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang, Shuyan Zhou

机构 * Duke University（杜克大学） ； Amazon AGI SF Lab（亚马逊AGI旧金山实验室） 纠错

专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出ComponentBench基准及诊断流水线，评估7种计算机使用智能体在4种观测动作空间下的表现，发现观测动作空间会显著影响性能，且空间操作仍是智能体的挑战。

Comments Accepted at COLM 2026. 30 pages (10 pages main text), 10 figures, 15 tables. Website: https://componentbench.com Code: https://github.com/TianchenGuan/ComponentBench Data: https://huggingface.co/datasets/TianchenGuan/ComponentBench

VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments

VTInstructor：面向连续环境中导航指令生成的视觉轨迹提示

Haolin Yang, Yuxing Long, Zihan Yang, Hao Dong

机构 * Peking University（北京大学） ； PrimeBot 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 本研究提出首个面向连续环境的VLN指令生成框架VTInstructor，通过视觉轨迹提示技术生成导航指令，在基准测试中刷新最优性能，提升跟随器成功率并为下游任务带来数据增强增益。

Comments accepted by ACM MM 2026

Proxy-Validated LLM UX Micro-Simulations: An Artifact-First Protocol for Early-Stage Decision Support

代理验证的大语言用户体验微模拟：一种用于早期决策支持的工件优先协议

Alexandre Cristovão Maiorano

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 该研究提出代理验证的LLM驱动UX微模拟流程，通过代理语料库验证模拟结果，结合多指标对比基线、消融实验分析智能体策略，提供可复现的早期UX决策支持方案。

Comments 27 pages, 5 figures, 15 tables

Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-Policy Self-Distillation

基于反思引导的在线策略自蒸馏的测试时自演进GUI视觉定位

Shiyu Xuan, Zechao Li

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 针对现有GUI视觉定位模型部署后难适配未见界面且无法反思失败探索的问题，提出测试时自演进框架，结合MLLM反思器、反思引导的在线策略自蒸馏等方法，在六个基准上平均提升7.4%准确率，完善了GUI智能体自演进能力。

Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

泛化与引导：用于少样本逆强化学习的奖励分解

Ziyi Liu, Grace Zhang

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究少样本逆强化学习（FM - IRL）问题，提出多任务判别器近邻引导的IRL（MPG）方法，通过学习两个互补奖励组件，在多种有显著变化的任务上验证有效性，平均成功率达81.2%，优于基线。

From Mobile Data to Business Insights: An End-to-End Analytics Framework for Large-Scale Urban Mobility Analysis and Decision Support

从移动数据到商业洞察：用于大规模城市交通分析和决策支持的端到端分析框架

Thiago Andrade, Shazia Tabassum, Miguel E. P. Silva, Ricardo Dinis, Joao Gama

机构 * LIAAD ； INESC-TEC ； Mobile Network Analytics ； NOS SGPS 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过调查城市环境中智能手机用户行为模式应对多领域挑战。开发数据平台，采用先进技术，构建模块化架构，应用可视化技术，模型可处理多种交通分析任务，为城市规划和商业决策提供见解。

Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

奖励条件注意力：奖励设计如何塑造自动驾驶代理的感知

Mohamed Benabdelouahad, Ahmed Djalal Hacini, Nadir Farhi, Aissa Boulmerka

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院） ； Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究奖励设计如何影响自动驾驶强化学习代理的内部注意力模式，发现奖励内容直接决定编码器优先关注的场景元素，且连续碰撞时间惩罚会形成学习性警觉先验。

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

有能力但粗心：计算机使用代理是否遵循情境完整性？

Anmol Goel, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系泛在知识处理实验室（UKP Lab）） ； National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心ATHENE） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出AgentCIBench基准，测试计算机使用代理在跨应用操作时是否泄露不适当信息，发现15个前沿代理中11个在超过50%场景中泄露信息，平均泄露率67.9%。

A History-Aware Visually Grounded Critic for Computer Use Agents

面向计算机使用代理的历史感知视觉基础批评家

Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.CL

AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。

Comments Code: https://github.com/G-JWLee/HiViG

Routing Is Least Learnable Where It Is Most Valuable: Bounds on Representation Routing for Web Agents

路由在最具价值处最不可学习：Web智能体的表示路由边界

Jiaming Wei, Zekun Wu, Adriano Koshiyama, Maria Perez-Ortiz

机构 * University College London（伦敦大学学院） ； Holistic AI 纠错

专题命中 GUI与网页智能体 ：agent(abstract,comments)；分类 cs.CL

AI总结 该研究针对Web智能体的观察模式路由问题，发现路由在智能体最需处因标签不足而不可学，固定合适模式的效果优于多数路由策略，仅稀疏单元有例外。

Comments Preprint. Under review at the Second Workshop for Research on Agent Language Models (REALM), EMNLP 2026 (non-archival track)

Dijkstra as an Oracle for Online Stochastic Shortest Path Navigation with Provable Guarantees

作为具有可证保证的在线随机最短路径导航的神谕的Dijkstra算法

Mansur M. Arief, Ali Akarma, Ahmad Alfan Alfian Irfan

机构 * King Fahd University of Petroleum and Minerals (KFUPM)（法赫德国王石油与矿产大学） ； Islamic University of Madinah（麦地那伊斯兰大学） ； Universitas Muhammadiyah Yogyakarta（日惹穆罕默迪亚大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本研究提出DORA算法，基于Dijkstra算法的可证保证特性，实现高效安全的在线随机最短路径导航，性能与最优值迭代相当且规划工作量显著减少，接触率满足预算要求。

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

UI-Mate：利用上下文内演示推进开放权重基础图形用户界面智能体

Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

机构 * Tencent Hy Frontier Team（腾讯 Hy 前沿团队） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 UI-Mate是集成环境基训练栈与上下文内演示学习的GUI智能体，在多计算机使用基准上创开放权重SOTA，提升了长周期办公任务的执行可靠性

Comments UI-Mate Technical Report. Project page: https://ui-mate.github.io

Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions

Act2Intention：通过从GUI操作推断用户意图开发主动移动智能体的基准

Xiaokai Yan, Jingtao Ding, Yong Li, Zhiwen Yu

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出Act2Intention框架及基准数据集，构建主动移动智能体，经实验验证该基准可显著提升智能体意图理解、预测与执行性能，为主动智能体研究提供标准化平台。