AI Agent

Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

活动帧：面向智能体记忆与回放的确定性屏幕活动编译

Nossa Iyamu

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出确定性零模型流水线将屏幕活动编译为智能体记忆，可缩小上下文体积、提升问答准确率，还能获取智能体成本模型所需的例程开销比率与重复率等参数，相关资源开源。

Comments 14 pages, 5 figures, 4 tables

Screenshots or Tools? Eliciting Tool Use and Managing Multimodal Context in Hybrid GUI-MCP Computer-Use Agents

截图还是工具？在混合GUI-MCP计算机使用智能体中引出工具使用并管理多模态上下文

Siqi Fan, Minghao Li, Xiaoqian Ma, Wenhui Tan, Xiusheng Huang, Juntong Wu, Liujie Zhang, Shuo Shang, Weihang Chen

专题命中 GUI与网页智能体 ：tool use(title)；agent(abstract)；分类 cs.AI

AI总结 该研究针对混合GUI-MCP计算机使用智能体，发现工具使用存在采用缺口，通过调整工具奖励与上下文压缩优化，提升了智能体性能并降低输入成本。

From Bug Reports to Browser-Executable Procedures: An LLM-Driven Agent for Web GUI Bug Reproduction

从错误报告到浏览器可执行流程：一种大语言模型驱动的Web GUI错误复现智能体

Cunming Zhang, Yu Pei, Michail Papadakis

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.SE

AI总结 本文提出ReBug智能体系统，通过分阶段驱动真实浏览器复现Web GUI错误，在667条真实报告上的评估显示其性能优于基线，可有效支持基于报告的浏览器错误复现。

Comments 13 pages, 1 figure

Interactive Reward Agent: GUI Task Evaluation via Environment-State Verification

交互式奖励智能体：通过环境状态验证进行图形用户界面任务评估

Chenrui Shi, Yuwei Wu, Yang Liu, Ruining Feng, Zirui Shang, Zhi Gao, Lifeng Fan, Che Sun

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 研究图形用户界面任务评估难题，提出交互式奖励智能体IRA，基于提议验证框架，结合可见界面与环境状态证据。IRA在GUI-RewardBench基准测试中准确率达86.9%，应用于强化学习时实现34.0%的OSWorld成功率，能为训练图形用户界面智能体提供有效奖励信号。

Understanding User Experiences of Computer Use Agents: Design Space and Opportunities for Building Agent UX Prototypes

理解计算机使用代理的用户体验：构建代理用户体验原型的设计空间与机会

Jenny T. Liang, Titus Barik, Jeffrey Nichols, Eldon Schoop, Ruijia Cheng

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Apple（苹果公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 研究计算机使用代理的用户体验，开发其设计考量分类法，经需求引出研究确定原型设计所需活动与能力，创建AgentUXlab，通过用户研究得出代理用户体验原型设计工具的见解与启示。

SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration

SciExplore：评估从科学导航到信息整合的自主智能体

Yinhao Tang, Youqing Fang, Yanan Sun, Wenran Liu, Weiming Zhang, Bin Liu, Kuikun Liu, Wenwei Zhang, Kai Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：autonomous agent(title,abstract)；分类 cs.AI

AI总结 介绍用于评估大语言模型和智能体科学信息检索与推理能力的基准SciExplore，包含四类任务，在其上评估多个先进模型和智能体，发现随着任务复杂度增加性能差距大，凸显当前模型在实际科学信息检索场景中的局限。

Comments 25 pages, 13 figures. Submitted to ACL 2026

SEE: Structure-aware Exploring \& Exploiting for Long-horizon GUI Agent Trajectory Synthesis

SEE：用于长视野GUI代理轨迹合成的结构感知探索与利用

Zhuohang Fan, Beichen Zhang, Yuanfa Li, Changqiao Wu, Wei Liu, Jian Luan, Weigang Zhang

机构 * Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海）） ； Harbin Institute of Technology (Weihai) Qingdao Research Institute（哈尔滨工业大学（威海）青岛研究院） 纠错

专题命中 GUI与网页智能体 ：agent(title)；planning(abstract)；分类 cs.LG

AI总结 针对GUI代理轨迹合成中缺乏高覆盖率长视野轨迹的问题，提出SEE两阶段数据合成框架，通过高效探索和基于图的合成，产生可重复可解释数据，避免虚假循环，提升代理任务成功率和泛化能力，还将发布代码和数据集。

Comments Accepted by ACM International Conference on Multimedia 2026 (ACM MM 2026)

BaRA: Budget-constrained and Reliable Web Data Collection Agent

BaRA: 基于BFS与反思的网络数据收集代理

Soojeong Lee, Joseph Lee, Yongseong Cho, Sunjae Kim, Youngwoo Moon, Kyungwoo Song

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 提出BaRA框架，结合有界广度优先搜索和历史自反思，在固定交互预算下高效收集网站级数据，在链接发现和可下载多模态提取上优于现有方法。

LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents

LUMOS：面向无障碍AI代理的语义操作系统层

Yogeswar Reddy Thota

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；分类 cs.AI

AI总结 提出LUMOS语义层，将操作系统无障碍元数据转化为机器可读蓝图，使AI代理通过结构化UI原语而非截图进行观察-行动循环，降低视觉依赖和成本。

Comments The LUMOS repository is available at https://github.com/thotayogeswarreddy/Lumos.git

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

通过通用关键帧提取桥接VideoQA和视频引导的智能体任务

Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

专题命中 GUI与网页智能体 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出VG-GUIBench基准和TASKER关键帧提取算法，联合考虑任务相关性和场景动态，在VideoQA和视频引导的GUI任务上提升性能。

Comments Accepted by ECCV 2026. Project Page: https://vg-gui-tasker.github.io/

GUI agent: Guided Exploration of User-Sensitive Screens

GUI代理：用户敏感屏幕的引导探索

Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

机构 * Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑）） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 提出一种探索代理，通过系统性地探索查询空间，识别在GUI环境中执行后会导致用户敏感状态的查询，以提升LLM代理的安全性和可靠性。

Whose Agent Are You? Multi-Layer Fingerprinting and Attribution of Autonomous Web Agents

你是谁的代理？自主网络代理的多层指纹识别与归因

Dayeon Kang, Hyejun Jeong, Jade Sheffey, Pubali Datta, Amir Houmansadr

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 针对AI网络代理的隐私与安全挑战，提出基于网络层和浏览器交互行为的多层指纹识别方法，通过决策树分类器实现97%准确率的代理识别与归因。

FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection

FraudSMSWalker: 用于短信到网页欺诈检测的智能体大语言模型基准测试

Y. H. Zhou, Z. M. Ma, Y. J. Zhou, Y. T. Li, H. X. Xiang, Y. M. Cheng, T. L. Chen, K. J. Zhang, Z. H. Nan, J. H. Ni, Z. Wu, Q. Y. Pan, S. Zhang, S. Cheng, M. Y. Luo

机构 * Baimaohui（白猫汇） ； PPSUC（中国人民公安大学） 纠错

专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.CL

AI总结 提出FraudSMSWalker基准，通过屏蔽URL的短信-网页对评估智能体大语言模型在跨渠道欺诈检测中的证据推理能力，发现模型能检测可疑线索但难以保持良性召回。

WebChallenger: A Reliable and Efficient Generalist Web Agent

WebChallenger: 一个可靠且高效的通用型Web智能体

Jayoo Hwang, Xiaowen Zhang, Vedant Padwal

机构 * ML Collective ； longsurf.ai ； Independent（独立研究者） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

AI总结 提出WebChallenger框架，通过PageMem结构化页面表示、分治观察、轻量探索记忆和复合动作工作流，复现人类认知优势，使开源模型在多个Web导航基准上接近前沿专有系统性能。

Human-AI Coordination Zones: A Framework for Designing Human-in-the-Loop Experiences with Agentic AI

人机协调区域：设计具有代理性AI的人机协同体验框架

James Pierce, Vaiva Kalnikaitė, Siddharth Gupta, Brian Granger

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出人机协调框架，通过显著性、参与度和活动三个维度定义协调区域，并提供输入分类、协调曲线和设计模式，用于生成、分析和沟通人机交互体验。

AgenticRL: Self-Refining Agentic Reinforcement Learning for Vision-Conditioned UAV Navigation

面向视觉条件的无人机导航的自优化智能体强化学习

Roohan Ahmed Khan, Yasheerah Yaqoot, Amir Atef Habel, Muhammad Ahsan Mustafa, Dzmitry Tsetserukou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 提出AgenticRL框架，利用多模态GPT智能体自动设计奖励函数、通过闭环自改进优化策略，在多种无人机导航任务中提升性能并实现高成功率。

Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training

Mobile-R1: 通过系统性训练提升基于视觉语言模型的移动代理的交互能力

Jihao Gu, Qihang Ai, Yingyao Wang, Pi Bu, Jingxuan Xing, Zekun Zhu, Wei Jiang, Ziming Wang, Yingxiu Zhao, Ming-Liang Zhang, Jun Song, Yuning Jiang, Bo Zheng

机构 * Future Living Lab, Alibaba Group（未来生活实验室，阿里巴巴集团） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出Mobile-R1系统性训练方法，通过分层课程学习提升移动代理的探索与自我纠正能力，并构建中文移动数据集和基准测试。

Comments 19 pages, 15 figures

AgentLens: Adaptive Visual Modalities for Human-Agent Interaction in Mobile GUI Agents

AgentLens: 为移动GUI代理的人机交互设计自适应的视觉模态

Jeonghyeon Kim, Byeongjun Joung, Junwon Lee, Joohyung Lee, Taehoon Min, Sunjae Lee

机构 * Sungkyunkwan University (SKKU)（成均馆大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出AgentLens，一种自适应使用三种视觉模态的移动GUI代理，通过混合实时视觉交互提升人机交互的透明度与多任务处理能力，实验显示其在可用性和用户接受度上表现优异。

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

基于轨迹诱导的偏好优化的移动GUI代理隐私个性化

Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； New York University（纽约大学） ； Xi'an Jiaotong University（西安交通大学） ； Australian National University（澳大利亚国立大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 本文研究移动GUI代理的隐私个性化问题，提出轨迹诱导偏好优化方法，通过偏好强度加权和填充门机制提升隐私保护与任务执行效率。

Comments 10 pages, 6 figures, 3 tables

Same Outcomes, Different Journeys: A Trace-Level Framework for Comparing Human and GUI-Agent Behavior in Production Search Systems

相同结果，不同旅程：一种基于轨迹层面的框架，用于比较人类和GUI代理在生产搜索系统中的行为

Maria Movin, Claudia Hauff, Aron Henriksson, Panagiotis Papapetrou

机构 * Spotify, Sweden（Spotify瑞典） ； Spotify, Netherlands（Spotify荷兰） ； Stockholm University, Sweden（斯德哥尔摩大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出一个基于轨迹的评估框架，比较人类和GUI代理在任务结果、努力、查询构建和界面状态导航中的行为差异，通过实验证明代理行为与人类不同，强调轨迹层面诊断的重要性。

Structured Distillation of Web Agent Capabilities Enables Generalization

结构化蒸馏Web代理能力以实现泛化

Xing Han Lù, Siva Reddy

机构 * Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.LG

AI总结 通过结构化轨迹生成框架，利用Gemini 3 Pro生成3000条轨迹并微调学生模型，实现WebArena 41.5%的性能，超越其他模型，且能力迁移至未见环境。

WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

WebTestPilot: 通过符号化GUI元素推断或acles实现基于自然语言规范的端到端Web测试

Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong

专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.SE

AI总结 WebTestPilot通过符号化GUI元素推断隐式或acles，解决自然语言规范下的端到端Web测试中的隐式或acles推断和概率推理挑战，实现99%的任务完成率和高精度召回率。

GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis

GUIDE：通过分层诊断进行可解释的GUI代理评估

Yuwen Zhai, Runze Li, Liang Wang, Nian Shi, Liwu Xu, Wei Zhang, Ran Lin, Bo Xu, Benlei Cui

机构 * Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 GUIDE通过分层诊断框架对GUI代理轨迹进行分解评估，提升评估的准确性和可解释性，有效解决长周期任务中的评估问题。

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

VeriOS: 基于查询的人机GUI交互以实现可信操作系统代理

Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

AI总结 VeriOS通过引入查询驱动的人机GUI交互框架，提升操作系统代理在不可信环境中的任务完成能力，实验显示其在不可信场景中性能显著提升，同时保持正常场景下的稳定性。

BloClaw: An Omniscient, Multi-Modal Agentic Workspace for Next-Generation Scientific Discovery

BloClaw：面向下一代科学发现的全能多模态智能工作空间

Yao Qin, Yangyang Yan, Jinhua Pang, Xiaoming Zhang

机构 * AI Innovation Department, Beijing 1st Biotech Group Co., Ltd.（北京第一生物技术集团有限公司AI创新部） ； Diplomatic Negotiation Simulation and Data Lab（外交谈判模拟与数据实验室） ； First Medical Center, Chinese PLA General Hospital（中国人民解放军总医院第一医学中心） 纠错

专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 本文提出BloClaw，一种多模态操作系统，通过XML-Regex路由协议、运行时状态拦截沙箱和状态驱动动态视口UI三大创新，提升科学计算助手的鲁棒性和自适应能力。

MANA: Towards Efficient Mobile Ad Detection via Multimodal Agentic UI Navigation

MANA：通过多模态代理UI导航实现高效的移动广告检测

Yizhe Zhao, Yongjian Fu, Zihao Feng, Hao Pan, Yongheng Deng, Yaoxue Zhang, Ju Ren

机构 * Department of Computer Science and Technology（计算机科学与技术系） ； University of Southern California（南加州大学） ； Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory of Internet Architecture（互联网架构国家重点实验室） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出MANA框架，通过整合多种信号实现高效移动广告检测，提升准确率和效率，有效识别隐蔽恶意广告。

Safe and Scalable Web Agent Learning via Recreated Websites

通过重建网站实现安全且可扩展的网络代理学习

Hyungjoo Chae, Jungsoo Park, Alan Ritter

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

AI总结 VeriEnv通过构建可验证的合成环境，使网络代理在安全环境下实现自我进化和泛化能力。

Expanding LLM Agent Boundaries with Strategy-Guided Exploration

通过策略引导探索扩展LLM代理边界

Andrew Szot, Michael Kirchhof, Omar Attia, Alexander Toshev

机构 * Apple（苹果公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.LG

AI总结 SGE通过引导策略探索提升LLM代理的学习效率和性能，使其能解决基础模型无法处理的任务。

From Natural Language to Materials Discovery:The Materials Knowledge Navigation Agent

从自然语言到材料发现：材料知识导航代理

Genmao Zhuang, Amir Barati Farimani

机构 * Department of Materials Science and Engineering, Carnegie Mellon University（材料科学与工程系，卡内基梅隆大学） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.LG

AI总结 材料知识导航代理通过自然语言处理技术，实现了材料发现的自动化和智能化，能够从文献和数据库中提取关键信息，提出新的材料候选方案。

Comments 22 pages,5 figures

An Autonomous RL Agent Methodology for Dynamic Web UI Testing in a BDD Framework

动态Web UI测试中基于BDD框架的自主RL代理方法

Ali Hassaan Mughal

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.SE

AI总结 本文提出一种基于BDD框架的自主RL代理方法，用于动态Web UI测试，通过强化学习提升测试效率和覆盖率。

Comments 9 pages, 1 graph, couple algorithms

Journal ref EAI Endorsed Transactions on AI and Robotics 4(1) (2025)