AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
工具使用作为行动：迈向移动核心网络中的智能体控制
专题命中 GUI与网页智能体 ：agentic(title,abstract)；tool use(title)；agent(abstract)；AI agent(abstract)
AI总结 本文提出基于智能体AI的移动核心网络工具接口设计与原型，利用MCP和A2A协议实现意图驱动任务，并分析端到端延迟。
Comments Accepted for presentation at IEEE PIMRC 2026
ARC：将大型多模态需求文档编译为可运行软件系统
专题命中 GUI与网页智能体 ：agentic(title,summary_cn)；workflow(abstract)；分类 cs.SE
AI总结 提出Agentic需求编译（ARC）技术，通过双向测试驱动智能体循环，将多模态DSL文档直接编译为可运行Web系统，在GUI测试通过率上平均提升50.6%。
Comments This work is accepted at issta'26 (SIGSOFT International Symposium on Software Testing and Analysis)
基于移动具身AI网络的数字孪生同步
专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；multi-agent(abstract)
AI总结 本文提出基于移动具身AI网络的数字孪生同步框架，通过五阶段闭环工作流和分层优化算法，实现高保真同步并降低偏差。
下一代验证码：利用认知差距实现可扩展且多样化的GUI智能体防御
机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； MetaAgentX ； University College London（伦敦大学学院）
专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出Next-Gen CAPTCHAs框架，通过利用人机在交互感知、记忆、决策和行动上的认知差距，设计动态任务以区分生物用户与AI智能体，实现可扩展的防御。
Comments Project page at https://greenoso.github.io/NextGen-CAPTCHAs_webpage/
代理奖励建模：通过在线主动交互验证GUI代理
机构 * MAIS, Institute of Automation, Chinese Academy of Sciences ； School of Artificial Intelligence, University of Chinese Academy of Sciences ； School of Computer Science \& Technology, Beijing Jiaotong University
专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(title)
AI总结 VAGEN通过引入代理交互验证范式，解决GUI代理评估中的视觉限制问题，提升评估准确性与性能。
Comments 25 pages, 12 figures
AgentGUI：用于观测与调控长期运行AI智能体的界面
机构 * ETH Zürich（苏黎世联邦理工学院）
专题命中 GUI与网页智能体 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL
AI总结 针对AI智能体观测与调控的界面缺失问题，研究人员推出AgentGUI，通过轨迹可视化、手动自动调控等功能提升智能体任务处理效率，成果已开源。
Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证
机构 * Tsinghua University（清华大学）
专题命中 GUI与网页智能体 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.SE
AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。
MUZZLE: 针对间接提示注入攻击的自适应智能体红队测试框架
机构 * Northeastern University（东北大学） ； Mozilla Corporation（Mozilla公司）
专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。
OpenForgeRL：在任何环境中训练原生利用工具的智能体
机构 * Columbia University（哥伦比亚大学） ； Dartmouth College（达特茅斯学院） ； Microsoft Research（微软研究院）
专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；tool use(abstract)；agentic(abstract)
AI总结 研究针对现代AI智能体依赖复杂推理工具难端到端训练的问题，提出OpenForgeRL框架，通过轻量级代理和Kubernetes编排器，在多环境下对基于工具的智能体端到端训练，验证了框架效果并分析了工具选择和RL对智能体行为的影响。
Comments added github link
PhoneWorld: 扩展手机使用代理环境
机构 * Tencent Hunyuan（腾讯文英） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院（ Gallagher 学院））
专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出PhoneWorld，一个可复用的管道，将真实GUI轨迹和截图转化为可控的手机使用环境、可执行任务、自动验证器和训练回滚，从而规模化构建手机代理环境。
Comments work in progress
InfiniteWeb: 面向GUI智能体训练的可扩展Web环境合成
机构 * Peking University（北京大学） ； Nanjing University（南京大学） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 提出InfiniteWeb系统，通过统一规范、任务驱动测试和多样化种子设计自动生成功能完备的Web环境，解决GUI智能体训练数据稀缺问题，在OSWorld和Online-Mind2Web上取得显著性能提升。
Comments Accepted to ACL 2026 Main
MAESTRO：在具有GUI的对话代理中通过用户偏好适应GUI并引导导航
专题命中 GUI与网页智能体 ：workflow(abstract,abstract_cn)；agent(abstract)；agentic(abstract)
AI总结 MAESTRO通过提取用户偏好并指导工作流导航，提升对话代理中GUI的适应性和导航效率，通过实验验证其有效性。
Comments 19 pages, 6 figures, 2 tables. Published at UIST '26. This is the camera-ready version, posted under CC BY 4.0
Journal ref Proceedings of the 39th Annual ACM Symposium on User Interface Software and Technology (UIST '26), November 2-5, 2026, Detroit, MI, USA
截图还是工具？在混合GUI-MCP计算机使用智能体中引出工具使用并管理多模态上下文
专题命中 GUI与网页智能体 ：tool use(title)；agent(abstract)；分类 cs.AI
AI总结 该研究针对混合GUI-MCP计算机使用智能体，发现工具使用存在采用缺口，通过调整工具奖励与上下文压缩优化，提升了智能体性能并降低输入成本。
交互式奖励智能体：通过环境状态验证进行图形用户界面任务评估
专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI
AI总结 研究图形用户界面任务评估难题，提出交互式奖励智能体IRA，基于提议验证框架，结合可见界面与环境状态证据。IRA在GUI-RewardBench基准测试中准确率达86.9%，应用于强化学习时实现34.0%的OSWorld成功率，能为训练图形用户界面智能体提供有效奖励信号。
理解计算机使用代理的用户体验：构建代理用户体验原型的设计空间与机会
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Apple（苹果公司）
专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI
AI总结 研究计算机使用代理的用户体验，开发其设计考量分类法，经需求引出研究确定原型设计所需活动与能力，创建AgentUXlab，通过用户研究得出代理用户体验原型设计工具的见解与启示。
面向视觉条件的无人机导航的自优化智能体强化学习
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.AI
AI总结 提出AgenticRL框架，利用多模态GPT智能体自动设计奖励函数、通过闭环自改进优化策略，在多种无人机导航任务中提升性能并实现高成功率。
重新思考GUI视觉代理中历史截图的标记剪枝：语义、空间和时间视角
机构 * Sichuan University（四川大学） ； Sun Yat-sen University（中山大学） ； Australian National University（澳大利亚国立大学） ； Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与网页智能体 ：agent(title,abstract)
AI总结 本文从语义、空间和时间角度研究GUI视觉代理中历史截图的标记剪枝，发现背景区域对界面状态转换有重要价值，随机剪枝在空间结构保留上更有效，且GUI代理具有近期效应，通过分配更多预算给近期截图可降低计算成本而不影响性能。
HeRo: 异构移动SoC上智能体RAG的自适应编排
专题命中 GUI与网页智能体 ：agentic(title,abstract)
AI总结 提出HeRo框架，通过基于性能分析的在线调度器，结合形状感知子阶段划分、关键性加速器映射和带宽感知并发控制，在异构移动SoC上实现低延迟智能体RAG，端到端延迟降低达10.94倍。
Comments Will appear in DAC'2026, Camera Ready
GUIDE：通过实时网络视频检索和即插即用标注解决GUI代理的领域偏见
机构 * Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory for General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） ； Beijing Institute of Technology（北京理工大学）
专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.AI
AI总结 GUIDE通过实时网络视频检索和即插即用标注框架，解决GUI代理的领域偏见问题，通过视频语义分析和自动化标注流程提升代理对特定应用的操作流程和UI布局的理解，实验表明其在多代理系统和单模型代理中均能提升性能。
Comments Accepted to ECCV 2026. 30 pages: 15-page main paper followed by supplementary material as an appendix (Sections A-F). Project page: https://sharryXR.github.io/GUIDE/
DataClaw0: 从原始流中智能定制多模态数据
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学）
专题命中 GUI与网页智能体 ：agentic(title)；分类 cs.AI、cs.LG
AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。
Comments add base model: Qwen3.5-27B
6G：从连接基础设施到有保障的数字服务
专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)
AI总结 研究6G网络转折点问题，提出重新排列控制优先等五个优先事项的观点，通过控制契约、保障经济、网络MCP平台及标准化阐述等成果实践该观点，并给出三阶段路线图区分标准与部署目标等。
Comments Submitted to IEEE Access (Manuscript ID: Access-2026-37371). 29 pages, 20 figures, 92 references
平面跟踪中的反馈速度控制
机构 * Department of Mechanical and Aerospace Engineering, University of South Florida（南佛罗里达大学机械与航空航天工程系）
专题命中 GUI与网页智能体 ：agent(summary_cn,abstract)
AI总结 针对领航-跟随平面跟踪问题，提出一种反馈速度控制律与恒定方位角转向策略，实现并排编队并证明渐近稳定性，扩展至N-agent链网络。
EmbodiedGen V2：用于具身人工智能的具有智能体特性、可用于模拟的3D世界引擎
机构 * Horizon Robotics（地平线机器人） ； WuwenAI（悟文智能）
专题命中 GUI与网页智能体 ：agentic(title)
AI总结 研究提出EmbodiedGen V2这个用于具身智能的3D世界引擎，通过统一表示解决资产组装问题。其生成环境支持多种任务，评估中资产管道表现良好，强化学习提升了模拟成功率，确立了它作为可扩展模拟基础设施的地位。
Comments Minor revisions to presentation; technical content and results remain unchanged. Project page: horizonrobotics.github.io/EmbodiedGen
OSWorld2.0：在长时域真实世界任务上基准测试计算机使用智能体
机构 * XLANG Lab（XLANG实验室）
专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)；分类 cs.AI
AI总结 提出OSWorld 2.0基准，包含108个长时域计算机使用工作流，通过复杂真实任务揭示当前智能体在约束跟踪、动态信息处理等方面的局限，最佳模型仅完成20.6%任务。
Comments 68 pages, 42 figures. Equal contribution: Mengqi Yuan, Zilong Zhou, and Xinzhuang Xiong
建模网络代理中不同的人类交互
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Duke University（杜克大学）
专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.CL
AI总结 本文通过收集400条真实用户网络导航轨迹，识别四种人机交互模式，并训练语言模型预测用户干预时机，将干预预测准确率提升61.4%-63.4%，用户评价的代理有用性提高36.8%。
Comments Preprint
Tinker Tales：一个用于儿童与AI共同创意故事讲述的有形对话系统
机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； School of Nursing, Emory University（埃默里大学护理学院）
专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；分类 cs.AI
AI总结 提出Tinker Tales有形对话系统，通过结合物理故事板、NFC玩具和移动应用，支持儿童与AI在四个叙事阶段进行协作故事创作，并发现提示框架影响儿童叙事贡献的形式和一致性。
Comments Accepted to SIGDIAL 2026
Web 智能体应使用类型化动作而非基于点击的浏览
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 GUI与网页智能体 ：workflow(abstract)；agentic(abstract)；分类 cs.AI
AI总结 本文提出通过语义层支持的类型化动作（web verbs）替代低层交互原语，以构建可靠、可审计的Web智能体，并通过案例展示其优势。
Comments Accepted to the ICML 2026 Position Paper Track
UI-MOPD：用于持续GUI智能体学习的多平台策略蒸馏
机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Xiaomi（小米） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Zhejiang University（浙江大学） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 针对构建多平台GUI智能体的挑战，构建高质量数据集Uni-GUI，提出UI-MOPD方法，通过多教师策略蒸馏实现持续学习，动态选教师并转移行为先验，实验证明其能平衡跨平台能力保留与新平台适应。
Comments Technical report. 27 pages, 7 figures, 7 tables
具身智能体自主掌控：最小接口零样本智能体在视觉语言导航中可媲美工业级策略
机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究所） ； Adelaide University（阿德莱德大学） ； Responsible AI Research Centre（负责任人工智能研究中心） ； CSIRO Data61（联邦科学与工业研究组织数据61中心） ； The University of Queensland（昆士兰大学）
专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)
AI总结 本研究提出智能具身控制，以零样本导航为测试平台，评估三种智能体框架，发现最小接口下部分框架可媲美工业级策略，同时揭示模型、框架与接口对具身智能体的互补作用。
(AI)看见你看不见的：利用第三方移动代理中的新攻击面
专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)
AI总结 本文识别了第三方移动代理在屏幕感知和通道滥用方面的两种新攻击面，并设计了七种具体攻击，证明恶意应用可在无权限下劫持代理行为。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈