AI Agent

Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-Policy Self-Distillation

基于反思引导的在线策略自蒸馏的测试时自演进GUI视觉定位

Shiyu Xuan, Zechao Li

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 针对现有GUI视觉定位模型部署后难适配未见界面且无法反思失败探索的问题，提出测试时自演进框架，结合MLLM反思器、反思引导的在线策略自蒸馏等方法，在六个基准上平均提升7.4%准确率，完善了GUI智能体自演进能力。

SkillLens: Visual Skill Cards for Retrieval-Augmented GUI Action Prediction and On-Policy Distillation

SkillLens：用于检索增强型GUI动作预测与在线策略蒸馏的可视化技能卡片

Zhou Liu, Ligang Huang, Zeli Su, Zewei Pan, Zhaoyang Han, Xing Chen, Yuanfeng Song, Wentao Zhang

专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.AI

AI总结 SkillLens提出可视化技能卡片（VSCs），结合轨迹转卡片方法与检索增强机制，在两个多模态网页基准上提升了冻结GPT-5.4-mini执行器及Qwen3-VL-2B学生模型的GUI动作预测性能。

Beyond Screenshots: Evaluating VLMs' Understanding of UI Animations

超越截图：评估VLMs对UI动画的理解

Chen Liang, Xirui Jiang, Naihao Deng, Eytan Adar, Anhong Guo

机构 * University of Michigan（密歇根大学） 纠错

专题命中 GUI与网页智能体 ：AI agent(abstract)；分类 cs.CL

AI总结 本文提出AniMINT数据集，评估VLMs对动态UI动画的理解能力，发现其在基础运动检测上可靠，但高阶解释仍不一致，揭示了模型性能的关键瓶颈。

Comments Published in ACL 2026 Findings

MemGUI-Bench: Benchmarking Memory of Mobile GUI Agents in Dynamic Environments

MemGUI-Bench: 动态环境中移动GUI代理内存能力的基准测试

Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, Qinyi Luo, Shunye Tang, Yuxiang Chai, Weifeng Lin, Han Xiao, WenHao Wang, Siheng Chen, Zhengxi Lu, Gao Wu, Hao Wang, Liang Liu, Yong Liu

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 MemGUI-Bench提出一个综合的内存导向基准测试，通过128个任务评估移动GUI代理的内存能力，揭示了各系统中的显著内存缺陷并提出5种设计改进措施。

Comments Accepted to ACM MM 2026. Project page: https://memgui-bench.github.io/