视觉大模型 / VLM

Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

通过自主经验探索与事后经验利用赋能GUI智能体任务规划

Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出PEEU方法，通过自主探索环境发现经验并利用事后经验合成严格对齐的高层训练数据，提升小型多模态大语言模型在GUI任务中的规划与跨网站泛化能力。

Comments Accepted to ACL 2026 Main

PhysReflect-VLA: Physical Feasibility and Self-Reflective Regulation for Reliable Vision-Language-Action Policies

PhysReflect-VLA：面向可靠视觉-语言-动作策略的物理可行性与自反思调节

Jiayu Yang, Tao Yang, Weijun Li, Xiang Chang, Fei Chao, Changjing Shang, Qiang Shen

机构 * Xiamen University（厦门大学） ； Aberystwyth University（阿伯里斯特威斯大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 提出PhysReflect-VLA框架，通过物理可行性评估和结构化自反思增强VLA策略，在闭环控制中实现稳定多阶段操作，平均成功率提升5.4%。

PAMAE: Phase-Aware-MoE Action Experts Towards Reliable Flow-Matching Vision-Language-Action Policies

PAMAE: 面向可靠流匹配视觉-语言-动作策略的相位感知MoE动作专家

Jiayu Yang, Tao Yang, Xiang Chang, Fei Chao, Changjing Shang, Qiang Shen

机构 * Department of Artificial Intelligence, School of Informatics, Xiamen University（厦门大学信息学院人工智能系） ； Department of Computer Science, Aberystwyth University（阿伯里斯特威斯大学计算机科学系） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 针对多阶段机器人操作中VLA模型动作生成不可靠的问题，提出即插即用的相位感知混合专家动作模块PAMAE，通过稀疏专家混合和相位感知路由提升阶段一致性，在模拟任务中成功率提升9.2%。

BAT-Nav: Budget-Aware Arbitration and Termination for Long-Horizon Semantic Navigation

MORN: 为资源理性长周期导航的元认知目标-目标调节

Xi Lin, Kangyi Wu, Jiayi Li, Jiaqiao Tang, Qingrong He, Lin Zhao

机构 * LCSR Lab, Johns Hopkins University（约翰霍普金斯大学LCSR实验室） ； Xi’an Jiaotong University（西安交通大学） ； JD Explore Academy, Beijing, China（京东探索研究院，北京，中国） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出MORN，一种基于双过程理论的元认知导航架构，通过引入资源理性机制，解决传统导航系统在长周期任务中因缺乏全局资源意识导致的资源浪费问题，提升了目标完成率和任务效率。