ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents
ToolCUA:迈向计算机使用代理的最优GUI工具路径协调
机构 * Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团) ; Fudan University(复旦大学) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
AI总结 本文提出ToolCUA,通过分阶段训练范式学习最优GUI-工具路径选择,利用交互式轨迹缩放管道和工具引导的GUI RFT提升关键切换点决策,实验显示其在OSWorld-MCP上准确率达46.85%,优于基线模型66%,证明了有效的GUI-工具协调。