DR-Arena: an Automated Evaluation Framework for Deep Research Agents
DR-Arena:深度研究智能体的自动化评估框架
机构 * National University of Singapore(国立新加坡大学) ; Nanyang Technological University(南洋理工大学) ; Singapore Management University(新加坡管理学院) ; Singapore University of Technology and Design(新加坡科技设计大学)
AI总结 针对大语言模型作深度研究智能体时任务性能评估难的问题,提出DR-Arena自动化评估框架,通过动态调查、构建实时信息树、自动考官出题及自适应进化循环提升任务复杂性来评估,实验证明其与人类偏好对齐效果好,可替代人工裁决。
Comments 22 pages, 8 figures. Accepted to ACL 2026 as an oral presentation and selected as an SAC Highlight
Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 27130-27152, 2026