WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting
世界杯竞技场:语言模型和深度研究代理在足球预测上的细粒度评估
机构 * Shanghai Jiao Tong University(上海交通大学) ; McGill University(麦吉尔大学) ; University College London(伦敦大学学院)
AI总结 介绍世界杯竞技场这一语言模型和深度研究代理的动态基准,用于足球预测。模型赛前接收证据或自行搜索信息进行多项预测,赛后与实际结果对比。通过多指标评估104场比赛和13个系统,展示不同模型表现及与基线对比情况,且新赛程可添加用于评估未来模型。