ServiceNow

Rethinking Literature Search Evaluation: Deep Research Helps, and Human Citation Lists Are Not a Ground Truth

重新思考文献检索评估：深度研究有帮助，且人类引用列表并非金标准

Gaurav Sahu, Laurent Charlin, Christopher Pal

机构 * Mila – Quebec AI Institute（魁北克AI研究所） ； HEC Montréal（蒙特利尔HEC商学院） ； ServiceNow Research（ServiceNow研究） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； Université de Montréal（蒙特利尔大学） ； Polytechnique Montréal（蒙特利尔理工学院） 纠错

AI总结 本文通过改进检索流程和检验人类引用列表作为评估目标的可靠性，发现深度研究管道显著提升召回率，而人类引用中仅51%被判定为中等相关以上，建议采用多维度评估。

EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents

EVA-Bench：一种用于评估语音代理的新型端到端框架

Tara Bogavelli, Gabrielle Gauthier Melançon, Katrina Stankiewicz, Oluwanifemi Bamgbose, Fanny Riols, Hoang H. Nguyen, Raghav Mehndiratta, Lindsay Devon Brin, Joseph Marinier, Hari Subramani, Anil Madamala, Sridhar Krishna Nemala, Srinivas Sunkara

机构 * ServiceNow 纠错

AI总结 提出EVA-Bench框架，通过机器人间音频对话模拟和复合指标（EVA-A和EVA-X）全面评估语音代理的准确性和体验质量。

Comments Work in progress