ServiceNow

Forecasting Downstream Performance of LLMs With Proxy Metrics

通过代理指标预测大语言模型的下游性能

Arkil Patel, Siva Reddy, Marius Mosbach, Dzmitry Bahdanau

机构 * Mila – Quebec AI Institute & McGill University（魁北克AI研究院与麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； ServiceNow Research Periodic Labs（ServiceNow研究周期实验室） 纠错

AI总结 本文提出通过聚合候选模型的下一个token分布中的token级统计信息（如熵、top-k准确率和专家token排名）来构建代理指标，以更准确地预测大语言模型的下游性能，优于传统的损失和计算量基线方法。

Comments Preprint. 31 pages

R2V Agent: Teaching SLMs When to Ask for Help

R2V Agent：教SLMs何时请求帮助

Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

机构 * New York University Tandon School of Engineering（纽约大学Tandon工程学院） ； University of California, San Diego（加州大学圣地亚哥分校） ； Stanford University（斯坦福大学） ； ServiceNow Research（ServiceNow研究） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） 纠错

AI总结 R2V-Agent通过风险校准的SLM-LLM路由框架提升交互代理的可靠性，结合小型语言模型策略、更强的教师LLM、轻量级过程验证器和校准的步骤路由器，在多个基准测试中显著提升性能与成本效率。