ServiceNow

Dr-CiK: A Testbed for Foresight-Driven Agents

Dr-CiK：面向预见驱动型智能体的测试平台

Yihong Tang, Andrew Robert Williams, Arjun Ashok, Vincent Zhihao Zheng, Lijun Sun, Alexandre Drouin, Issam H. Laradji, Étienne Marcotte, Valentina Zantedeschi

机构 * McGill University（麦吉尔大学） ； ServiceNow Research（ServiceNow研究院） ； Mila -- Quebec AI Institute（蒙特利尔AI研究院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

AI总结 针对现有上下文辅助预测基准假设上下文已提供的问题，提出Dr-CiK基准，评估智能体从文档语料库中检索、过滤、提炼预测相关上下文并生成预测的能力，实验表明高质量上下文显著提升预测性能，但现有深度研究智能体恢复证据不足5%、易受干扰误导。

Detection Without Correction: A Two-Parameter Decomposition of Multi-Stage LLM Pipelines

无需修正的检测：多阶段LLM流水线的双参数分解

Prashanti Nilayam, Kiran Ramanna, Prashil Tumbade

机构 * Servicenow CA, USA（Servicenow加州美国） 纠错

AI总结 提出检测-条件生成双参数分解框架，揭示多阶段LLM流水线中条件误修正率主导（53-94%）而检测率变化超一个数量级，统一解释准确性平台、逆转等四种现象。