ServiceNow

Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions

超越自然性：基于语言维度探究自动文本转语音评估器

Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

机构 * ServiceNow（ServiceNow公司） 纠错

AI总结 该研究构建了首个TTS维度级元评估基准，测试发现MOS预测器聚焦声学信号质量，Audio-LLM评估器检测能力具选择性且依赖提示，两类方法均难捕捉语言结构化语音错误，相关资源已公开。

Comments Work in progress

ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications

ESF-Bench：针对现实世界企业应用的具有挑战性的槽填充场景基准测试

Toby Liang, Gopal Sarda, Sagar Davasam, Vikas Yadav

机构 * ServiceNow（ServiceNow公司） 纠错

AI总结 针对大语言模型在企业实际部署中槽填充面临的挑战，介绍ESF-Bench基准，它含多轮样本和槽，跨越多个领域，揭示了当前模型局限性，还公开了数据集、分类法及评估代码以推动该领域研究。

Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

双置信对比解码用于检索增强生成

Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji

机构 * ServiceNow Research（ServiceNow研究院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

AI总结 针对多文档检索增强生成中的内部证据冲突问题，提出无需训练的双置信对比解码方法，结合文档级和词元级置信度选择正负流，在DRQA等基准上取得最佳平均性能。

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign: LLM代理的上下文隐私对齐

Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian, Jimmy Lin, Spandana Gella

机构 * University of Waterloo（滑铁卢大学） ； ServiceNow AI Research（ServiceNow AI 研究） ； McGill University（麦吉尔大学） ； Mila -- Quebec AI Institute（米拉——魁北克人工智能研究所） 纠错

AI总结 提出PrivacyAlign数据集，通过人类标注对齐LLM代理的隐私决策，并引入基于标注的奖励建模以提升隐私对齐性能。

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

迈向无风险的开源权重模型：在LLM中分离公共与私有能力

Charbel El Feghali, Arkil Patel, Nicholas Meade, Spandana Gella, Verna Dankers, Siva Reddy

机构 * Mila and McGill University（Mila和麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； ServiceNow Research（ServiceNow研究） ； McGill-NLP/tiered-language-models（麦吉尔-自然语言处理/分层语言模型） 纠错

AI总结 提出层级语言模型（TLM），通过单一权重集和秘密密钥实现多级能力控制，公共配置保持基础能力，密钥配置解锁私有能力，抵抗微调提取和密钥部分泄露。

Comments Preprint. 28 pages

REDACT: A Systematically Controlled Multilingual Benchmark for Personal Information Detection

REDACT：一个系统控制的个人信息检测多语言基准

Guneesh Vats, Anubha Agrawal, Shikha Singhal, Ajita Dash, Praison Selvaraj, Vidhan Jhawar, Ranga Prasad Chenna, Bharadwaj Y M G

机构 * ServiceNow 纠错

AI总结 提出REDACT基准，包含13,427条记录、51种实体类型、25种语言，通过强度-2覆盖阵列采样控制9个生成轴，并引入实体级元数据（披露状态、形式、GDPR敏感层级）以支持分层评估，揭示检测器在敏感数据上的架构依赖性失败模式。

Comments 14 pages, 5 figures

DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction

DRFLOW：用于个性化工作流预测的深度研究基准

Md Tawkat Islam Khondaker, Raymond Li, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Issam H. Laradji

机构 * ServiceNow AI Research（ServiceNow人工智能研究） 纠错

AI总结 提出DRFLOW基准，评估AI代理从异构源预测个性化工作流的能力，包含5领域100任务，并设计7个诊断指标，实验显示现有代理性能有限。

MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval

MCompassRAG：主题元数据作为段落级检索的语义指南针

Amirhossein Abaskohi, Raymond Li, Gaetano Cimino, Peter West, Giuseppe Carenini, Issam H. Laradji

机构 * University of British Columbia（不列颠哥伦比亚大学） ； University of Salerno（萨莱诺大学） ； ServiceNow Research（ServiceNow研究院） 纠错

AI总结 提出MCompassRAG框架，通过主题元数据增强段落表示，利用LLM蒸馏训练轻量检索器，实现主题感知检索，在六个基准上平均信息效率提升8.24%，延迟降低5倍以上。

SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG

SproutRAG: 基于注意力引导的树搜索与渐进嵌入的长文档RAG

Amirhossein Abaskohi, Issam H. Laradji, Peter West, Giuseppe Carenini

机构 * University of British Columbia（不列颠哥伦比亚大学） ； ServiceNow Research（ServiceNow研究院） 纠错

AI总结 提出SproutRAG，通过注意力引导构建句子级分块树，实现多粒度检索，无需额外LLM调用，平均信息效率提升6.1%。

Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents

在线技能与记忆模块是否总是值得其令牌消耗？Web代理的预算约束研究

Sina Hajimiri, Masih Aminbeidokhti, Jose Dolz, Ismail Ben Ayed, Issam H. Laradji, Spandana Gella, Nicolas Gontier

机构 * ServiceNow AI Research（ServiceNow AI 研究院） ； ÉTS Montreal（蒙特利尔高等技术学院） ； University of British Columbia（不列颠哥伦比亚大学） ； McGill University（麦吉尔大学） 纠错

AI总结 在固定推理预算下，对比三种在线增强模块与令牌匹配的基线，发现基线在总成功率上匹配或超越所有增强方法，且常使用更少令牌。

AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility

AgentBeats：面向开放性、标准化和可复现性的智能体评估代理化

Xiaoyuan Liu, Jianhong Tu, Yuqi Chen, Siyuan Xie, Sihan Ren, Tianneng Shi, Gal Gantar, Evan Sandoval, Donghyun Lee, Daniel Miao, Peter J. Gilbert, Nick Hynes, Mauro Staver, Warren He, David Marn, Andrew Low, Xi Zhang, Elron Bandel, Michal Shmueli-Scheuer, Siva Reddy, Alexandre Drouin, Alexandre Lacoste, Ramayya Krishnan, Elham Tabassi, Yu Su, Victor Barres, Chenguang Wang, Wenbo Guo, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； Purdue University（普渡大学） ； University of Ljubljana（卢布尔雅那大学） ； University of Washington（华盛顿大学） ； Oasis Labs ； University of Maryland（马里兰大学） ； IBM Research（IBM研究院） ； Mila ； McGill University（麦吉尔大学） ； ServiceNow Research（ServiceNow研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； National Institute of Standards and Technology（美国国家标准与技术研究院） ； The Ohio State University（俄亥俄州立大学） ； University of Cambridge（剑桥大学） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

AI总结 提出代理化智能体评估（AAA）框架，通过标准化协议（A2A和MCP）统一评估接口，实现开放、可复现的多智能体评估，并基于AgentBeats系统通过大规模竞赛和案例研究验证其覆盖性、实用性和保真度。

SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows

SKILL.nb：用于持久代理工作流的选择性形式化与门控执行

Amine El Hattami, Nicolas Chapados, Christopher Pal

机构 * ServiceNow Research ； Mila ； Polytechnique Montréal（蒙特利尔综合理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席） 纠错

AI总结 提出SKILL.nb框架，通过选择性形式化和门控执行管理代理工作流的生命周期可靠性，在WebArena-Verified上单轮成功率达53.7%，重执行保留率91.7%。