大厂专区
规则丢弃（Rubric Dropout）：缓解以规则为奖励的强化学习中奖励黑客行为的简单方法
机构 * Scale AI ； University of Arizona（亚利桑那大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校）
AI总结 该研究针对以规则为奖励的强化学习中的奖励黑客行为，提出Rubric Dropout方法，在医学和科学规则上训练Qwen3-8B，可提升分布外基准的黄金评判分数、降低黑客指标，30-50%丢弃比例效果最优。
Comments 18 pages, 7 figures, 4 tables. Work in progress
CliniCARE-Bench：电子健康记录中医疗推理的临床校准审计
机构 * Scale AI ； Emory University（埃默里大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Vanderbilt University Medical Center（范德堡大学医学中心） ； Stanford School of Medicine（斯坦福医学院） ； Stanford Health Care（斯坦福医疗保健系统） ； Clinical Excellence Research Center（临床卓越研究中心）
AI总结 本研究推出首个面向部署的临床智能体基准CliniCARE-Bench，评估智能体对真实纵向电子健康记录的医疗推理，发现原始准确率夸大调查质量，无缺陷准确率更低且会重新排序排行榜。
HarnessOpt-Bench：评估大型语言模型的 harness 优化能力
机构 * Scale AI
AI总结 本研究提出HarnessOpt-Bench基准，评估前沿LLM在高成本随机评估下的端到端harness优化能力，发现优化器模型差异大于编码harness、原生harness非始终更优，该能力具可测性与提升空间。
TabRank：表格重排器的思维链蒸馏
机构 * Arizona State University（亚利桑那州立大学） ； Rensselaer Polytechnic Institute（伦斯勒理工学院） ； Scale AI
AI总结 研究针对表格检索训练推理重排器的问题，提出TabRank框架，通过构建数据集并探索两种训练紧凑推理模型的变体，经压力测试，该方法在多表格检索数据集上显著提升性能，有效推广到多表格推理。
Comments 8 pages, 3 figures
CRAFT：聚类评分标准以诊断大型语言模型的能力短板并生成针对性的微调数据
机构 * Scale AI（Scale人工智能公司）
AI总结 研究针对评估应指导模型改进及提供训练数据的问题，提出CRAFT方法，将评分标准评估数据集转化为模型能力短板诊断，通过聚类能力描述、评估模型节点等生成微调数据，实验表明该方法能更精准诊断模型弱点并提升性能。
Comments 18 pages, 3 Tables, 2 Figures
优化并非你所需的全部
机构 * Scale AI（Scale人工智能公司） ； University of California, Santa Barbara（加州大学圣巴巴拉分校）
AI总结 研究指出优化并非全部，以GPT - 2为例，通过追踪其预训练等环节的优化文化，发现优化程序虽能测文本可能性，但无法区分不可能性是错误还是创新，却在五年内获设定语言协议权威。
Comments This essay will be forthcoming in MFS Modern Fiction Studies, published by JHUP (Spring-Summer 2027)
从组合优化视角看可信机器学习：综述与研究展望
机构 * CIRRELT & SCALE-AI Chair in Data-Driven Supply Chains, Department of Mathematics and Industrial Engineering, Polytechnique Montreal（CIRRELT与数据驱动供应链的SCALE-AI主席、数学与工业工程系，蒙特利尔大学）
AI总结 探讨如何从组合优化视角实现可信机器学习，回顾并综合其与组合优化交叉领域进展，涵盖训练及训练后多任务，指出组合优化公式比纯启发式方法更具优势，虽有挑战，但在可信机器学习系统设计和部署中作用将增大。
Comments 67 pages, 16 mathematical highlights
ROK-FORTRESS：衡量地缘政治转译对国家安全和公共安全的影响
机构 * Scale AI
AI总结 本文提出ROK-FORTRESS基准，通过英韩语言对和美韩地缘政治轴，评估语言与地缘政治交互对国家安全的影响，发现韩语版本存在压制效应，且模型间表现差异显著。
Comments 16 pages main text + appendix (74 pages total), 4 figures and 2 tables in main text; dataset at https://huggingface.co/datasets/ScaleAI/ROK-FORTRESS_public
EgoVerse：一个用于机器人学习的视点人类数据集
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Stanford University（斯坦福大学） ； University of California San Diego（加州大学圣地亚哥分校） ； ETH Zürich（苏黎世联邦理工学院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Meta Reality Labs Research（Meta现实实验室） ； Mecka AI ； Scale AI
AI总结 EgoVerse通过统一的数据收集、处理和访问框架，提供丰富的人类操作行为数据，促进机器人学习，并通过大规模研究验证了人类数据与机器人学习目标的一致性对性能的影响。
SWE-INTERACT: 将 SWE 基准重新构想为用户驱动的长周期编码会话
机构 * Scale AI
AI总结 提出 SWE-Interact 测试平台，通过用户模拟器模拟多轮交互式软件开发任务，评估编码代理在模糊需求、渐进反馈和迭代修订下的意图发现与自适应能力。
Comments -
多语言语言模型毒性检测与缓解策略综述
机构 * Scale AI ； Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） ； University of Virginia（弗吉尼亚大学）
AI总结 综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。
Comments Accepted to the Findings of ACL, 2026
Journal ref Findings of ACL, 2026
ChainWorld: 从原子OSWorld任务组合成长时桌面工作负载
机构 * Scale AI ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克鲁兹分校）
AI总结 提出ChainWorld，通过方向兼容性搜索将原子OSWorld任务组合成长时桌面工作负载，包含347条长度为2-4的任务链，评估四种智能体，最高完成率31%，揭示单轮与多轮评估的不同失败模式。
ACUTE协议：操作语言模型激活以实现更好的校准、效用和信任
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google（谷歌） ； Scale AI
AI总结 提出ACUTE协议，通过操作语言模型激活来估计置信度，平衡校准与信息性，在多项选择问答、工具调用和科学文档摘要等任务上优于强基线，提升校准、效用和可信度。
Comments ICML 2026
基于评分标准的自蒸馏：无需评分标准验证器的后训练
机构 * Scale AI
AI总结 提出RGSD方法，通过将评分标准作为条件蒸馏到学生模型，无需验证器即可实现密集逐令牌学习，在医学和科学领域达到与基于评判的GRPO相当的评分标准满足率。
MoReBench：评估语言模型中的程序性和多元道德推理，超越结果
机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学）
AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。
Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)
PSEBench: 一个用于评估大语言模型在患者安全事件分类中的可控且可验证的基准
机构 * Emory University（埃默里大学） ； Scale AI ； Mayo Clinic（梅奥诊所） ； Vanderbilt University Medical Center（范德比大学医学中心）
AI总结 提出基于政策条款卡的结构化构建方法，通过锚点驱动实例化和闭环验证生成带真实标签的叙事，并创建包含5074个案例的基准PSEBench，评估15个代表性LLM在患者安全事件分类中的能力。
Insights Generator: LLM代理的系统级语料库追踪诊断
机构 * Scale AI, Inc.
AI总结 本文提出Insights Generator，一种多智能体系统，通过在语料库中提出和测试假设来生成基于证据的洞察报告，从而系统性地诊断LLM代理的行为模式。
模型遗忘目标因语言功能而异
机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Scale AI
AI总结 本文提出针对不同语言功能（危险知识遗忘和毒性遗忘）应设计不同的遗忘方法，并分别提出基于余弦的元学习变体RMU和多层目标方法，在多个7-8B模型上取得良好效果。
MCP-Atlas：一个大规模的工具使用能力基准测试，使用真实的MCP服务器
机构 * National University of Singapore（新加坡国立大学） ； Scale AI
AI总结 本文提出MCP-Atlas，一个用于评估工具使用能力的基准测试，基于真实MCP服务器，包含1000个由人类专家编写和验证的任务，覆盖36个真实MCP服务器和220种工具，通过任务级别的评估发现模型在工具调用和认知能力上的表现。
Comments 25 pages, 3 figures, 9 tables
并非每个评分标准都等同教学：面向RLVR的政策感知评分奖励
机构 * Scale AI
AI总结 本文提出POW3R框架，通过保留人类权重和类别平衡，改进评分奖励机制，使评分标准更符合最终答案的要求，从而在多模态和纯文本设置中提升性能。
Comments 24 pages, 7 figures, 6 tables
ASPI：寻求澄清会放大LLM代理中的提示注入漏洞
机构 * Scale AI ； Boston University（波士顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Human Frontier Collective（人类前沿集体）
AI总结 该研究探讨了LLM代理在执行任务时寻求澄清的行为对提示注入攻击的影响，发现这种行为会显著增加代理的脆弱性，并提出了ASPI基准测试来评估这一现象。
PACE：剪枝与压缩集成模型
机构 * Industrial Engineering and Management Science University of Twente（工业工程与管理科学代尔夫特理工大学） ； SCALE-AI Chair and CIRRELT Polytechnique Montréal（SCALE-AI主席和CIRRELT蒙特利尔理工学院） ； Polytechnique Montréal（蒙特利尔理工学院）
AI总结 PACE通过两阶段策略结合剪枝与压缩，提升集成模型的多样性与可控性，优于现有方法。
覆盖，而非平均：语义分层用于可信检索评估
机构 * Scale AI
AI总结 本文提出语义分层方法，通过构建可解释的实体聚类空间，解决检索评估中覆盖性和稳定性问题，提升评估的透明度和可信度。
BenchMarker：一种受教育启发的工具包，用于突出多项选择基准测试中的缺陷
机构 * University of Maryland（马里兰大学） ； New York University（纽约大学） ； Scale AI ； George Mason University（乔治·梅森大学）
AI总结 本文提出BenchMarker工具，利用LLM检测多项选择基准测试中的三项常见缺陷，通过人工标注和审计12个基准测试，发现自动和众包数据中存在大量缺陷，且修复方法可能引入新问题，影响NLP评估质量。
Comments ACL 2026
SciPredict: LLMs能否预测自然科学中的实验结果？
机构 * Scale AI ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Maryland（马里兰大学） ； Princeton University（普林斯顿大学） ； Human Frontier Collective（人类前沿集体）
AI总结 SciPredict通过405个实验任务评估LLM预测科学实验结果的准确性，发现模型表现低于人类专家，且无法区分可靠与不可靠的预测。
MultiFileTest：一个多文件级LLM单元测试生成基准及错误修复机制的影响
机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Salesforce Research（Salesforce研究院） ； Scale AI
AI总结 本文提出MultiFileTest基准，评估多文件级代码的单元测试生成性能，发现前沿LLM表现一般，且存在执行及级联错误，进一步评估了错误修复机制的效果。
Comments Published at ACL 2026 (Findings)
语言上相关的语言能否在低资源环境下指导LLM翻译？
机构 * Prediction Guard（预测守护） ； Scale AI ； Independent（独立） ； INTI International College Penang（INTI国际学院巴生）
AI总结 本研究探讨在数据稀缺情况下，语言相似的pivot语言和少量示例能否指导LLM的即席适应，通过数据高效实验发现，pivot提示在某些配置下能提升翻译效果，但收益有限且依赖示例构建。
Comments 18 pages (9 main paper and 9 Appendix), 1 figure, 19 tables. Accepted at LoResMT 2026: EACL 2026 Workshop. OpenReview link: https://openreview.net/forum?id=mg0UfW2sdc#discussion
大语言模型在双用途生物任务中的新手提升
机构 * Scale AI ； SecureBio ； University of Oxford（牛津大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 研究探讨大语言模型是否能提升新手在生物任务中的表现，通过多模型多基准测试发现LLM显著提升准确性，并指出单用途LLM可能超越辅助新手的表现。
Comments 59 pages, 33 figures
追逐尾部：基于评分标准的奖励建模以实现大语言模型的后训练效果
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Scale AI, Inc.（Scale AI 公司） ； University of Chicago（芝加哥大学）
AI总结 本文提出基于评分标准的奖励建模方法，通过关注高奖励区域以缓解大语言模型强化微调中的奖励过度优化问题，并实现有效的后训练改进。
Comments In ICLR 2026
参考文献提高非可验证领域的LLM对齐
机构 * Yale University（耶鲁大学） ； Meta ； Scale AI ； Salesforce Research（Salesforce 研究） ； Nanyang Technological University（南洋理工大学）
AI总结 本研究提出参考引导的LLM评估器，通过增强LLM对齐的评估器和自我改进，显著提升了非可验证领域中LLM的性能。
Comments ICLR 2026 Camera Ready
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈