Percy Liang

DelusionEval: Measuring Delusion-Linked Behaviors in AI Chatbots

DelusionEval：评估AI聊天机器人中与妄想相关的行为

Jared Moore, Andrea Mock, Yifan Mai, Jacy Reese Anthis, Ryan Louie, William Agnew, Ashish Mehta, Kevin Klyman, Percy Liang, Nick Haber, Eric Lin, Desmond C. Ong

机构 * Stanford University（斯坦福大学） ； University of Chicago（芝加哥大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

AI总结 本研究开发DelusionEval评估协议，发现LLM表现出与妄想相关行为的倾向与模型规模等无可靠关联，扩展上下文会提升此类行为发生率，所有模型家族均存在相关风险。

Economic Evaluations of Language Models

语言模型的经济评估

Alexander Wan, Stephane Hatgis-Kessell, Tomás Aguirre, Percy Liang, Rishi Bommasani

机构 * Stanford University（斯坦福大学） ； University of São Paulo（圣保罗大学） 纠错

AI总结 研究语言模型在经济价值任务上的表现，通过EconEvals开源套件评估，结合真实用户查询与合成数据，成本低且覆盖度好，还引入暴露度量估计时间节省情况，发现当前模型有潜力但存在使用滞后及隐私等瓶颈，引入基础设施推断其对劳动力市场的影响。

Extractable Memorization From First Principles

从第一原理出发的可提取记忆

A. Feder Cooper, Marika Swanberg, Jamie Hayes, Lea Duesterwald, Christopher De Sa, Daniel E. Ho, Mark A. Lemley, Percy Liang

机构 * Yale（耶鲁大学） ； AVERI（AVERI（未提及常见中文名，可直译为“应用价值与伦理研究所”之类，具体需结合实际背景）） ； Stanford（斯坦福大学） ； Google Research（谷歌研究院） ； Google DeepMind（谷歌DeepMind） ； Cornell（康奈尔大学） 纠错

AI总结 研究大语言模型可提取记忆的有效性问题，提出通过匹配比较测量训练与非训练序列生成概率来判断记忆，形式化共形测试和普查两种匹配比较方式并揭示问题，完善可提取记忆定义，给出有效声明及现实预算下的生成要求。

FLARE-AI: Flaw Reporting for AI

FLARE-AI：AI缺陷报告

Shayne Longpre, Elaine Zhu, Carson Ezell, Avijit Ghosh, Sean McGregor, Kevin Paeth, Kevin Klyman, Sayash Kapoor, Rishi Bommasani, Ruth Appel, Gregory Strom, Lauren McIlvenny, Mark M. Jaycox, Peter Slattery, Nathan Butters, Arvind Narayanan, Percy Liang, Alex Pentland

AI总结 针对AI系统缺陷报告生态碎片化问题，提出开源系统FLARE-AI，通过条件逻辑和早期分类简化报告创建，支持标准化机器可读报告分发，降低报告门槛并提升互操作性。

Comments Accepted to ICML 2026

Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization

奇妙预训练优化器及其发现之处 II：超球优化

Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） 纠错

AI总结 针对Muon等优化器在大模型预训练中增益随规模增大而减弱的问题，提出Hyperball包装器，固定权重矩阵及其更新的Frobenius范数，在1.2B参数模型上实现20-30%的token等效加速，并改善学习率迁移。

Comments Corresponding blog post: https://psychedelic-sunstone-851.notion.site/Fantastic-Pretraining-Optimizers-and-Where-to-Find-Them-2-1-Hyperball-Optimization-2e924306e6f280e7a5ffee00eb40a0dd