University of Washington（华盛顿大学）

Perturbation is All You Need for Extrapolating Language Models

扰动是语言模型外推所需的一切

Zetai Cen, Jin Zhu, Xinwei Shen, Chengchun Shi

机构 * School of Mathematics, University of Bristol（布里斯托大学数学系） ； School of Mathematics, University of Birmingham（伯明翰大学数学系） ； Department of Statistics, University of Washington（华盛顿大学统计系） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

AI总结 本文针对大语言模型外推问题，提出基于扰动的方法，先转换前缀为语义邻域再进行下一个token预测，构建分层模型。通过建立五个属性发展外推性理论，经合成与真实数据评估，该方法提升支持域外预测性能，为语言建模提供实用路径。

Comments 59 pages

How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement

智能体如何请求许可：人工智能智能体的用户权限，从接口到执行

Alexandra E. Michael, Franziska Roesner

机构 * University of Washington（华盛顿大学） 纠错

AI总结 研究人工智能智能体系统中用户级权限处理问题，通过调查21个提案构建分类法，分析五个商业智能体并与文献系统比较，确定主题与空白，为智能体权限系统研究提供参考。

Comments 15 pages, 4 figures

How Much Is a Dataset Worth? Scaling Laws, the Vendi Score, and Matrix Spectral Functions

数据集值多少钱？缩放定律、Vendi分数与矩阵谱函数

Jeff A. Bilmes, Gantavya Bhatt, Arnav M. Das

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院） ； University of Washington（华盛顿大学） 纠错

AI总结 本文通过子模性理论统一了神经缩放定律与Vendi分数，提出矩阵谱函数作为广义数据评估框架，并开发了基于割线方程的快速优化算法，在ImageNet-1K规模上实现了约35,000倍加速，实验表明设施选址函数在预测子集价值方面表现最佳。

Comments 75 pages

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

棱柱形合成：基于梯度的数据多样化提升语言模型推理中的泛化能力

Jaehun Jung, Seungju Han, Ximing Lu, Skyler Hallinan, David Acuna, Shrimai Prabhumoye, Mostafa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi

机构 * NVIDIA Research（NVIDIA研究部） ； University of Washington（华盛顿大学） ； University of Southern California（南加州大学） 纠错

AI总结 研究语言模型训练数据多样性对泛化的作用，提出基于梯度熵的G - Vendi指标，进而构建棱柱形合成框架生成多样合成数据，有效提升模型性能，在多个基准测试中表现优于依赖更大数据生成器的模型。