Princeton University（普林斯顿大学）

A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning

具有可预测扩展规律和推理证明益处的分层语言模型

Jason Gaitonde, Frederic Koehler, Elchanan Mossel, Joonhyung Shin, Allan Sly

机构 * Duke University（杜克大学） ； University of Chicago（芝加哥大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Princeton University（普林斯顿大学） 纠错

AI总结 本文提出了一种合成语言家族，通过树上的广播过程生成，分析上下文长度和推理在自回归生成中的作用。通过精确k-gram假设，证明了在特定条件下，上下文深度与序列生成的方差和峰度关系，展示了推理模型在有限内存下能精确生成真实语言。

FlashSampling: Fast and Memory-Efficient Exact Sampling

FlashSampling：快速且内存高效的精确采样

Tomas Ruiz, Zhen Qin, Yifan Zhang, Xuyang Shen, Yiran Zhong, Mengdi Wang

机构 * LMU Munich（慕尼黑大学） ； Princeton University（普林斯顿大学） 纠错

AI总结 本文提出FlashSampling，一种将采样融合到LM-head矩阵乘法中的精确采样方法，通过芯片内计算和减少内存访问，提升解码效率并降低内存带宽压力。

Comments Project Page: https://github.com/FlashSampling/FlashSampling

CodeClash: Benchmarking Goal-Oriented Software Engineering

CodeClash：面向目标导向软件工程的基准测试

John Yang, Kilian Lieret, Joyce Yang, Carlos E. Jimenez, Muhtasham Oblokulov, Aryan Siddiqui, Ofir Press, Ludwig Schmidt, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Cornell University（康奈尔大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 CodeClash通过多轮竞赛评估语言模型在无明确指导下迭代开发代码以实现开放性目标的能力，揭示了模型在战略推理和长期代码维护方面的局限性。

A Markov Categorical Framework for Language Modeling

一个马尔可夫范畴框架用于语言建模

Yifan Zhang

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 本文提出一个马尔可夫范畴框架，从信息处理阶段分析语言模型的生成过程，解释训练如何塑造表示，并揭示表示如何支持复杂行为。