Princeton University（普林斯顿大学）

The Power of Power Law: Asymmetry Enables Compositional Reasoning

幂律的力量：不对称性使组合推理成为可能

Zixuan Wang, Xingyu Dang, Jason D. Lee, Kaifeng Lyu

机构 * Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文研究了幂律分布对组合推理任务的影响，发现其在状态跟踪和多步算术等任务中优于均匀分布，通过理论分析揭示了幂律分布通过引入有益的不对称性，使模型能更高效地学习长尾技能。