The Power of Power Law: Asymmetry Enables Compositional Reasoning
幂律的力量:不对称性使组合推理成为可能
机构 * Princeton University(普林斯顿大学) ; Tsinghua University(清华大学) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 本文研究了幂律分布对组合推理任务的影响,发现其在状态跟踪和多步算术等任务中优于均匀分布,通过理论分析揭示了幂律分布通过引入有益的不对称性,使模型能更高效地学习长尾技能。