Together AI

Parcae: Scaling Laws For Stable Looped Language Models

Parcae：稳定循环语言模型的扩展定律

Hayden Prairie, Zachary Novack, Taylor Berg-Kirkpatrick, Daniel Y. Fu

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Together AI 纠错

AI总结 本文提出Parcae，一种稳定的循环架构，通过限制注入参数的谱范数来解决现有循环架构的不稳定性问题，实验表明其在验证 perplexity 和测试性能上均优于现有模型。