Princeton University（普林斯顿大学）

DeepLoop: Depth Scaling for Looped Transformers

DeepLoop：循环变换器的深度缩放

Shuzhen Li, Yifan Zhang, Jiacheng Guo, Quanquan Gu, Mengdi Wang

机构 * Princeton University（普林斯顿大学） ； University of California Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

AI总结 研究循环变换器中深度缩放问题，提出DeepLoop方法，通过控制访问对齐系数形式化绑定深度效应，保持特定架构并设置参数，在不同规模GPT风格模型上实验，结果显示稳定循环深度需考虑参数访问的残差缩放规则。

Comments 25 pages

Optimization as a Dynamical System: Generative Schedules from Latent ODEs

作为动力系统的优化：来自潜在常微分方程（Latent ODE）的生成式学习率调度

Matt L. Sampson, Peter Melchior

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 该研究提出一种基于潜在常微分方程的元学习调度器，可生成梯度下降的最优学习率调度，在图像分类、下一个token预测任务上优于基准，能提升模型泛化能力且计算高效。

Comments Accepted in Transactions on Machine Learning Research (TMLR)