University of Maryland, College Park（马里兰大学帕克分校）

Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate

量化超参数迁移与嵌入层学习率的重要性

Dayal Singh Kalra, Maissam Barkeshli

机构 * Department of Physics, University of Maryland, College Park（马里兰大学物理系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系） ； Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所） ； Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究） 纠错

AI总结 本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。

Comments 10+28 pages, 5+17 figures

Quantifying the cross-linguistic effects of syncretism on agreement attraction

量化语言间合成影响对一致性的吸引力

Utku Turk, Eva Neu

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） 纠错

AI总结 研究探讨了合成对一致性吸引力的影响在不同语言中的差异，通过大规模语言模型的 surprisal 和注意力熵来分析四种语言中的表现，揭示了合成如何调节吸引力的机制。

Comments SCiL Conference Paper

TRAM: Test-Time Risk Adaptation with Mixture of Agents

TRAM: 测试时风险适应与代理混合

Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

机构 * UT Austin（得克萨斯大学） ； University of Central Florida（中央佛罗里达大学） ； MIT（麻省理工学院） ； UMD（大学公园分校） 纠错

AI总结 本文研究了在部署时无需更新的零更新适应问题，提出TRAM方法通过混合代理评估源策略的风险调整分数，以降低部署风险并保持奖励。