EPFL（洛桑联邦理工学院）

Scaling Point-in-Time Language Models

扩展即时语言模型

Bryan Kelly, Semyon Malamud, Johannes Schwab, Teng Andrea Xu

机构 * Yale School of Management（耶鲁大学管理学院） ； AQR Capital Management（AQR资产管理公司） ； NBER（美国国家经济研究局） ； Swiss Finance Institute（瑞士金融研究所） ； EPFL（洛桑联邦理工学院） ； CEPR（经济政策研究中心） 纠错

AI总结 研究旨在解决大型语言模型的前瞻性偏差问题，通过在大量按时间顺序过滤的令牌上训练仅解码器变压器构建即时语言模型，缩小了与无约束模型的性能差距，经LoRA微调提升可用性，并发布完整管道支持相关研究。

Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors

通过解耦权重向量的幅度和方向改进神经网络训练

Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

机构 * Machine Learning and Optimization Lab, EPFL（EPFL机器学习与优化实验室） 纠错

AI总结 提出幅度-方向（MD）解耦方法，将权重分解为固定范数的方向和可学习的幅度增益，以独立学习率更新，消除权重衰减和预热需求，在Adam和Muon优化器上均提升性能。

Comments Typos & writing; downstream evaluations