University of Cambridge（剑桥大学）

Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models

持久稀疏自动编码器：在语言模型中学习特征时间尺度

Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

AI总结 研究在语言模型中学习特征时间尺度的问题，提出持久稀疏自动编码器，通过为特征学习持久性系数扩展标准SAEs，实验表明其能保持竞争力的重建质量，为解释和监测语言模型带来新机会。

Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

数据驱动的机器学习无法达到符号级逻辑推理——缩放定律的极限

Tiansi Dong, Mateja Jamnik, Pietro Liò

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University of Cambridge（剑桥大学） 纠错

AI总结 本文通过理论分析和实验证明，数据驱动的监督深度学习无法通过增加训练数据和时间达到符号级三段论推理的严谨性，并揭示了训练数据和方法上的根本限制。