Princeton University（普林斯顿大学）

The Power of Second Order Methods for Sequence Preconditioning

二阶方法在序列预处理中的威力

Annie Marsden, Elad Hazan

机构 * Google DeepMind（谷歌DeepMind） ； Princeton University（普林斯顿大学） 纠错

AI总结 本文提出利用Vovk-Azoury-Warmuth算法与USP结合，实现对边际稳定线性动力系统中序列预处理的强效结果，达到对数级别的 regret。

Comments 19 pages, 3 figures

Continual Memorization of Factoids in Language Models

语言模型中事实的持续记忆

Howard Chen, Jiayi Geng, Adithya Bhaskar, Dan Friedman, Danqi Chen

机构 * Princeton Language and Intelligence (PLI), Princeton University（普林斯顿大学普林斯顿语言与智能研究所） 纠错

AI总结 提出持续记忆任务，发现语言模型在后续微调中严重遗忘事实，并提出REMIX方法（混合随机词序列或预训练语料）缓解遗忘，优于回放等方法。

Journal ref Transactions on Machine Learning Research, 2026