Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention
基于Transformer的终身上下文学习需要注意力的参数化形式
机构 * UC San Diego(加州大学圣地亚哥分校)
AI总结 本文提出将上下文学习扩展到终身设置是AI代理持续学习的实用方案,并论证需要参数化注意力机制来在固定硬件预算下理解终身上下文。
高校专区
基于Transformer的终身上下文学习需要注意力的参数化形式
机构 * UC San Diego(加州大学圣地亚哥分校)
AI总结 本文提出将上下文学习扩展到终身设置是AI代理持续学习的实用方案,并论证需要参数化注意力机制来在固定硬件预算下理解终身上下文。
打破数据对称性是特征学习核泛化所必需的
机构 * CFIS UPC(UPC 计算机科学与信息系) ; UC San Diego(加州大学圣地亚哥分校)
AI总结 研究特征学习核在代数任务中的“grokking”现象,发现泛化仅在训练集对称性被打破时发生,并通过恢复数据中的不变群作用实现泛化。
Comments Accepted to the 29th International Conference on Artificial Intelligence and Statistics (AISTATS 2026)
RN-D:用于同策略强化学习的离散化分类演员
机构 * University of California San Diego, La Jolla, USA(加州大学圣地亚哥分校)
AI总结 提出离散化分类演员替代高斯演员,结合正则化网络形成RN-D,在同策略RL中实现连续控制的最优性能。
Comments Accepted by ICML 2026