University of California, San Diego（加州大学圣迭戈分校）

Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

基于Transformer的终身上下文学习需要注意力的参数化形式

Luke McDermott, Robert W. Heath, Rahul Parhi

机构 * UC San Diego（加州大学圣地亚哥分校） 纠错

AI总结 本文提出将上下文学习扩展到终身设置是AI代理持续学习的实用方案，并论证需要参数化注意力机制来在固定硬件预算下理解终身上下文。