Do Transformers Have the Ability for Periodicity Generalization?
Transformer 是否具备周期性泛化能力?
机构 * School of Computer Science, Peking University(北京大学计算机科学学院) ; College of AI, Tsinghua University(清华大学人工智能学院) ; School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院)
AI总结 本文研究了 Transformer 在周期性泛化方面的局限性,通过引入抽象代数和推理视角,揭示了模型在处理复合周期性任务时的不足,并提出了可控生成基准 Coper。