Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks
归纳推理任务中Transformer的不变学习动态
机构 * ETH Zurich(苏黎世联邦理工学院) ; Stanford(斯坦福大学)
AI总结 该研究提出理论框架解释Transformer语言模型归纳推理能力,研究广义归纳任务,证明其训练动态可限制在低维不变流形,刻画数据统计对学习竞争的影响,探讨初始化作用并展示坐标框架用途,向Transformer学习预测理论迈进。