Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers
不动点推理器:稳定且自适应的深度循环Transformer
机构 * ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center(ELLIS研究所蒂宾根,马克斯·普朗克智能系统研究所,蒂宾根人工智能中心) ; ETH Zurich(苏黎世联邦理工学院) ; Swiss Institute of Bioinformatics(瑞士生物信息学研究所) ; Université Paris Cité(巴黎西岱大学) ; Liquid AI
AI总结 针对循环架构中深度导致的信号传播问题,提出基于预层归一化和残差缩放的FPRM模型,利用不动点收敛作为端到端停止机制,在Sudoku、Maze等推理基准上自适应计算并有效提升性能。
Comments Code available at https://github.com/nilskiKonjIzDunava/fprm