Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks
变压器真的无所不能吗?论跨任务归纳偏差的兼容性
机构 * Idiap Research Institute(Idiap研究所) ; EPFL(洛桑联邦理工学院) ; Adelaide University(阿德莱德大学)
AI总结 研究探讨变压器对给定任务是否最优,提出为数据集优化变压器架构的方法,在算法玩具任务和代码语言建模数据集上实验,发现标准变压器非局部最优,简单替代方案有优劣,暗示有改进架构可支持多种能力。
Comments Published as a conference paper at ICLR 2026. https://github.com/idiap/lm-afs