2606.14597
2026-06-15
cs.LG
新提交
Zero-shot generalization of transformer neural operators to larger domains
Transformer神经算子对更大领域的零样本泛化
Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin
发表机构
*
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris(CEREA, ENPC, EDF研发部, 巴黎综合理工学院)
;
SINCLAIR AI Laboratory(SINCLAIR人工智能实验室)
;
EDF R&D(EDF研发部)
;
CEA, DAM, DIF(法国原子能委员会, 军事应用局, 法兰西岛)
AI总结
提出一种在注意力对数计算中引入可分解局部性偏置的方法,结合旋转位置嵌入,使Transformer神经算子能零样本泛化到更大空间域,在PDE和3D工业流中验证有效性。