The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought
低精度softmax变换器的表达能力(摘要)链式思维
机构 * Department of Mathematics, University of Tübingen, Germany(图宾根大学数学系)
专题命中 其他推理 :chain-of-thought(title,abstract);CoT(abstract,abstract_cn);reasoning(abstract);分类 cs.CL、cs.LG
AI总结 本文研究了低精度softmax变换器在链式思维中的表达能力,通过构造三元激活和分离注意力分数的硬max变换器来模拟图灵机,从而将构造转换为等效的softmax变换器,并分析了最近提出的总结链式思维范式在模拟图灵机时的效率。
Comments Accepted to ICML 2026