A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits
关于推理的测度论分析:结构泛化与近似限制
机构 * McGill University(麦吉尔大学) ; Mila - Quebec AI Institute(魁北克AI研究所) ; Université de Montréal(蒙特利尔大学)
专题命中 逻辑推理 :reasoning(title,abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文通过最优传输理论分析推理过程,揭示了结构泛化和近似限制的理论机制,发现位置依赖注意力机制和Transformer电路深度对推理性能有显著影响。
Comments Preprint