University of Pennsylvania（宾夕法尼亚大学）

How Transformers Learn to Plan via Multi-Token Prediction

Transformer 如何通过多令牌预测学习规划

Jianhao Huang, Zhanpeng Zhou, Renqiu Xia, Baharan Mirzasoleiman, Weijie Su, Wei Huang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Shanghai Jiao Tong University（上海交通大学） ； University of Pennsylvania（宾夕法尼亚大学） ； RIKEN Center for Advanced Intelligence Project（日本理化学研究院先进智能项目中心） ； The Institute of Statistical Mathematics（统计数学研究所） 纠错

AI总结 本文研究多令牌预测如何促进推理，特别是规划，通过实验和理论分析展示其优于单令牌预测的性能及背后的机制。

Comments COLM 2026