SuperThoughts: Reasoning Tokens in Superposition
SuperThoughts: 叠加中的推理令牌
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; Microsoft Research(微软研究院) ; Independent(独立机构) ; Princeton University(普林斯顿大学) ; Rice University(莱斯大学)
专题命中 数学推理 :CoT(summary_cn,abstract);reasoning(title,abstract);chain-of-thought(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 提出SuperThoughts方法,通过将连续CoT令牌对压缩为单一潜在表示并利用多令牌预测模块解码,在保持训练监督的同时将推理吞吐量翻倍,实现约20-30%的CoT长度缩减且精度损失极小。