University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

SuperThoughts: Reasoning Tokens in Superposition

SuperThoughts: 叠加中的推理令牌

Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； Independent（独立机构） ； Princeton University（普林斯顿大学） ； Rice University（莱斯大学） 纠错

AI总结 提出SuperThoughts方法，通过将连续CoT令牌对压缩为单一潜在表示并利用多令牌预测模块解码，在保持训练监督的同时将推理吞吐量翻倍，实现约20-30%的CoT长度缩减且精度损失极小。