Chain Of Thought Compression: A Theoretical Analysis
思维链压缩:理论分析
机构 * School of Computer and Information Technology, Shanxi University, Taiyuan, Shanxi, China(山西大学计算机与信息学院) ; Queen Mary, University of London, UK(伦敦大学女王学院) ; School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院)
专题命中 逻辑推理 :CoT(summary_cn,abstract);reasoning(abstract);chain-of-thought(abstract);logical reasoning(abstract)
AI总结 本文通过引入Order-r Interaction理论,证明了隐式思维链压缩中高阶逻辑依赖的学习信号指数衰减问题,并提出ALiCoT框架通过对齐潜在令牌分布与中间推理状态来克服信号衰减,实现54.4倍加速且性能与显式CoT相当。