Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models
揭秘大型推理模型中基于熵的思维链压缩选择方法
机构 * University of Trieste(的里雅斯特大学) ; University of Milano-Bicocca(米兰-比科卡大学) ; University of Groningen(格罗宁根大学) ; Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机学院)
专题命中 数学推理 :reasoning(title,abstract);chain-of-thought(title,abstract);CoT(abstract,abstract_cn);分类 cs.CL
AI总结 该研究测试了大型推理模型中基于熵的思维链压缩方法的鲁棒性,发现其效果不优于随机剪枝,且任务信息分布在整个推理链上而非小部分令牌中。