Oracle（甲骨文）

Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning

再三思考后再写作——一种基于熵的解码策略以增强大语言模型推理

Jiashu He, Meizhu Liu, Olaitan P Olaleye, Amit Agarwal, M. Avendi, Yassi Abbasi, Matthew Rowe, Hitesh Laxmichand Patel, Paul Li, Tao Sheng, Sujith Ravi, Dan Roth

机构 * Oracle AI Science（甲骨文人工智能科学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文提出一种基于熵的解码策略，通过在生成过程中引入令牌级适应性，提高大语言模型的推理能力，实验表明在GSM8K等数据集上表现优异。