Reasoning Models Know What's Important, and Encode It in Their Activations
推理模型知道什么重要,并在其激活中编码
机构 * Technion(技术离子大学) ; University of Zagreb, FER(扎格雷布大学,FER) ; MIT(麻省理工学院) ; Kempner Institute, Harvard(哈佛大学凯普纳研究所)
AI总结 通过分析模型激活而非仅依赖推理链文本,发现激活能更有效识别关键推理步骤,且模型在生成后续步骤前已内部编码步骤重要性。