On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning
在长链式思维监督微调中推理模式在泛化差异中的作用
机构 * University of Science and Technology of China（中国科学技术大学） ； Meituan LongCat Team（美团龙猫团队） ； City University of Hong Kong（香港城市大学） ； Zhejiang University（浙江大学）
AI总结 本文研究不同来源的长链式思维轨迹对模型泛化性能的影响，发现训练损失低并不一定带来更好的泛化能力，提出过滤频繁分支轨迹以提升SFT泛化性能。
Comments Under Review. version2: correct typos in Table 4 and add an ablation study (Table 5)
