Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning
棱柱形合成:基于梯度的数据多样化提升语言模型推理中的泛化能力
机构 * NVIDIA Research(NVIDIA研究部) ; University of Washington(华盛顿大学) ; University of Southern California(南加州大学)
专题命中 数学推理 :reasoning(title,abstract);math reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究语言模型训练数据多样性对泛化的作用,提出基于梯度熵的G - Vendi指标,进而构建棱柱形合成框架生成多样合成数据,有效提升模型性能,在多个基准测试中表现优于依赖更大数据生成器的模型。