Rethinking Data Mixing from the Perspective of Large Language Models
从大语言模型视角重新思考数据混合
机构 * Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; OpenCSG ; Harbin Institute of Technology(哈尔滨工业大学)
专题命中 领域大模型 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文从理论角度探讨数据混合策略对大语言模型训练的影响,提出DoGraph框架,通过图约束优化提升模型泛化能力。