UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing
UltraX:通过自适应编程编辑大规模精炼预训练数据
机构 * Peking University(北京大学) ; ModelBest Inc.(ModelBest公司) ; Tsinghua University(清华大学) ; Shanghai Jiao Tong University(上海交通大学)
AI总结 研究针对训练数据极限下大语言模型高质量数据利用问题,提出UltraX框架,通过引入插入完善编辑功能空间,构建程序监督生成管道,经实验验证其在各语料库平均性能最高,数据效率和精炼可靠性强。