Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training
大语言模型后训练中基于流形覆盖与稀疏特征覆盖的分层数据选择
专题命中 其他推理 :CoT(summary_cn,abstract);分类 cs.LG
AI总结 本文提出MASS算法,将LLM后训练的数据选择建模为分层覆盖问题,在Vision Flan与LLaVA-CoT上仅用少量数据即可达到或超过全量训练效果,且优于现有基线方法。