L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling
L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究
机构 * University of Birmingham(伯明翰大学)
专题命中 指令微调 :SFT(summary_cn,abstract);language model(title,abstract);small language model(title,abstract);pretraining(abstract)
AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型,使用约13B tokens,通过数据筛选、去重、SFT和RLVR等方法,在零样本任务上达到SmolLM-135M 87.1%的性能,但仅使用其2.17%的tokens。
Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m