Domain-Adapted Small Language Models with Hybrid Post-Processing: Achieving Cost-Efficient, Low-Latency Multi-Label Structured Prediction via LoRA Fine-Tuning on Scarce Data
领域自适应的小语言模型与混合后处理:通过LoRA微调在稀缺数据上实现成本高效、低延迟的多标签结构化预测
专题命中 指令微调 :language model(title,abstract);small language model(title,abstract);LLM(abstract_cn);large language model(abstract)
AI总结 提出一种结合LoRA微调的小语言模型(LLaMA 3.1 8B)和确定性规则后处理的混合框架,在仅219个样本上训练,实现多标签合规评估,达到100% JSON结构有效性和83.0%人工验证准确率,成本降低46-76%。
Comments 4 pages, 2 figures, 4 tables