PretrainRL: Alleviating Factuality Hallucination of Large Language Models at the Beginning
PretrainRL: 缓解大语言模型在开始阶段的事实性幻觉
机构 * Future Living Lab of Alibaba(阿里巴巴未来生活实验室) ; Zhejiang University(浙江大学) ; Alibaba Group(阿里巴巴集团) ; Shanghai AI Laboratory(上海人工智能实验室)
专题命中 知识编辑与模型理解 :large language model(title,abstract);language model(title,abstract);pretraining(abstract);分类 cs.CL
AI总结 PretrainRL通过在预训练阶段引入强化学习,缓解大语言模型在开始阶段的事实性幻觉问题,通过去偏见和学习机制提升事实准确性。