Characterizing Narrative Content in Web-scale LLM Pretraining Data
网络规模LLM预训练数据中的叙事内容特征化
机构 * University of Colorado Boulder(科罗拉多大学波尔德分校) ; ETH Zürich(苏黎世联邦理工学院) ; McGill University(麦吉尔大学)
专题命中 测试时计算 :reasoning(abstract);分类 cs.CL
AI总结 首次细粒度研究LLM预训练语料库Dolma的叙事特征,提出涵盖三个核心叙事元素(能动性、场景、事件)的框架,构建NarraBERT模型并发布NarraDolma数据集,揭示叙事结构在异构数据中可测量且分布不均。
Comments 8 pages of main content, 28 total pages. 30 figures