Hugging Face

How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

如何合成高质量的预训练数据？提示设计、生成模型和源数据的系统研究

Joel Niklaus, Atsuki Yamaguchi, Michal Štefánik, Guilherme Penedo, Hynek Kydlíček, Elie Bakouch, Lewis Tunstall, Edward Emanuel Beeching, Thibaud Frere, Colin Raffel, Leandro von Werra, Thomas Wolf

机构 * Hugging Face ； University of Sheffield（谢菲尔德大学） ； National Institute of Informatics（日本信息处理研究所） 纠错

AI总结 本文通过大规模实验探讨提示设计、生成模型和源数据对合成预训练数据质量的影响，发现结构化输出格式优于现有方法，且生成模型参数超过1B无额外收益，提出开源数据集FinePhrase。

Comments Accepted to COLM 2026

The Appeal and Reality of Recycling LoRAs with Adaptive Merging

通过自适应合并回收LoRAs的吸引力与现实

Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Mistral AI ； Hugging Face 纠错

AI总结 研究针对回收在模型库中“野生”的LoRAs，通过实证研究多种自适应和非自适应合并方法，发现自适应合并虽能提升性能，但相比用相同数据训练新LoRA优势有限，且合并LoRAs的具体选择重要性不大，还证实了正向迁移的可能性并开源相关资源。

Comments 24 pages, 14 figures, 5 tables. Preprint

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior

TokSuite：衡量分词器选择对语言模型行为的影响

Gül Sena Altıntaş, Malikeh Ehghaghi, Brian Lester, Fengyuan Liu, Wanru Zhao, Marco Ciccone, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Google DeepMind（谷歌DeepMind） ； McGill University（麦吉尔大学） ； University of Cambridge（剑桥大学） ； Hugging Face 纠错

AI总结 提出TokSuite，含模型集合与基准测试，通过不同分词器的预训练模型及多语言鲁棒性基准测试，解耦分词器影响，阐明多种流行分词器优缺点。

Comments ICML 2026. 46 pages, 13 figures

Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting

评估卡：AI评估报告的解释层

Avijit Ghosh, Anka Reuel, Jenny Chim, Wm. Matthew Kennedy, Srishti Yadav, Jennifer Mickel, Yanan Long, Andrew Tran, Anastassia Kornilova, Damian Stachura, Kevin Klyman, Felix Friedrich, Jeba Sania, Jan Batzner, Anoop Mishra, Eliya Habba, Yixiong Hao, Nathan Heath, Shalaleh Rismani, Usman Gohar, Andrea Loehr, David Manheim, Ruchira Dhar, Sree Harsha Nelaturu, Aarush Sinha, Leshem Choshen, Drishti Sharma, Ishan Khire, Amit Saha, Subramanyam Sahoo, Michael Hardy, Michael Alexander Riegler, Kabir Manghnani, Michelle Lin, Yanan Jiang, Yilin Huang, Asaf Yehudai, Jessica Ji, Aris Hofmann, Mubashara Akhtar, Max Lamparth, Nuno Moniz, Yacine Jernite, Stella Biderman, Zeerak Talat, Sanmi Koyejo, Mykel Kochenderfer, Irene Solaiman

机构 * Hugging Face ； Stanford University（斯坦福大学） ； Queen Mary University of London（伦敦玛丽女王大学） ； University of Copenhagen（哥本哈根大学） ； Trustible ； EleutherAI ； TU Darmstadt（达姆施塔特工业大学） ； Weizenbaum Institute & Technical University of Munich（魏森鲍姆研究所与慕尼黑工业大学） ； Harvard University（哈佛大学） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Iowa State University（爱荷华州立大学） ； IBM Research（IBM研究院） ； University of Chicago（芝加哥大学） ； Independent（独立） ； Berkeley AI Safety Institute (BASIS)（伯克利人工智能安全研究所） ； Simula ； University of Edinburgh（爱丁堡大学） ； ETH Zurich & ETH AI Center（苏黎世联邦理工学院与ETH AI中心） ； Oxford Internet Institute（牛津互联网研究所） ； Amherst College（阿默斯特学院） ； University of Nebraska（内布拉斯加大学） ； Syntony Research ； McGill University（麦吉尔大学） ； Evals Consensus ； Israel Institute of Technology（以色列理工学院） ； IOL.Learn & Zuse Institute Berlin（IOL.Learn与柏林祖泽研究所） ； Georgia Institute of Technology（佐治亚理工学院） ； Quebec AI Institute, Université de Montréal（魁北克人工智能研究所，蒙特利尔大学） ； University of Notre Dame（圣母大学） ； Georgetown University（乔治城大学） ； DHBW Stuttgart（斯图加特双元制大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 针对AI评估报告不一致的问题，提出EvalCards作为统一记录层，通过结构化模式、四种解释信号和监控工具，覆盖5816个模型和635个基准，揭示报告实践中的系统性差距。