University of Pennsylvania（宾夕法尼亚大学）

Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why

LLM作为评判者的评估一致性指标：报告什么及为什么

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文通过调查24篇近期论文，指出在二元评判标准下多数一致性指标冗余，强调Cohen's κ提供额外信息，并给出报告清单。

Comments 17 pages, 4 figures; arxiv ancillary files included

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

精细指令：将合成指令扩展到预训练规模

Ajay Patel, Colin Raffel, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

AI总结 研究针对大语言模型监督训练数据有限的问题，提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序，生成FineInstructions数据集，经实验验证该方法在预训练中表现优于其他技术。