University of Pennsylvania（宾夕法尼亚大学）

Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why

LLM作为评判者的评估一致性指标：报告什么及为什么

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文通过调查24篇近期论文，指出在二元评判标准下多数一致性指标冗余，强调Cohen's κ提供额外信息，并给出报告清单。

Comments 17 pages, 4 figures; arxiv ancillary files included

Watermarking Language Models with Error Correcting Codes

用纠错码对语言模型进行水印标记

Patrick Chao, Yan Sun, Edgar Dobriban, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

AI总结 本研究提出了一种基于纠错码的鲁棒二进制码水印方法，用于区分机器生成文本与人类文本，具有鲁棒性和高效性。

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

精细指令：将合成指令扩展到预训练规模

Ajay Patel, Colin Raffel, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

AI总结 研究针对大语言模型监督训练数据有限的问题，提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序，生成FineInstructions数据集，经实验验证该方法在预训练中表现优于其他技术。