Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
语言编码的速率-效用前沿:在受控语言内容下比较词元、字节和像素
机构 * Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
专题命中 偏好对齐 :alignment(abstract);分类 cs.CL
AI总结 研究在内容和下游能力受控时语言编码保留了什么,利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿,评估三种效用,发现各编码在不同方面表现不同,选择编码需考虑多因素进行速率-效用权衡。
Comments Preprint. Code available at https://github.com/ziegler-ingo/rate-utility-frontiers