The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs
非洲语言税:量化前沿大语言模型中标记化非洲语言的成本、延迟和上下文惩罚
机构 * DataLens Africa Research(DataLens 非洲研究) ; CipherSense AI Technologies Ltd(CipherSense 人工智能科技有限公司)
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 本研究通过平行语料库测量20种非洲语言在11种前沿分词器上的标记化惩罚,发现非洲语言平均标记数比英语高1.88倍(N'Ko语最高达8.92倍),导致推理成本增加8.9倍、有效上下文窗口仅剩11%,并发布开源测量工具和缓解指南。
Comments 40 pages, 5 figures, 25 tables