Beyond N-gram: Data-Aware X-GRAM Extraction for Efficient Embedding Parameter Scaling
超越N-gram:面向数据的X-GRAM提取用于高效的嵌入参数扩展
机构 * Peking University(北京大学) ; IQuest Research(IQuest研究)
AI总结 本文提出X-GRAM框架,通过频率感知的动态token注入方法,提升嵌入参数扩展效率,实验表明在0.73B和1.15B规模下,X-GRAM在准确率上优于基线模型。
Comments 29 pages, 9 figures, 13 tables