EmbBERT: Attention Under 2 MB Memory
EmbBERT:在2MB内存下使用注意力机制
机构 * Department of Electronics, Information and Bioengineering(电子信息与生物工程系)
专题命中 效率与部署 :LLM(abstract);language model(abstract);分类 cs.CL、cs.LG
AI总结 本文提出EmbBERT,一种高效的极小语言模型,通过紧凑的嵌入层、流线型前馈块和高效的注意力机制,在严格内存预算下实现高性能,仅需2MB内存即可达到与SotA模型相当的准确率。
Comments 24 pages, 4 figures, 14 tables
Journal ref Neural Networks, Volume 200, 2026, 108800, ISSN 0893-6080, https://www.sciencedirect.com/science/article/pii/S0893608026002625