Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation
通过自动分割和块蒸馏实现块注意力的泛化
机构 * The Chinese University of Hong Kong(香港中文大学) ; City University of Hong Kong(香港城市大学) ; Tencent(腾讯) ; Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院) ; Singapore Management University(新加坡管理大学)
专题命中 检索器与排序 :RAG(abstract,abstract_cn);retrieval-augmented generation(abstract);分类 cs.CL、cs.AI
AI总结 提出基于语义分割数据集训练的轻量级分割器和块蒸馏框架,解决块注意力在长上下文中的文本分割和微调效率问题,实现接近全注意力的性能。
Comments 16 pages, 2 figures