Riemannian Geometry for Pre-trained Language Model Embeddings
预训练语言模型嵌入的黎曼几何
机构 * IBM Automation and AI(IBM自动化与人工智能) ; Hother(霍瑟) ; University of Warsaw(华沙大学) ; Centre for Credible AI, Warsaw University of Technology(华沙理工大学可信人工智能中心)
专题命中 安全评测 :safety(abstract);分类 cs.CL、cs.AI
AI总结 研究预训练语言模型嵌入的几何结构,提出黎曼均值池化方法,通过提取回拉度量并聚合,在三个数据集上RMP优于欧几里得均值池化,消融实验定位增益来源,训练好的编码器在特定数据集贡献额外信号。