The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content
结构注意力税:检索格式如何劫持上下文学习而与内容无关
机构 * Xi’an Jiaotong-Liverpool University(西交利物浦大学)
专题命中 AI治理与伦理 :alignment(abstract);分类 cs.CL、cs.AI
AI总结 研究发现知识图谱三元组因其格式结构比自然语言吸引2-3倍注意力,压缩演示注意力达42%,并提出了分解注意力为语义与结构成分的框架及缓解策略。
Comments 10 pages, 5 figures