LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
LISA:用于高效长上下文推理的线性索引稀疏注意力
机构 * Alibaba International Digital Commerce(阿里巴巴国际数字商业集团) ; School of Software Technology, Dalian University of Technology(大连理工大学软件学院)
专题命中 数学推理 :reasoning(title,abstract);chain-of-thought(abstract);CoT(abstract);分类 cs.AI
AI总结 研究针对长思维链推理模型中标准自注意力计算复杂度高的问题,提出LISA模块,它集成线性注意力模块和闪电索引器,经两阶段训练,能降低推理复杂度,在特定模型上实现推理加速并提升性能。
Comments 20 pages, 10 figures