LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning
LongAttnComp：跨族上下文压缩用于长上下文推理
机构 * SambaNova Systems, Inc.（SambaNova系统公司）
AI总结 提出LongAttnComp方法，通过微调轻量级交叉注意力评分层并引入令牌级分块、令牌预算top-p算法、位置重排序和格式无关查询解析器，结合两阶段微调策略，在长上下文推理任务中实现与全上下文相当或更优的准确率。
Comments Under review
