Meta-Soft: Leveraging Composable Meta-Tokens for Context-Preserving KV Cache Compression
Meta-Soft: 利用可组合元标记实现上下文保持的KV缓存压缩
机构 * Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院) ; University of Macau(澳门大学) ; Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Hong Kong University of Science and Technology(香港科技大学)
AI总结 提出Meta-Soft动态压缩框架,通过可学习正交基矩阵和Gumbel-Softmax选择网络合成元标记,结合注意力流整合机制保留丢弃上下文信息,解决KV缓存压缩中的信息丢失和上下文断裂问题。
Comments 9 pages, 2 figures