AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor
AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩
机构 * Department of Computer Science, Tufts University(塔夫茨大学计算机科学系) ; Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系)
专题命中 安全训练 :safety(title,abstract);alignment(abstract);jailbreak(abstract);分类 cs.AI、cs.LG
AI总结 提出AnchorKV,一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法,在保持实用性的同时显著提升安全性。