Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
语义完整性至关重要:在KV缓存压缩中基准测试与保持高密度推理
机构 * The Hong Kong University of Science(香港科学与技术大学) ; Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST傅种群研究院)
专题命中 其他推理 :reasoning(title,abstract);CoT(abstract,abstract_cn);chain-of-thought(abstract);分类 cs.CL、cs.AI
AI总结 本文提出KVFundaBench基准测试,揭示了在高密度推理中压缩导致的严重任务依赖性退化问题,并提出ShotKV方法,通过分离prefill和解码阶段以优先保持语义完整性,提升了长上下文生成任务的准确率并降低了延迟。
Comments ICML 2026