CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention
CARE: 一种考虑协方差和增强秩的分解方法，以实现多头潜在注意力
机构 * University of Sydney（悉尼大学） ； King Abdullah University of Science and Technology（卡布斯大学） ； Together AI ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
AI总结 CARE通过考虑激活协方差和增强秩，改进了多头潜在注意力的转换，减少了KV缓存成本并提升了表达能力，实验表明其在多个模型上表现更优。
Comments Accepted at ICLR 2026. Conference paper. 10 pages main text; 34 pages total including references and appendix. 11 figures and 20 tables in total
