Intel（英特尔）

TokenButler: Token Importance is Predictable

TokenButler：令牌重要性是可预测的

Yash Akhauri, Ahmed F AbouElhamayed, Yifei Gao, Chi-Chih Chang, Sameh Gobriel, Nilesh Jain, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； Intel Labs（英特尔实验室） 纠错

AI总结 TokenButler通过高粒度查询感知预测器识别关键令牌，减少KV缓存瓶颈，提升解码效率与准确性。