Intel（英特尔）

Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs

北极星：用于扩散语言模型高效推理的漂移感知缓存校准和令牌承诺

Mingyu Lee, Akshat Ramachandran, Souvik Kundu, Tushar Krishna

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Intel AI Group（英特尔人工智能集团） 纠错

AI总结 研究针对扩散语言模型推理效率受双向注意力和静态阈值影响的问题，提出北极星框架，利用令牌表示漂移信号，由北极星缓存和北极星提交两组件构成，大幅提升了模型在准确性-吞吐量方面的表现及解码并行性。