Intel（英特尔）

MIST: A Co-Design Framework for Heterogeneous, Multi-Stage LLM Inference

MIST：一种用于异构、多阶段LLM推理的联合设计框架

Abhimanyu Rajeshkumar Bambhaniya, Hanjiang Wu, Suvinay Subramanian, Sudarshan Srinivasan, Souvik Kundu, Amir Yazdanbakhsh, Midhilesh Elavazhagan, Madhu Kumar, Minlan Yu, Arijit Raychowdhury, Tushar Krishna

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google（谷歌） ； Intel（英特尔） ； Intel Labs（英特尔实验室） ； Google DeepMind（谷歌DeepMind） ； Harvard University（哈佛大学） ； Infravana 纠错

AI总结 MIST是一种用于异构、多阶段LLM推理的联合设计框架，通过模拟不同请求阶段和复杂硬件层次，优化硬件-软件协同设计，解决LLM推理中的配置空间导航和跨厂商PD配置问题。

Comments Inference System Design for Multi-Stage AI Inference Pipelines. 11 Pages, 10 Figues, 5 Tables