ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs
ArcLight:一种为多核CPU设计的轻量级大语言模型推理架构
机构 * Harbin Institute of Technology(哈尔滨工业大学) ; Tsinghua University(清华大学)
AI总结 本文提出ArcLight,一种为多核CPU优化的LLM推理架构,通过高效内存管理和线程调度及精细控制的张量并行性,解决多核CPU上的跨节点内存访问瓶颈,实现更高的推理吞吐量。
Comments Accepted by ACL 2026 Demo