MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models
MicroMix:基于微缩格式的高效混合精度量化用于大语言模型
机构 * College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
专题命中 代码生成 :code generation(abstract);分类 cs.AI、cs.LG
AI总结 MicroMix通过引入微缩格式实现大语言模型的高效混合精度量化,平衡精度与效率,实现接近FP16的性能,且在多个任务中保持无损准确性。
Journal ref ICLR 2026