Intel（英特尔）

CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs

CAT-Q：面向LLMs的经济高效且精确的三值量化

Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Anbang Yao

机构 * Intel Labs China（英特尔中国实验室） 纠错

AI总结 提出CAT-Q后训练量化方案，通过可学习调制和软化三值化，仅用512个校准样本即可将LLMs高效量化为三值模型，性能优于使用100B tokens训练的BitNet 1.58-bit，训练token减少约100,000倍。

Comments This work is accepted to ICML 2026 as an oral. The project page: https://github.com/IntelChina-AI/BitTern