BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook
BTC-LLM: 通过可学习转换和二进制代码表实现高效的亚1位LLM量化
机构 * The Hong Kong University of Science and Technology(香港科技大学) ; City University of Hong Kong(香港城市大学) ; University of Electronic Science and Technology of China(电子科技大学)
AI总结 BTC-LLM通过二进制模式聚类和权重转换克服传统二值化限制,实现亚1位LLM量化,在极端压缩下达到1.11-0.7 bits的压缩率,同时保持高性能和高效推理。