LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models
LLMCodec:适配视频编解码器用于大型语言模型的高效权重压缩
机构 * Shanghai Jiao Tong University(上海交通大学)
AI总结 提出LLMCodec方法,利用视频编解码器(如VVC/H.266)结合仿射量化压缩LLM权重,无需微调或校准数据,在2-bit精度下显著降低困惑度并提升下游任务准确率。
Comments The authors need to make further revisions before resubmission