Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization
超越激活对齐:任务感知的大语言模型量化中的对齐-多样性权衡
机构 * South China University of Technology(华南理工大学) ; Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区) ; Ocean University of China(中国海洋大学) ; Center for AI Theoretical Foundation and Systems, Shenzhen Loop Area Institute(深圳环区研究所人工智能理论基础与系统中心)
专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.LG
AI总结 本文揭示混合精度量化中的困惑度幻觉和对齐-多样性权衡,提出TASA框架联合优化校准数据组成和比特分配,在3.5比特平均精度下匹配或超越4比特基线。