2606.05516
2026-06-05
cs.LG
Dominant-Layer ZO: A Single Layer Dominates Zeroth-Order Fine-Tuning of LLMs
主导层 ZO:单层主导大语言模型的零阶微调
Wanhao Yu, Ziyan Wang, Zheng Wang, Abeer Matar Almalky, Yihang Zuo, Shuteng Niu, Sen Lin, Adnan Siraj Rakin, Deliang Fan, Li Yang
发表机构
*
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
;
University of Houston(休斯顿大学)
;
State University of New York at Binghamton(纽约州立大学布法罗分校)
;
Arizona State University(亚利桑那州立大学)
;
Department of Artificial Intelligence and Informatics, Mayo Clinic(梅奥诊所人工智能与信息学系)
AI总结
本文发现零阶优化微调大语言模型时,单个解码层主导性能,通过仅微调该层可匹配或超越全模型微调,并基于激活异常值识别该层,解释其机制。