University of Edinburgh（爱丁堡大学）

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

LoCA：基于局部信用分配的一次性校准后仅前向的大语言模型调优

Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

机构 * University of Oklahoma（俄克拉荷马大学） ； Imperial College London（伦敦帝国学院） ； University of Michigan（密歇根大学） ； Tencent（腾讯） ； University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； Beijing Normal University（北京师范大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

AI总结 本文提出LoCA方法，通过一次性校准替换大语言模型调优的重复反向传播，在多个基准上优于LoRA，降低了GPU峰值内存、CPU稳态内存与前向传递时间。