ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
ChunkFT: 用于内存高效全微调的分块优化
机构 * Northeastern University, China(中国东北大学) ; Shanghai Jiao Tong University, China(上海交通大学) ; CIS, LMU Munich, Germany(慕尼黑大学CIS实验室) ; MCML, Germany(德国MCML实验室) ; Shandong University, China(山东大学)
专题命中 仓库级理解 :repository(abstract);分类 cs.CL、cs.LG
AI总结 本文提出ChunkFT框架,通过动态激活的工作集重新定义全参数微调,实现了无需修改网络架构即可对任意子张量进行梯度计算,理论分析和实验表明其在内存使用、运行时间和优化质量上均有效,且在下游任务中表现优于现有内存高效基线。