PrefixMemory-Tuning: Modernizing Prefix-Tuning by Decoupling the Prefix from Attention
PrefixMemory-Tuning: 通过解耦前缀与注意力来现代化前缀微调
机构 * National University of Singapore(新加坡国立大学) ; Bioinformatics Institute, A*STAR(A*STAR生物信息研究所) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
AI总结 本文提出PrefixMemory-Tuning,通过将前缀模块移出注意力头以提升表达能力,实验证明其在多个基准上优于传统前缀微调方法,并在通用任务中表现接近现代PEFT技术。
Comments ICLR 2026