5% > 100%: Flatness Preference is All You Need for Multimodal Parameter-Efficient Fine-Tuning
5% > 100%: 平坦性偏好是您进行多模态参数高效微调所需的一切
机构 * Beijing University of Posts and Telecommunications(北京邮电大学) ; Zhejiang University(浙江大学) ; ETH Zürich(苏黎世联邦理工学院) ; Anhui University of Science and Technology(安徽理工大学) ; Tsinghua University(清华大学) ; State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室)
AI总结 揭示参数高效微调方法中普遍存在的平坦性偏好,即少量尖锐维度主导泛化,并提出FlatPO方法优化这些维度以提升泛化性能。