LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure
LP-SFT:通过多模态熵结构进行局部保持监督微调
机构 * School of Mathematical Sciences, Peking University(北京大学数学科学学院) ; Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
AI总结 研究监督微调中存在的问题,利用香农和雷尼熵分析揭示预训练模型的多模态熵结构,提出LP-SFT目标,在多领域实验中提升性能,平衡准确率和k准确率。
Comments 20 pages, 3 figures. Code is available at https://github.com/Wakaka161/LP-SFT