Model soups need only one ingredient
模型汤只需一种成分
机构 * EPFL(瑞士联邦理工学院) ; EPFL LTS4(瑞士联邦理工学院 LTS4)
AI总结 提出MonoSoup方法,利用SVD分解单检查点的层更新,通过熵有效秩自动重加权成分,实现强分布内-分布外平衡,无需多检查点。
高校专区
模型汤只需一种成分
机构 * EPFL(瑞士联邦理工学院) ; EPFL LTS4(瑞士联邦理工学院 LTS4)
AI总结 提出MonoSoup方法,利用SVD分解单检查点的层更新,通过熵有效秩自动重加权成分,实现强分布内-分布外平衡,无需多检查点。