Massachusetts Institute of Technology（麻省理工学院）

Self-Distillation Enables Continual Learning

自蒸馏使持续学习成为可能

Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

机构 * MIT（麻省理工学院） ； Improbable AI Lab（Improbable AI实验室） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 自蒸馏微调通过直接从演示中进行基于策略的学习，有效减少持续学习中的灾难性遗忘，提升新任务准确性。