Learning What to Remember: Test-Time Training via Context Distillation
学习该记住什么:基于上下文蒸馏的测试时训练
机构 * Princeton University(普林斯顿大学) ; UC Berkeley(加州大学伯克利分校) ; UC Santa Cruz(加州大学圣克鲁兹分校) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 该研究针对现有测试时训练未考虑保留信息未来效用的问题,提出TTCD框架及IP-TTCD变体,实验显示其在长上下文语言建模任务中性能优于多个基准方法,可助力架构持续学习。