TESSERA v2: Scaling Pixel-wise Earth Foundation Models
TESSERA v2:扩展逐像素地球基础模型
机构 * University of Cambridge(剑桥大学) ; NVIDIA(英伟达) ; dClimate Labs(dClimate实验室)
AI总结 研究逐像素地球观测基础模型的扩展及预训练预算分配,通过大规模实验发现预训练损失难预测下游性能,给出计算分配规则,训练并蒸馏模型,其成果优于其他模型。
高校专区
TESSERA v2:扩展逐像素地球基础模型
机构 * University of Cambridge(剑桥大学) ; NVIDIA(英伟达) ; dClimate Labs(dClimate实验室)
AI总结 研究逐像素地球观测基础模型的扩展及预训练预算分配,通过大规模实验发现预训练损失难预测下游性能,给出计算分配规则,训练并蒸馏模型,其成果优于其他模型。
技能新词:迈向基于技能的持续学习
机构 * University of Cambridge(剑桥大学)
AI总结 本文提出了一种基于技能的新词(skill neologisms)方法,通过在模型词汇中集成软token,以提高模型在特定技能上的能力,同时支持零样本组合其他技能,从而实现可扩展的基于技能的持续学习。