Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
你能否在没有图像的情况下学习视觉?面向视觉变换器的程序化预热
机构 * Australian Institute for Machine Learning (AIML), University of Adelaide, Australia(澳大利亚机器学习研究所(AIML),阿德莱德大学,澳大利亚) ; École Polytechnique Fédérale de Lausanne (EPFL), Switzerland(瑞士联邦理工学院(EPFL)) ; Idiap Research Institute, Switzerland(日内瓦研究所)
AI总结 本文通过程序化生成数据预训练视觉变换器,使其学习抽象计算先验,提升数据效率和下游性能。
Comments Camera-ready version