VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation
VOLD：通过在线蒸馏将LLM推理能力转移到视觉语言模型
机构 * Tuebingen AI Center（图宾根人工智能中心） ； University of Tuebingen（图宾根大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Inria, École Normale Supérieure, CNRS, PSL Research University（法国国家科学研究院、巴黎-萨克勒大学、École Normale Supérieure、PSL研究大学）
AI总结 本文提出VOLD框架，通过在线蒸馏将文本模型的推理能力转移到视觉语言模型，利用组相对策略优化与在线蒸馏结合，提升推理性能，并验证了冷启动对齐在在线训练中的重要性。
Comments www.walidbousselham.com/VOLD/
