Distilling 3D Spatial Reasoning into a Lightweight Vision-Language Model with CoT
将3D空间推理蒸馏到轻量级视觉-语言模型中:利用推理链
机构 * Department of Computer Science, Toronto Metropolitan University(多伦多 Metropolitan 大学计算机科学系)
专题命中 视觉空间推理 :CoT(title,abstract);reasoning(title,abstract);chain-of-thought(abstract);分类 cs.AI
AI总结 本文提出一种知识蒸馏框架,将7B教师模型的3D空间推理能力转移到2.29B学生模型,实现8.7倍更低的推理延迟和3倍模型压缩,同时保留54-72%的性能。引入隐藏推理链提升推理能力,学生模型联合执行空间描述、深度估计和目标检测。