CLIP Is Shortsighted: Paying Attention Beyond the First Sentence
CLIP存在短视:超越第一句话的注意力分配
机构 * University of Toronto Robotics Institute(多伦多大学机器人研究所) ; Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所)
专题命中 AI治理与伦理 :alignment(abstract)
AI总结 CLIP模型在大规模数据上通过图像-文本对比学习获取可迁移的多模态特征,但其预训练过程偏向于短描述,导致复杂场景对齐不足。本文提出DeBias-CLIP,通过去除摘要句和子采样提升对齐效果,实现更优的长文本检索和鲁棒性。
Comments 20 pages, 15 figures, to be published in the CVPR 2026 proceedings