Gaze Heads: How VLMs Look at What They Describe
注视头:视觉语言模型如何观察它们所描述的内容
机构 * Northeastern University(东北大学)
AI总结 发现视觉语言模型的语言骨干中存在一组“注视头”,其注意力跟踪当前描述的图像区域,通过干预这些头可精确控制模型描述内容,准确率达83.1%。
高校专区
注视头:视觉语言模型如何观察它们所描述的内容
机构 * Northeastern University(东北大学)
AI总结 发现视觉语言模型的语言骨干中存在一组“注视头”,其注意力跟踪当前描述的图像区域,通过干预这些头可精确控制模型描述内容,准确率达83.1%。
Every Eval Ever:AI评估结果的统一模式与社区仓库
机构 * Technical University Munich(慕尼黑工业大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; Weizenbaum Institute(魏岑鲍姆研究所) ; Zuse Institute Berlin(柏林祖泽研究所) ; Evidence Prime ; Trustible ; Kitware ; ETH Zurich(苏黎世联邦理工学院) ; StickFlux Labs ; Stanford University(斯坦福大学) ; Northeastern University(东北大学) ; IBM Research(IBM研究院) ; Comenius University Bratislava(布拉迪斯拉发夸美纽斯大学) ; Cisco(思科) ; University of Notre Dame(圣母大学) ; Hebrew University of Jerusalem(耶路撒冷希伯来大学) ; University of Oxford(牛津大学) ; Ohio University(俄亥俄大学) ; Writer ; TCS Research(塔塔咨询服务研究院) ; Oxford University Press(牛津大学出版社) ; Queen Mary University of London(伦敦玛丽女王大学) ; Technical University Berlin(柏林工业大学) ; University of Delaware(特拉华大学) ; Cinemo ; Johns Hopkins University(约翰霍普金斯大学) ; University of Copenhagen(哥本哈根大学) ; ELLIS(欧洲学习与智能系统实验室) ; Iowa State University(爱荷华州立大学) ; Meta FAIR ; University of Montreal(蒙特利尔大学) ; Mila Quebec AI Institute(Mila魁北克人工智能研究所) ; EleutherAI ; Yale University(耶鲁大学) ; Hugging Face ; University of Edinburgh(爱丁堡大学) ; Harvard University(哈佛大学) ; ETH AI Center(ETH人工智能中心) ; MIT(麻省理工学院) ; MIT-IBM Watson Lab(MIT-IBM沃森实验室)
AI总结 针对AI评估结果格式不统一、难以比较的问题,提出首个共享模式与社区众包仓库,通过标准化表示、自动转换器和社区数据库实现跨评估框架的统一。
时间回溯搜索:测试时生成式视频推理
机构 * Northeastern University(东北大学) ; Independent Researcher(独立研究者) ; Harvard & Kempner(哈佛大学与肯普纳研究所) ; MIT(麻省理工学院)
AI总结 提出时间回溯搜索(TBS),通过将搜索空间转移到时间轴,在扩散过程中定位失败点并回溯重启,显著提升视频模型在测试时的推理能力。