Bridging Compute- and Data-Optimal Pretraining
弥合计算最优和数据最优预训练之间的差距
机构 * Harvard University(哈佛大学) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
AI总结 研究针对计算增长快于高质量数据可用性的问题,提出计算-数据(CD)缩放定律框架,通过引入令牌有效性函数η拟合数据扩展策略,划分训练操作模式,指出经典计算最优分配在多数实际设置下次优。
高校专区
弥合计算最优和数据最优预训练之间的差距
机构 * Harvard University(哈佛大学) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
AI总结 研究针对计算增长快于高质量数据可用性的问题,提出计算-数据(CD)缩放定律框架,通过引入令牌有效性函数η拟合数据扩展策略,划分训练操作模式,指出经典计算最优分配在多数实际设置下次优。
利用语义地图进行城市尺度的跨视图定位
机构 * CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室) ; DEVCOM Army Research Laboratory (ARL)(陆军研究实验室)
AI总结 研究如何让机器人在未遍历环境中利用先验数据定位,提出克服提取语义信息和关联观测与先验地图两挑战的方法,即从视觉语言模型提炼轻量级匹配器,结合贝叶斯滤波器创建姿态估计,发布数据集并证明方法可泛化。
Comments Equal contribution by Ethan Fahnestock and Erick Fuentes. 13 pages, 7 figures, and 5 tables