Bridging Compute- and Data-Optimal Pretraining
弥合计算最优和数据最优预训练之间的差距
机构 * Harvard University(哈佛大学) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
AI总结 研究针对计算增长快于高质量数据可用性的问题,提出计算-数据(CD)缩放定律框架,通过引入令牌有效性函数η拟合数据扩展策略,划分训练操作模式,指出经典计算最优分配在多数实际设置下次优。
高校专区
弥合计算最优和数据最优预训练之间的差距
机构 * Harvard University(哈佛大学) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
AI总结 研究针对计算增长快于高质量数据可用性的问题,提出计算-数据(CD)缩放定律框架,通过引入令牌有效性函数η拟合数据扩展策略,划分训练操作模式,指出经典计算最优分配在多数实际设置下次优。
DAGForge:利用生物医学文献进行可审计的因果DAG创作
机构 * Massachusetts General Hospital(麻省总医院) ; Harvard University(哈佛大学) ; Northeastern University(东北大学)
AI总结 该研究针对生物医学因果分析中构建因果DAG多为手动过程的问题,提出DAGForge系统。它能基于研究概念描述创作可审计的因果DAG,经评估在召回率等方面表现良好,减轻了DAG策划负担,支持生物医学研究相关工作。
Comments 10 pages, 2 figures
无假设哈密顿量的最优原位学习
机构 * Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系) ; John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院) ; California Institute of Technology(加州理工学院)
AI总结 提出一种无需控制、无需辅助比特的算法,仅用泡利乘积态制备和测量,以最优总演化时间学习无假设哈密顿量,适用于近中期量子实验。
Comments 51 pages, 2 figures