Data-efficient pre-training by scaling synthetic megadocs
通过扩展合成巨文档实现数据高效的预训练
机构 * Stanford University(斯坦福大学)
AI总结 本文研究如何通过生成更长的合成巨文档提升预训练效果,发现其在降低损失和提升基准准确率方面优于简单重述,数据效率从1.48倍提升至1.80倍。
作者
Natural Language Processing
通过扩展合成巨文档实现数据高效的预训练
机构 * Stanford University(斯坦福大学)
AI总结 本文研究如何通过生成更长的合成巨文档提升预训练效果,发现其在降低损失和提升基准准确率方面优于简单重述,数据效率从1.48倍提升至1.80倍。
有偏见的AI会影响政治决策
机构 * Department of Statistics, University of Washington(华盛顿大学统计学系) ; Department of Computer Science, University of Washington(华盛顿大学计算机科学系) ; Dallas, Texas(德克萨斯州达拉斯) ; Department of Computer Science, Stanford University(斯坦福大学计算机科学系) ; Psychiatry and Behavioral Science, University of Washington(华盛顿大学精神病学与行为科学系) ; Department of Communication, Stanford University(斯坦福大学传播学系)
AI总结 本文通过两个互动实验研究了LLM偏见对政治观点和决策的影响,发现参与者更容易接受与模型偏见一致的观点,即使个人政治倾向相反,且AI知识水平与偏见影响减弱相关。