arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Massachusetts Institute of Technology(麻省理工学院)

2026-05-21 至 2026-05-21 共收录 13
2605.19269 2026-05-21 cs.LG

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

CODA:将Transformer块重写为GEMM-epilogue程序

Han Guo, Jack Zhang, Arjun Menon, Driss Guessous, Vijay Thakkar, Yoon Kim, Tri Dao

机构 * Massachusetts Institute of Technology(麻省理工学院) Princeton University(普林斯顿大学) Together AI Meta

AI总结 本文提出CODA,一种将Transformer中的非注意力计算重写为GEMM-epilogue程序的GPU内核抽象,以提高训练效率和硬件利用效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15156 2026-05-21 cs.CL cs.AI cs.LG

MeMo: Memory as a Model

MeMo:记忆作为模型

Ryan Wei Heng Quek, Sanghyuk Lee, Alfred Wei Lun Leong, Arun Verma, Alok Prakash, Nancy F. Chen, Bryan Kian Hsiang Low, Daniela Rus, Armando Solar-Lezama

机构 * Institute of Data Science, National University of Singapore(数据科学研究院,新加坡国立大学) Integrative Sciences and Engineering Programme, NUSGS(整合科学与工程计划,NUSGS) Agency for Science, Technology, Research (A*STAR)(科技研究局(A*STAR)) Department of Computer Science, National University of Singapore(计算机科学系,新加坡国立大学) University of Tokyo(东京大学) Liquid AI CSAIL, Massachusetts Institute of Technology(CSAIL,麻省理工学院) AI Singapore Singapore-MIT Alliance for Research and Technology Centre, Singapore(新加坡-麻省理工学院研究与技术中心,新加坡)

AI总结 本文提出MeMo框架,通过在不改变LLM参数的情况下将新知识编码到专用记忆模型中,解决了大型语言模型在需要及时领域特定信息的应用中的问题,同时具备处理复杂跨文档关系、抗检索噪声、避免灾难性遗忘、无需访问LLM权重或输出logits以及检索成本与语料库大小无关等优势。

Comments MeMo augments any LLM with up-to-date or domain-specific knowledge via a trained memory model, avoiding costly retraining, mitigating catastrophic forgetting, and remaining robust to retrieval noise

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.23943 2026-05-21 cs.CY cs.LG stat.ME

Statistical Guarantees in the Search for Less Discriminatory Algorithms

在寻找更少歧视性算法中统计保证

Chris Hays, Ben Laufer, Solon Barocas, Manish Raghavan

机构 * MIT(麻省理工学院) Cornell University(康奈尔大学) Microsoft Research(微软研究院)

AI总结 本文研究了在高风险领域中,企业为减少对受保护群体的歧视性影响而寻找更少歧视性算法的统计保证问题,提出了一种自适应停止算法以确定何时停止搜索以证明进一步搜索不会带来有意义的改进。

Comments 38 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20941 2026-05-21 cs.CV cs.GR cs.HC

PaintCopilot: Modeling Painting as Autonomous Artistic Continuation

PaintCopilot: 将绘画建模为自主的艺术延续

Yunge Wen, Yuancheng Shen, Paul Pu Liang

机构 * MIT Media Lab(MIT媒体实验室) New York University(纽约大学)

AI总结 本文提出了一种基于神经网络的绘画助手PaintCopilot,通过建模绘画作为开放性自回归艺术行为,基于不断演变的画布状态和先前笔触历史,无需目标图像即可预测未来笔触,与现有神经绘画方法不同,后者将绘画建模为向预定参考图像的像素重建。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20782 2026-05-21 cs.LG

Causal Machine Learning Is Not a Panacea: A Roadmap for Observational Causal Inference in Health

因果机器学习并非万能:健康领域观察性因果推断的路线图

Donna Tjandra, Trenton Chang, Sonali Parbhoo, Rajesh Ranganath, Andre Kurepa Waschka, William Mitchell, Maggie Makar, Shalmali Joshi, Finale Doshi-Velez, Leo Anthony Celi, Jenna Wiens

机构 * Division of Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系) Department of Electrical and Electronic Engineering, Imperial College London(伦敦帝国理工学院电子与电气工程系) Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所) Center for Data Science, New York University(纽约大学数据科学中心) Department of Mathematics & Statistics, Elon University(埃洛伊大学数学与统计学系) Department of Ophthalmology, Cambridge University Hospitals(剑桥大学医院眼科部) Department of Biomedical Informatics, Columbia University(哥伦比亚大学生物医学信息学系) School of Engineering and Applied Science, Harvard University(哈佛大学工程与应用科学学院) Laboratory for Computational Physiology, Institute for Medical Engineering and Science, Massachusetts Institute of Technology(麻省理工学院医学工程与科学研究所计算生理学实验室) Department of Medicine, Beth Israel Deaconess Medical Center(贝斯以色列德aconess医疗中心医学部) Department of Biostatistics, Harvard T.H. Chan School of Public Health(哈佛T.H. Chan公共卫生学院生物统计学系)

AI总结 本文探讨了因果机器学习在观察性数据中的应用,强调了验证有效性假设和合理使用因果机器学习的重要性,提出了加强因果分析严谨性和可解释性的模板。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20625 2026-05-21 eess.SY cs.MA cs.RO cs.SY

Time-To-Reach Separation and Safety Filtering for Safe, Fair, and Efficient Multi-Agent Coordination

时间到达分离与安全过滤用于安全、公平和高效的多智能体协调

Matthew Low, Jasmine Jerry Aloor, Victoria Marie Tuck, Pierluigi Nuzzo, Jason J. Choi

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系) Department of Aeronautics and Astronautics, Massachusetts Institute of Technology(麻省理工学院航空与航天系) GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室) Department of Electrical and Computer Engineering, University of California, Los Angeles(加州大学洛杉矶分校电子与计算机工程系)

AI总结 本文提出了一种多智能体协调框架,利用最小时间到达(TTR)作为统一指标用于优先级分配、时间分离和安全过滤,以协调多个空中车辆进入空中走廊并保持车辆间安全分离。

Comments 9 pages, 3 figures. Extended version (including appendix) of a paper submitted to the 65th IEEE Conf. on Decision and Control (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20613 2026-05-21 cs.CL

HRM-Text: Efficient Pretraining Beyond Scaling

HRM-Text: 超越规模的高效预训练

Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

机构 * Sapient Intelligence MIT(麻省理工学院)

AI总结 本文提出HRM-Text模型,通过引入分层递归模型和新的训练方法,在减少计算资源消耗的同时实现了与大规模模型相当的性能,展示了高效预训练的可能性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20554 2026-05-21 cs.AI cs.HC cs.SI

Personality Engineering with AI Agents: A New Methodology for Negotiation Research

利用AI代理的人格工程:谈判研究的新方法论

Michelle A. Vaccaro, Jared R. Curhan

机构 * MIT Institute for Data, Systems, and Society(MIT数据、系统与社会研究所) MIT Sloan School of Management(MIT斯隆管理学院)

AI总结 本文提出了一种利用AI代理进行谈判者人格参数化、操纵和评估的方法,通过人际圆周坐标系中的温暖和支配两个核心维度,为谈判理论的严格测试和AI谈判代理的人格设计提供了一种新方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15305 2026-05-21 cs.GR cs.LG

WorldParticle: Unified World Simulation of Lagrangian Particle Dynamics via Transformer

WorldParticle:通过Transformer实现拉格朗日粒子动力学的统一世界模拟

Caoliwen Wang, Minghao Guo, Siyuan Chen, Heng Zhang, Mengdi Wang, Xingyu Ni, Hanson Sun, Kunyi Wang, Zherong Pan, Kui Wu, Lingjie Liu, Yin Yang, Chenfanfu Jiang, Taku Komura, Wojciech Matusik, Peter Yichen Chen

机构 * University of British Columbia(不列颠哥伦比亚大学) MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) Georgia Institute of Technology(佐治亚理工学院) Inria(法国国家信息与自动化技术研究院) Meta Independent Researcher(独立研究者) University of Pennsylvania(宾夕法尼亚大学) University of Utah(犹他大学) University of California Los Angeles(加州大学洛杉矶分校) University of Hong Kong(香港大学)

AI总结 本文提出基于Transformer架构的粒子模拟器,能够统一模拟布料、弹性固体、牛顿流体、非牛顿流体、颗粒材料和分子动力学等不同物理现象,通过预测-校正设计和粒子表示,实现高效的模拟与泛化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26539 2026-05-21 cs.CL cs.AI

How Open Must Language Models be to Enable Reliable Scientific Inference?

语言模型必须多开放才能实现可靠的科学推断?

James A. Michaelov, Catherine Arnett, Tyler A. Chang, Pamela D. Rivière, Samuel M. Taylor, Cameron R. Jones, Sean Trott, Roger P. Levy, Benjamin K. Bergen, Micah Altman

机构 * Massachusetts Institute of Technology(麻省理工学院) EleutherAI University of California San Diego(加州大学圣地亚哥分校) Rutgers University-Newark(新泽西州立大学罗威特分校) Stony Brook University(史泰森布魯克大學)

AI总结 本文探讨了语言模型的开放程度如何影响基于其研究的科学推断可靠性,指出封闭模型通常不适合科学用途,并提出系统识别和缓解推断威胁的方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.20399 2026-05-21 cs.LG

GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Training

GeoPT:通过提升几何预训练实现物理模拟的扩展

Haixu Wu, Minghao Guo, Zongyi Li, Zhiyang Dou, Mingsheng Long, Kaiming He, Wojciech Matusik

机构 * MIT CSAIL Tsinghua University(清华大学)

AI总结 本文提出GeoPT,一种基于提升几何预训练的通用物理模拟预训练模型,通过合成动态增强几何,实现动态感知的自监督学习,从而提升物理模拟的效率和效果。

Comments Project Page: https://physics-scaling.github.io/GeoPT/

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.01053 2026-05-21 cs.IR cs.AI cs.DB

M3: Conversational LLMs Simplify Secure Clinical Data Access, Understanding, and Analysis

M3: 对话式大语言模型简化安全的临床数据访问、理解与分析

Rafi Al Attrach, Pedro Moreira, Rajna Fani, Renato Umeton, Amelia Fiske, Leo Anthony Celi

机构 * Massachusetts Institute of Technology(麻省理工学院) Technical University of Munich(慕尼黑技术大学) Universitat Pompeu Fabra(庞培法华大学) St. Jude Children’s Research Hospital(圣犹大儿童研究医院) Beth Israel Deaconess Medical Center(贝斯以色列医疗中心) Harvard T.H. Chan School of Public Health(哈佛大学T.H. Chan公共卫生学院)

AI总结 本文提出M3系统,通过模型上下文协议实现对MIMIC-IV数据库的自然语言查询,降低了临床数据访问和分析的技术门槛,并展示了其在安全性和性能上的优势。

Comments 18 pages, 4 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2408.08812 2026-05-21 cs.LG

TRAM: Test-Time Risk Adaptation with Mixture of Agents

TRAM: 测试时风险适应与代理混合

Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

机构 * UT Austin(得克萨斯大学) University of Central Florida(中央佛罗里达大学) MIT(麻省理工学院) UMD(大学公园分校)

AI总结 本文研究了在部署时无需更新的零更新适应问题,提出TRAM方法通过混合代理评估源策略的风险调整分数,以降低部署风险并保持奖励。

详情

展开后加载摘要…

URL PDF HTML 收藏