Robustness as an Emergent Property of Task Performance
鲁棒性作为任务性能的涌现属性
机构 * IBM Research(IBM研究院) ; MIT(麻省理工学院)
AI总结 本文提出鲁棒性是任务性能的涌现属性,通过实证分析发现鲁棒性主要由任务特定能力驱动,而非模型固有属性,挑战了传统观点。
高校专区
鲁棒性作为任务性能的涌现属性
机构 * IBM Research(IBM研究院) ; MIT(麻省理工学院)
AI总结 本文提出鲁棒性是任务性能的涌现属性,通过实证分析发现鲁棒性主要由任务特定能力驱动,而非模型固有属性,挑战了传统观点。
ContextEvolve: 多智能体上下文压缩用于系统代码优化
机构 * Tsinghua University, Beijing, China(清华大学) ; Zhongguancun Academy, Beijing, China(中关村学院) ; Massachusetts Institute of Technology, Cambridge MA, USA(麻省理工学院)
AI总结 ContextEvolve通过多智能体框架实现系统代码优化,利用上下文压缩提升搜索效率,实验表明其在ADRS基准测试中性能提升显著。
ReasonCACHE: 教授大语言模型进行推理而不进行权重更新
机构 * FAIR at Meta(Meta 的 FAIR) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
AI总结 ReasonCACHE通过前缀微调实现无需权重更新的推理学习,在效率和表现上超越传统ICL和IWL方法。
Comments 26 pages, 17 Figures
基于选择模型的Q学习用于延迟反馈收益管理
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出基于选择模型的Q学习方法,用于解决延迟反馈下的收益管理问题,通过部分世界模型提升决策鲁棒性并减少偏差。
位置:对超快训练的需要
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文主张将FPGA从仅推理的加速器转向超快芯片上学习,以实现实时闭环系统,应用于量子纠错、等离子体控制等领域。
Comments Position paper at the 2nd Workshop on Domain-Specialized FPGAs (WDSFPGA 2026)
群体自适应阈值优化用于鲁棒的AI生成文本检测
机构 * mit(麻省理工学院) ; upenn(宾夕法尼亚大学) ; ibm(IBM研究院)
AI总结 本文提出FairOPT算法,通过群体特定的阈值优化减少AI生成文本检测中的群体差异,提升分类鲁棒性。
叠加统一了幂律训练动态
机构 * Department of Physics, Massachusetts Institute of Technology, Cambridge, Massachusetts 02139, USA(麻省理工学院物理系) ; Department of Electrical and Computer Engineering, Princeton University, Princeton, New Jersey 08544, USA(普林斯顿大学电气与计算机工程系) ; Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, Massachusetts 02139, USA(麻省理工学院机械工程系)
AI总结 叠加技术通过统一幂律动态,显著加速了训练过程,使训练速度提升十倍,适用于多种神经网络。
Comments 17 pages, 14 figures
在程序合成代理中学习层次规划的抽象
机构 * Harvard University(哈佛大学) ; MIT(麻省理工学院) ; Institute for Human and Machine Cognition(人机认知研究院) ; Kempner Institute for the Study of Natural and Artificial Intelligence at Harvard University, Cambridge, MA, USA(哈佛大学马萨诸塞州剑桥市自然与人工智能研究学院)
AI总结 TheoryCoder-2通过主动学习可重用的抽象,提升了程序合成代理在复杂任务中的样本效率和泛化能力。
Comments 20 pages
亚线性时间的注意力近似量子算法
机构 * Simons Institute for the Theory of Computing, UC Berkeley(Simons理论计算研究所,伯克利大学) ; New York University(纽约大学) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出了一种量子算法,以亚线性时间近似注意力矩阵的行,利用量子Nyström近似、均值估计和杠杆得分采样技术。
Comments ICLR 2026
在未知追随者类型下的贝叶斯斯塔克尔伯格博弈中的学习
机构 * Politecnico di Milano(米兰理工大学) ; MIT(麻省理工学院)
AI总结 本文研究了在未知追随者类型情况下,设计无遗憾算法以最小化领导者遗憾的贝叶斯斯塔克尔伯格博弈学习问题。
通过AI切片插值提高神经病理性重建的保真度
机构 * Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School(马萨诸塞州总医院和哈佛医学院生物医学成像中心) ; Federal Institute of Technology (ETH), Zurich, Switzerland(瑞士苏黎世联邦理工学院) ; BioRepository and Integrated Neuropathology (BRaIN) Laboratory and Precision Neuropathology Core, University of Washington School of Medicine(华盛顿大学医学院生物库与整合神经病学实验室及精准神经病学核心) ; Massachusetts Alzheimer Disease Research Center, MGH and Harvard Medical School(马萨诸塞州阿尔茨海默病研究中心,MGH和哈佛医学院) ; Department of Pathology, Massachusetts General Hospital and Harvard Medical School(马萨诸塞州总医院病理学部) ; Department of Neurological Surgery, University of Washington School of Medicine(华盛顿大学医学院神经外科部) ; Hawkes Institute, University College London(伦敦大学学院霍克斯研究所) ; Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
AI总结 本研究通过AI切片插值技术提升神经病理性重建的保真度,实现更精确的解剖学重建。
Comments 12 pages of main content, 5 pages of supplement
生理学作为语言:将呼吸转化为睡眠EEG
机构 * MIT Computer Science \& Artificial Intelligence Laboratory ; Women’s Hospital, Harvard Medical School
AI总结 本文提出了一种从呼吸信号合成睡眠EEG的跨生理翻译框架,实现了EEG重建及下游任务的高精度表现,展示了远程非接触神经评估的可行性。
Comments Tech report
BenchPress:一种用于快速文本到SQL基准定制的人机协作标注系统
机构 * TU Munich(慕尼黑技术大学) ; MIT(麻省理工学院) ; Intel Labs(英特尔实验室) ; AWS AI Labs(亚马逊AI实验室)
AI总结 BenchPress通过人机协作系统加速特定领域文本到SQL基准的创建,结合LLM生成与人类验证提升标注准确性与基准可靠性。
Comments CIDR'26
通过变换等价性估计预训练医学图像配准模型的不确定性
机构 * Massachusetts General Hospital(麻省总医院) ; Harvard Medical School(哈佛医学院) ; The Hawkes Institute, University College London(霍克斯研究所,伦敦大学学院) ; AI Laboratory, Massachusetts Institute of Technology(人工智能实验室,麻省理工学院)
AI总结 通过变换等价性属性,提出一种无需修改预训练配准模型的不确定性估计方法,提升医学图像配准的安全性和可靠性。
DP-Fusion: 令牌级差分隐私推理用于大语言模型
机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫扎德·本·泽亚德人工智能大学) ; Massachusetts Institute of Technology (MIT)(麻省理工学院)
AI总结 DP-Fusion通过令牌级差分隐私机制,在保证隐私的同时提升大语言模型的文本质量。
Comments Code: https://github.com/rushil-thareja/dp-fusion-lib | PyPI: https://pypi.org/project/dp-fusion-lib/ | Demo: https://www.documentprivacy.com
通过颜色细化实现凸经验风险最小化的精确实例压缩
机构 * Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)(数学、工程与科学研究计划(PRIMES-USA)) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出了一种基于颜色细化的无损压缩框架,用于高效解决凸经验风险最小化问题,适用于多种可微凸优化模型。
矩阵乘积的广义逆:从基本子空间到随机分解
机构 * Samsung AI Center(三星人工智能中心) ; MIT(麻省理工学院)
AI总结 本文研究了矩阵乘积的广义逆,通过基本子空间和随机分解方法,揭示了随机线性代数算法的结构,并应用于稀疏传感器布置和电阻估计。
通过注意力引导的特征学习实现大语言模型的高效准确操控
机构 * MIT(麻省理工学院) ; Broad Institute of MIT and Harvard(麻省理工学院-哈佛大学Broad研究所)
AI总结 本文提出注意力引导的特征学习框架,通过解决三个核心挑战,显著提升了大语言模型的操控效率和效果,成功将可操控概念数量几乎翻倍。
维度红利在LLM微调中的作用:一种方差-曲率视角
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Cognizant AI Lab(Cognizant AI实验室) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 本文从方差-曲率视角探讨LLM微调中的维度红利,揭示微调景观的低维曲率特性,表明小种群可有效优化高维微调任务。
Comments 8 pages, 6 figures, plus appendices
通过镜像下降优化注意力:广义最大边际标记选择
机构 * Massachusetts Institute of Technology(麻省理工学院) ; University of Pennsylvania(宾夕法尼亚大学)
AI总结 本文通过镜像下降优化注意力机制,提出了一种广义最大边际标记选择方法,展示了其在分类任务中的收敛性和泛化能力提升。
Comments Published at JMLR
为何GRPO需要规范化:从局部曲率角度探讨自适应梯度
机构 * Department of Aeronautics and Astronautics, MIT(麻省理工学院航空与宇航系) ; Department of Statistics, University of Wisconsin--Madison(威斯康星大学麦迪逊分校统计系) ; Department of Informatics, King's College London(伦敦国王学院信息学系) ; Department of Computer Sciences, University of Wisconsin--Madison(威斯康星大学麦迪逊分校计算机科学系)
AI总结 GRPO中标准差规范化通过局部曲率视角解释了其自适应梯度机制,理论和实验表明规范化能提升收敛速度并优化训练阶段表现。
深入丛林:迈向自动化大猩猩种群估计
机构 * University of Bristol, UK(英国布里斯托大学) ; Massachusetts Institute of Technology, USA(美国麻省理工学院) ; Wild Chimpanzee Foundation(野生 chimpanzee 基金会) ; Senckenberg Museum of Natural History, Germany(德国森肯伯格自然历史博物馆)
AI总结 本研究通过整合计算机视觉单目深度估计技术,实现了大猩猩种群数量估计的自动化,其方法在准确性上优于传统手动方法,误差控制在22%以内。
Transformer 的均场动力学
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出了一种将 Transformer 注意力建模为均场动力学的数学框架,揭示了注意力机制中聚类现象和长上下文注意力的相变特性。
Comments to appear as Proceedings of the ICM2026, Philadelphia, USA
混合$^2$神经ODE因果建模及其在糖化反应中的应用
机构 * Institute for Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学) ; Broad Institute of MIT and Harvard(哈佛大学与麻省理工学院Broad研究所) ; Department of Pediatrics, Stanford University(斯坦福大学儿科系) ; Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系) ; Department of Statistics and Department of Computer Science, Stanford University(斯坦福大学统计系与计算机科学系)
AI总结 本文提出了一种混合神经ODE模型,通过引入因果损失来提升因果有效性,应用于1型糖尿病患者运动后葡萄糖动态建模,实现预测性能与因果有效性的双赢。
Journal ref Proceedings of the 41st International Conference on Machine Learning, PMLR 235:62934-62963, 2024
FIRE: 基于分布条件化上下文学习的多保真度回归
机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院机械工程系) ; Center for Computational Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院计算工程中心)
AI总结 FIRE通过分布条件化上下文学习,实现高效的多保真度回归,提升准确性和不确定性量化,优于现有方法。
PoSafeNet: 基于偏序结构神经网络的安全学习
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; Worcester Polytechnic Institute(沃斯特理工学院)
AI总结 PoSafeNet通过偏序结构神经网络实现安全学习,通过可微神经安全层在偏序一致约束顺序下进行闭式投影,提升机器人系统在多障碍导航、受约束操作和自动驾驶中的可行性、鲁棒性和可扩展性。
通过自适应聚类密度估计实现生成模型的符合预测
机构 * MIT(麻省理工学院)
AI总结 本文提出CP4Gen方法,通过自适应聚类密度估计提升条件生成模型的预测置信度与可解释性。
宏观尺度静电折纸电机
机构 * Dept. of Aeronautics and Astronautics(航空与宇航系) ; Massachusetts Institute of Technology(麻省理工学院) ; Independent Researcher(独立研究者) ; Department of Electrical Eng. and Computer Sci.(电气工程与计算机科学系)
AI总结 本文提出了一种可折叠的宏观尺度静电折纸电机,通过电晕放电实现连续旋转运动,展示了2.5:1的扩展比、1440 rpm的速度和0.04 Nm/kg的扭矩密度。
WorldLLM: 通过好奇心驱动的理论构建改进LLM的世界建模
机构 * Inria(法国国家信息与自动化技术研究院) ; Univ. of Bordeaux(波尔多大学) ; MIT(麻省理工学院) ; Hugging Face
AI总结 WorldLLM通过结合贝叶斯推断和好奇心驱动的强化学习,改进LLM在结构化环境中的世界建模能力,提升预测精度并生成可解释的环境理论。
Comments This project's code can be found at https://github.com/flowersteam/WorldLLM. This project was presented at RLDM 2025 (https://rldm.org/)
增强语言模型以实现稳健的绿色洗脑检测
机构 * National University of Singapore(新加坡国立大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Nanyang Technological University(南洋理工大学)
AI总结 本文提出了一种参数高效框架,通过结合对比学习和顺序排名目标来增强语言模型在绿色洗脑检测中的鲁棒性。