高校专区
少即是MoE：修剪领域专家语言模型中的专家
机构 * Carnegie Mellon University（卡内基梅隆大学） ； UCSD（加州大学圣地亚哥分校） ； MIT（麻省理工学院）
AI总结 针对MoE模型部署时参数过多的问题，提出基于Fisher重要性的中间维度修剪方法Fisher-MoE，在50%压缩比下保持模型能力，减少约45%权重内存并提升21%推理吞吐量。
诺亚方舟的知识索引
机构 * M-A-P ； Carnegie Mellon University（卡内基梅隆大学） ； Brown University（布朗大学） ； Waseda University（早稻田大学） ； The University of Tokyo（东京大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Arizona（亚利桑那大学） ； Northwestern University（西北大学） ； Duke-NUS Medical School（杜克-新加坡国立大学医学院）
AI总结 针对LLM知识基准的代表性、注释质量和排名稳定性问题，提出KINA基准，通过贪婪近似实现学科代表性，并证明奖金锦标赛机制优于固定支付，实验显示顶级模型性能远未饱和。
论词汇性在大语言模型中的持久影响
机构 * Dalhousie University（达尔豪斯大学） ； University of Kentucky（肯塔基大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文通过对抗性语义压力测试和信息论视角，量化了大语言模型中词汇重叠相对于语义内容的影响，发现词汇影响贯穿模型深度，并在中间层出现词汇和语义信号同时衰减的过渡区域，进而以摘要和模型编辑为例展示了词汇影响对下游任务的作用。
Toto 2.0：时间序列预测进入规模化时代
机构 * Datadog AI Research（Datadog AI研究院） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文提出Toto 2.0模型家族，通过单一训练配方在400万到25亿参数范围内实现可靠的预测质量提升，并在三个基准测试中达到新状态。
Comments Code: https://github.com/DataDog/toto Weights: https://huggingface.co/collections/Datadog/toto-20
超越模仿：基于强化学习的仿真-现实协同训练用于VLA模型
机构 * Tsinghua University（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhongguancun Academy（中关村学院）
AI总结 本文提出基于强化学习的仿真-现实协同训练框架，通过结合仿真交互与真实世界数据，提升VLA模型的现实应用能力和泛化能力。
多语言长篇语音指令跟随：KIT 在 IWSLT 2026 的提交
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出一种通用数据增强流水线，通过片段拼接、LLM标签生成和跨语言翻译将短语音语料转换为长语音训练数据，结合似然与最小贝叶斯风险解码解决长语音语义任务退化问题。
Comments 9 pages main paper, IWSLT 2026 Instruction Following track
超越对称对齐：医学领域视觉-语言模型中模态不平衡的光谱诊断
机构 * NOVA School of Science and Technology（诺瓦科学与技术学校） ； Nova School of Business and Economics（诺瓦商业与经济学校） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出非对称光谱对齐分数（SAS），通过特征值加权的特征模态相关性量化模态信息不平衡，并在医学图像-文本数据集上评估15个VLM，发现医学图像比临床报告保留更丰富的结构信息，且SAS与检索性能的相关性最强。
Comments 10 pages, 3 figures, 9 tables
随机稀疏注意力用于内存受限推理
机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出SANTA方法，通过从后softmax分布中采样稀疏索引来减少值缓存访问，实现无乘法的高效解码，在Llama-3.1-8B-Instruct上获得1.5倍注意力核加速和1.25倍端到端加速。
Comments Code available at https://github.com/OPUSLab/SANTA
Journal ref ICML 2026
结构化提示优化结合强化学习实现复杂文本的全局与局部可解释性
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon（亚马逊）
AI总结 提出eXTC框架，通过结构化提示优化、基于SOP的推理蒸馏和强化学习扩展，在分类性能和解释质量上显著优于现有范式。
T$^\star$：通过轨迹感知强化学习实现掩码扩散语言模型的渐进块缩放
机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； School of Mathematical Sciences（数学科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出T$^\star$方法，利用基于TraceRL的训练课程，在掩码扩散语言模型中渐进增大块大小，实现高并行解码且性能损失极小。
揭示盲点：生成图像模型中的文化偏见评估
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Dongguk University（东国大学） ； Delft University of Technology（代尔夫特理工大学） ； Johns Hopkins University, School of Medicine（约翰霍普金斯大学医学院） ； University of Minnesota–Twin Cities（明尼苏达大学双城分校） ； Lavoro AI
AI总结 提出一个统一的评估框架，结合自动指标、文化感知VQA和专家人工判断，对文本到图像和图像到图像生成模型进行跨国家、跨时代和跨类别的文化偏见评估，发现模型存在默认全球北方现代描绘、迭代编辑侵蚀文化保真度以及仅应用表面线索等问题。
Comments 28 pages, 8 figures. Accepted at IASEAI 2026. Huichan Seo, Sieun Choi, and Minki Hong contributed equally
3PoinTr: 从无约束人类视频中通过3D点轨迹学习操作
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出3PoinTr方法，通过预测密集3D点轨迹从无约束人类视频中预训练样本高效的机器人操作策略，在真实和模拟任务中显著优于基线方法。
非凸优化中（裁剪）SGD的严格长期尾衰减
机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑分校） ； University of Novi Sad（诺维萨德大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 通过大偏差理论，研究非凸优化中SGD和裁剪SGD的长期尾衰减，给出梯度范数平方的指数级上界和下界，证明衰减率可达$e^{-t/\log(t)}$量级，比现有有限时间界快一个数量级。
Comments 34 pages
推测性思考：在推理时利用大模型指导增强小模型推理能力
机构 * Case Western Reserve University（凯斯西储大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出一种无需训练的推测性思考框架，通过让大推理模型在推理层面引导小模型，在提升小模型推理准确率的同时缩短输出长度。
简单的启发式方法可证明算法用于带掩码的低秩近似
机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文研究了带掩码的低秩近似问题，提出了一种简单的启发式方法，通过将掩码为0的区域设为0，然后求解标准低秩近似，从而得到具有双标准逼近保证的算法。
Comments ITCS 2021
MATCHA: 通过匹配分解采样加速去中心化SGD
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心）
AI总结 该研究提出MATCHA算法，通过匹配分解采样在去中心化SGD中实现误差与运行时间的双赢，验证了其在各种数据集和深度神经网络上的有效性，证明其比传统去中心化SGD快5倍。
关于优化的Powerball方法
机构 * School of Automation, Huazhong University of Science and Technology（华中科技大学自动化学院） ； Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系） ； Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
AI总结 本文提出了一种新的方法来加速优化算法的收敛，通过在优化过程中添加一个功率系数γ∈[0,1)，称为Powerball方法，并分析了该方法在强凸函数中的收敛率。尽管理论上Powerball方法与梯度方法有相同的线性收敛率，但实验证明其在初始迭代中显著优于梯度下降和牛顿方法，尤其在多个真实数据集上提供了10倍的收敛加速。
地面机器人的障碍回避与导航的正式验证
机构 * Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； INRIA（法国国家信息与自动化研究所） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
AI总结 本文研究了移动机器人在动态环境中安全性的核心问题，通过形式化验证方法验证了控制器在回避静态和移动障碍物时的安全性、被动安全性、主动友好安全性及被动方向安全性，并证明了在传感器不确定性和执行器扰动下仍能保证安全性的结论。
Journal ref International Journal of Robotics Research. 36(12), pp. 1312-1340, 2017
梯度下降与随机初始化：非凸相位恢复的快速全局收敛性
机构 * Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系） ； Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系） ； Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
AI总结 本文研究了通过二次方程恢复目标对象的问题，证明了在高斯设计下，随机初始化的梯度下降能在O(log n + log(1/ε))次迭代中获得ε精度的解，从而实现了计算和样本复杂度的近最优性，为相位恢复提供了首个无需精心设计初始化、样本分割或复杂鞍点逃离方案的全局收敛保证。
Comments Accepted to Mathematical Programming
Journal ref Mathematical Programming 2019, Volume 176, Issue 1-2, 5-37
在强连通网络上进行分布式随机优化与梯度跟踪
机构 * Department of Electrical and Computer Engineering, Tufts University（Tufts大学电气与计算机工程系） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
AI总结 本文研究了在强连通网络上最小化平滑且强凸局部成本函数之和的分布式随机优化问题，提出了一种新的分布式方法$\mathcal{S}$-$\mathcal{AB}$，通过辅助变量在期望意义上渐近跟踪全局成本的梯度，利用行和列随机权重确保共识和最优性，并在任意强连通图上应用。
带权图拉普拉斯算子用于半监督学习
机构 * Department of Mathematics, University of Minnesota（明尼苏达大学数学系） ； Department of Mathematical Sciences, Carnegie Mellon University（卡内基梅隆大学数学科学系）
AI总结 本文提出了一种带权图拉普拉斯算子的方法，以解决传统半监督学习方法在标签数据与未标签数据比例降低时性能下降的问题，通过在拉普拉斯正则化中正确设置权重，使估计器在大样本极限下保持良好和稳定，证明了所提出的方法在无限样本极限下收敛于连续变分问题的光滑解。
通过计算图上的前向-后向算法估计多类动态出行生成需求
机构 * Department of Civil and Environmental Engineering（土木与环境工程系） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文提出了一种基于计算图的多类动态出行生成需求估计框架（MCDODE），通过前向-后向算法和树基累积曲线估计OD需求梯度，以解决大规模交通网络中多类时空车流估计的挑战。
Comments 31 pages, 21 figures, submitted to Transportation Research Part C: Emerging Technologies
超越快速矩阵乘法的谱近似：算法与难度
机构 * MIT（麻省理工学院） ； Microsoft Research（微软研究院） ； Stanford University（斯坦福大学） ； University of Minnesota（明尼苏达大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文研究了如何在比矩阵乘法时间更快的运行时间内近似矩阵的谱，提出了一种基于随机迹估计、多项式逼近和快速系统求解器的算法，能够高效地隔离矩阵谱的不同范围并近似奇异值的数量，从而在许多应用中替代真实的奇异值。
Comments ITCS 2018
亚线性时间正定矩阵的低秩近似
机构 * MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文提出了一种在亚线性时间内计算正定矩阵低秩近似的算法，通过因子形式输出一个秩为k的矩阵B，使得B与原矩阵A的F范数平方误差不超过(1+ε)倍的最优秩k近似A_k的F范数平方误差，并在特定条件下无需读取全部矩阵元素。
通过高分辨率微分方程理解加速现象
机构 * Florida International University（佛罗里达国际大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Pennsylvania（宾夕法尼亚大学）
AI总结 本文通过高分辨率微分方程研究优化算法的加速现象，提出了一种新的极限过程，能够区分Nesterov加速梯度法和Polyak重力球方法，并揭示了NAG-C在非强凸函数下的收敛特性。
Comments 82 pages, 11 figures
多无人机系统在网络物理应用中的设计挑战：综述与未来方向
机构 * Carnegie Mellon University Qatar Campus（卡塔尔分校卡内基梅隆大学）
AI总结 本文综述了多无人机系统在网络物理应用中的关键设计挑战，探讨了目标和基础设施对象的覆盖与跟踪、能量高效导航以及基于机器学习的图像分析等核心方法，并提出了面向细粒度网络物理应用的先进算法和未来研究方向。
无需视觉的抓取学习
机构 * The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
AI总结 本文提出基于触觉感知的抓取方法，通过触觉信号表征和迭代重抓取提升抓取稳定性，实验表明在无视觉信息下可有效抓取新型物体。
形式化绑定问题
机构 * Department of Physics and Astronomy, University of Pennsylvania, Philadelphia, PA, USA（物理与天文学系，宾夕法尼亚大学） ； Department of Neuroscience, University of Pennsylvania, Philadelphia, PA, USA（神经科学系，宾夕法尼亚大学） ； Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学） ； Department of Psychology, University of Pennsylvania（心理学系，宾夕法尼亚大学） ； Machine Learning Group, Technical University of Berlin, Berlin, Germany（机器学习组，柏林技术大学） ； Language Technology Institute, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，卡内基梅隆大学）
AI总结 本文用信息论方法形式化绑定问题，提出一种探测方法测量模型表示中的绑定信息，并在视觉Transformer上实验，证明绑定是强视觉识别和推理的关键要素。
Comments Accepted to ICML 2026
VLESA: 用于人类活动监测的视觉语言具身安全智能体
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； Harvard University（哈佛大学）
AI总结 提出VLESA框架，通过自我中心视频监测人类活动，利用GRPO训练的目标条件安全Q过滤器进行实时安全干预，在ASIMOV-2.0基准上实现更高干预精度。
Comments 18 pages, 5 tables, 5 figures
基于模型的强化学习的后验鲁棒性
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出一种在推理时利用学习模型和名义策略进行鲁棒策略改进的后验鲁棒化方法，通过对抗性展开的模型预测控制提升鲁棒性，无需额外训练神经网络。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈