高校专区
高维中的单头注意力：一般化、权重谱和扩展定律的理论
机构 * Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算物理实验室，瑞士联邦理工学院（EPFL）） ； Information, Learning and Physics Laboratory, École polytechnique fédérale de Lausanne (EPFL)（信息、学习与物理实验室，瑞士联邦理工学院（EPFL））
AI总结 本文研究了高维序列任务中训练的注意力层权重谱结构，通过随机矩阵理论等工具，揭示了训练误差、插值阈值及键查询矩阵谱的高维特性，并预测了功率谱定律的出现。
Journal ref ICML 2026
图词典信号模型用于多变量数据的稀疏表示
机构 * LTS4, EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院LTS4实验室）
AI总结 本文提出图词典信号模型，通过图结构描述多变量数据中的关系，利用稀疏组合的图原子进行信号重构，优于现有基线方法。
CoQuIR：面向代码质量感知信息检索的综合基准
机构 * Linköping University（林波伊大学） ； MBZUAI（麦肯锡人工智能研究院） ； TU Darmstadt（德累斯顿技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； EPFL（苏黎世联邦理工学院） ； University of Groningen（Groningen大学） ； Google Tokyo（东京Google） ； Alibaba Group（阿里巴巴集团） ； TU Munich（慕尼黑技术大学）
AI总结 提出首个大规模多语言代码质量感知检索基准CoQuIR，涵盖正确性、效率、安全性和可维护性四维度，通过细粒度标注和两个质量中心指标评估23个模型，发现顶尖模型常无法区分有缺陷代码，并探索了训练方法以提升质量感知能力。
高维线性分类中一致对抗攻击存在的存在性研究
机构 * Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（信息学习与物理实验室，瑞士联邦理工学院（EPFL）） ； Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL）） ； Département d’Informatique, École Normale Supérieure - PSL & CNRS, France（信息学系，法国高等科学研究院（PSL）与国家科学研究中心（CNRS））
AI总结 本文研究高维二分类中对抗攻击与模型表达能力有限导致的误分类区别，提出新的误差度量标准，揭示模型对保持真实标签扰动的脆弱性，理论分析显示模型越过度参数化，对标签保持扰动的敏感性越高。
Journal ref ICML 2026
分布内与分布外机器遗忘的效用与复杂性
机构 * EPFL（瑞士联邦理工学院） ； Stanford University（斯坦福大学）
AI总结 本文分析近似机器遗忘的效用、时间和空间复杂度权衡，提出输出扰动的经验风险最小化实现分布内遗忘的紧致权衡，并针对分布外遗忘提出鲁棒噪声梯度下降变体以摊销时间复杂性。
学习遗忘什么：通过习得的词元级重要性改进大语言模型遗忘
机构 * Theory of Machine Learning Lab, EPFL（机器学习理论实验室，EPFL）
AI总结 提出交替词元加权遗忘（ATWU）框架，通过联合学习词元遗忘特异性和模型参数，在无外部监督下实现最优的遗忘-保留权衡。
Steering Vectors 是对抗攻击面
机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； EPFL（苏黎世联邦理工学院）
AI总结 本文揭示了一种隐蔽的数据投毒攻击，通过替换转向数据集中的4-6%令牌，使转向向量与反拒绝方向对齐，从而劫持目标模型，同时保留对良性提示的预期转向效果。
可解注意力模型中LoRA微调的高维理论
机构 * Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（计算物理学实验室，瑞士联邦理工学院（EPFL））
AI总结 本文通过高维统计理论分析低秩适应（LoRA）在注意力模型中的微调过程，揭示了预训练与微调之间的相互作用，并给出了测试误差和表示对齐的精确渐近刻画。
无配对RGB-热成像高斯泼溅使用视觉几何变换器
机构 * Ecole Polytechnique Federale de Lausanne（瑞士联邦理工学院洛桑分校） ； Schindler EPFL Lab（施耐德EPFL实验室）
AI总结 提出一种无配对RGB-热成像新视角合成框架，利用VGGT估计各模态相机位姿并通过Procrustes对齐，结合多模态3D高斯泼溅实现联合重建，在保持RGB保真度的同时实现热成像视图合成。
Comments Accepted at ICRA 2026's Workshop MM-SpatialAI: Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding
面向统一且数据高效的预测与健康管理：基于表格基础模型
机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院）
AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。
softmax 注意力头的专门化：来自高维单位置模型的见解
机构 * Statistical physics of computation laboratory, École Polytechnique Fédérale de Lausanne, Switzerland（计算物理学实验室，瑞士联邦理工学院拉沃斯纳分校）
AI总结 本文研究了多头注意力机制中注意力头的专门化现象，提出了一种理论模型，分析了SGD下多头softmax注意力的训练动态，并引入了Bayes-softmax注意力以优化预测性能。
HOPSE：可扩展的高阶位置和结构编码器用于组合表示
机构 * Guillermo Bernárdez University California Santa Barbara（Guillermo Bernárdez 卡尔弗大学圣巴bara分校） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Universitat Politèqnica de Catalunya（加泰罗尼亚理工大学） ； University of Fribourg（弗里堡大学） ； Aalto University（阿alto大学） ； University California Santa Barbara（加州圣巴bara大学） ； Intelligent Maintenance and Operations Systems, EPFL（EPFL智能维护与操作系统）
AI总结 本文提出HOPSE，一种无需消息传递层的框架，通过Hasse图分解在任意高阶域上生成高效且表达能力强的编码，实现了在组合表示规模线性增长的同时保持HOMP方法的表达能力和排列等价性，实验表明其在分子和拓扑基准上表现优异且速度更快。
懒惰但有效：基于异构数据的协同个性化联邦学习
机构 * Artificial Intelligence Laboratory EPFL（苏黎世联邦理工学院人工智能实验室） ； Telenor Research（Telenor研究）
AI总结 本文提出了一种简单有效的个性化联邦学习框架pFedLIA，通过使用计算效率高的影响近似方法'Lazy Influence'，在分布式 manner 中对客户端进行聚类，从而在模型聚合前协同训练模型以捕捉客户端特定的数据模式，实验证明其在非iid数据集上能有效恢复全局模型性能，并在多个基准任务中优于现有基线方法。
Comments Accepted at the International Joint Conference on Neural Networks (IJCNN), IEEE, 2025
LIA: 在联邦学习中使用懒惰影响近似进行隐私保护的数据质量评估
机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑校区） ； Telenor Research（Telenor研究） ； University of Southern California（南加州大学）
AI总结 本文提出了一种新的隐私保护数据质量评估方法LIA，通过懒惰影响近似技术过滤和评分数据，在保持隐私的前提下有效识别低质量、损坏或恶意数据。
Comments Proceedings of the 2024 IEEE International Conference on Big Data (IEEE BigData 2024). A preliminary version of this work received the Best Paper Award at the International Workshop on Trustworthy Federated Learning at IJCAI (FL-IJCAI) 2023
RePercENT：将解耦表示学习扩展到两种模态之外
机构 * EPFL（瑞士联邦理工学院）
AI总结 提出RePercENT框架，通过多模态即插即用架构和联合优化目标，实现超过两种模态的可扩展成对解耦，无需联合预训练并降低计算复杂度。
通过排序提升自洽性
机构 * AIRI ； Skoltech（斯克利切夫斯基因工大学） ； EPFL（瑞士联邦理工学院）
AI总结 提出RISC方法，将自洽性中的答案选择转化为排序问题，使用轻量级LambdaRank模型结合五个特征，在多个数据集上实现了比标准自洽性更好的准确率-效率权衡。
Comments 16 pages, 13 figures, accepted at ACL Student Research Workshop 2026
通过双向梯度优化实现大型语言模型中的数据归因
机构 * EPFL, Switzerland（瑞士联邦理工学院） ； ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院）
AI总结 提出一种基于双向梯度优化的训练数据归因方法，用于自动回归大型语言模型，以识别影响模型输出的关键训练数据，提升模型可解释性。
Comments Presented at the AI Governance (AIGOV) Workshop at AAAI 2026
R-APS：基于反思性对抗帕累托搜索的组合推理与上下文元学习用于约束设计
机构 * Idiap Research Institute（Idiap研究 institute） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） ； Honda Research Institute Europe（本田欧洲研究机构） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心）
AI总结 提出R-APS方法，通过推理模式分解、分阶段组合推理、敏感性引导对抗测试和元归纳规则提取，联合解决LLM在代理设置中的错误传播、最坏情况扰动和知识失效问题，在平面机构合成任务上实现更紧的鲁棒性证书和更快的迭代速度。
CTF4Science Lorenz挑战的度量感知混合预测
机构 * EPFL & Idiap Research Institute（瑞士联邦理工学院（EPFL）及Idiap研究所）
AI总结 针对CTF4Science Lorenz挑战，提出一种度量感知混合系统，通过为不同度量族分配专用预测器（去噪器、ODE拟合、直方图替换），在九项任务对上取得高分。
非凸优化中（裁剪）SGD的严格长期尾衰减
机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑分校） ； University of Novi Sad（诺维萨德大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 通过大偏差理论，研究非凸优化中SGD和裁剪SGD的长期尾衰减，给出梯度范数平方的指数级上界和下界，证明衰减率可达$e^{-t/\log(t)}$量级，比现有有限时间界快一个数量级。
Comments 34 pages
学习随机归约
机构 * Yale University, USA（耶鲁大学） ； EPFL, Switzerland（瑞士联邦理工学院） ； George Mason University, USA（乔治·梅onn大学）
AI总结 提出 Bitween 框架自动学习随机自归约（RSR），通过线性回归、遗传编程等后端和 LLM 代理，在 80 个函数中分别发现 54% 和 80% 的 RSR，包括首个 sigmoid 归约。
Comments Accepted at ICML 2026 (Spotlight). 9 pages main text + appendix
Journal ref Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026
基于降阶基和神经网络的数据驱动参数化PDE近似
机构 * SCI-SB-SD, École Polytechnique Fédérale de Lausanne (EPFL), Station 8, 1015 Lausanne, Switzerland（SCI-SB-SD，瑞士联邦理工学院（洛桑联邦理工学院），8号站，1015洛桑，瑞士）
AI总结 本文提出一种结合降阶基方法和神经网络的数据驱动方法，用于近似参数化偏微分方程，通过减少物理参数的计算成本来估计感兴趣的场，如材料样本的温度或流体的速度。
一种适用于使用简单傅里叶变换重建信号的通用采样方法
机构 * Tel Aviv University（特拉维夫大学） ； EPFL（瑞士联邦理工学院） ； Microsoft Research（微软研究院） ； Princeton University（普林斯顿大学） ； Google Research（谷歌研究院）
AI总结 本文提出了一种通用采样方法，用于通过少量离散样本重建连续信号，该方法基于信号的傅里叶结构约束，并展示了其在多带信号重建和高斯过程回归等任务中的有效性。
用混合块浮点数训练DNNs
机构 * EPFL（苏黎世联邦理工学院）
AI总结 本文提出了一种混合块浮点数（HBFP）方法，通过在块浮点数中执行所有点积运算，其他运算使用浮点数，从而在保持高精度的同时提高硬件密度和吞吐量。
Comments 9 pages, 3 figures. Accepted in Neural Information Processing Systems 2018 (NeurIPS 2018)
个性化与隐私保护的点对点机器学习
机构 * INRIA ； EPFL（瑞士联邦理工学院） ； Université de Lille（里尔大学）
AI总结 本文提出一种高效算法，实现去中心化且异步的个性化机器学习，在强隐私要求下保证收敛性。通过差分隐私保护数据隐私，并分析隐私与效用的平衡。实验表明，在非隐私情况下优于先前方法，隐私约束下可显著提升模型性能。
Comments 20 pages, to appear in the Proceedings of the 21st International Conference on Artificial Intelligence and Statistics (AISTATS 2018)
通过鞍点优化实现SVM：新的界和分布式算法
机构 * Tsinghua University（清华大学） ； EPFL（苏黎世联邦理工学院）
AI总结 本文提出基于鞍点优化的新算法，为硬边距SVM和ν-SVM提供近线性时间复杂度的解决方案，并在分布式环境下实现高效通信。
在二次基追踪中平衡稀疏性和秩约束
机构 * INRIA, Centre Inria Rennes - Bretagne Atlantique（INRIA，里昂-大西洋研究中心） ； Inst. of Electrical Eng., Ecole Polytechnique Federale de Lausanne (EPFL)（电气工程研究所，瑞士洛桑联邦理工学院） ； Institut Langevin, CNRS UMR 7587, UPMC, Univ. Paris Diderot, ESPCI（Langevin研究所，法国国家科学研究中心UMR 7587，巴黎-萨特大学，巴黎理工学院）
AI总结 本文研究了同时 enforcing 稀疏性和低秩结构的方法，提出了一种分析稀疏性和低秩约束之间权衡的新方法，并通过仿真验证了其有效性。
使用LLM构建移民新闻框架：结构化思维链作为人类解释的支持
机构 * Idiap Research Institute（日内瓦研究所） ； University of Geneva（日内瓦大学） ； EPFL（瑞士联邦理工学院）
AI总结 本研究提出结构化思维链（SCoT）提示方法，利用本地可部署的开源LLM（Llama3-8B）辅助移民新闻的框架分析，在单GPU上提升分类性能，并通过人类评估验证其逻辑性和对解释的影响。
平衡图流匹配中的对称性与效率
机构 * LTS4, EPFL, Lausanne, Switzerland（LTS4，瑞士洛桑联邦理工学院，拉夫斯堡）
AI总结 通过可控对称调制方案，研究图生成模型中严格等变性带来的计算成本与收敛速度之间的权衡，发现适当调节对称性可在加速收敛的同时避免过拟合。
Comments 15 pages, 11 figures
基于上下文感知保形预测的增强型可再生能源预测
机构 * EPFL, Switzerland（瑞士联邦理工学院） ； Ghent University, Belgium（比利时根特大学）
AI总结 提出上下文感知保形预测（CACP）框架，通过加权历史观测校准预测区间，无需重新训练模型，提升可再生能源预测的可靠性和效率。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈