Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance
学习遗忘什么：通过习得的词元级重要性改进大语言模型遗忘
机构 * Theory of Machine Learning Lab, EPFL（机器学习理论实验室，EPFL）
AI总结 提出交替词元加权遗忘（ATWU）框架，通过联合学习词元遗忘特异性和模型参数，在无外部监督下实现最优的遗忘-保留权衡。
高校专区
EPFL（洛桑联邦理工学院）
Steering Vectors are an Adversarial Attack Surface
Steering Vectors 是对抗攻击面
机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； EPFL（苏黎世联邦理工学院）
AI总结 本文揭示了一种隐蔽的数据投毒攻击，通过替换转向数据集中的4-6%令牌，使转向向量与反拒绝方向对齐，从而劫持目标模型，同时保留对良性提示的预期转向效果。
High-Dimensional Theory of LoRA Fine-Tuning in a Solvable Attention Model
可解注意力模型中LoRA微调的高维理论
机构 * Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（计算物理学实验室，瑞士联邦理工学院（EPFL））
AI总结 本文通过高维统计理论分析低秩适应（LoRA）在注意力模型中的微调过程，揭示了预训练与微调之间的相互作用，并给出了测试误差和表示对齐的精确渐近刻画。
Unpaired RGB-Thermal Gaussian-Splatting Using Visual Geometric Transformers
无配对RGB-热成像高斯泼溅使用视觉几何变换器
机构 * Ecole Polytechnique Federale de Lausanne（瑞士联邦理工学院洛桑分校） ； Schindler EPFL Lab（施耐德EPFL实验室）
AI总结 提出一种无配对RGB-热成像新视角合成框架，利用VGGT估计各模态相机位姿并通过Procrustes对齐，结合多模态3D高斯泼溅实现联合重建，在保持RGB保真度的同时实现热成像视图合成。
Comments Accepted at ICRA 2026's Workshop MM-SpatialAI: Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding
Towards Unified and Data-Efficient Prognostics and Health Management with Tabular Foundation Models
面向统一且数据高效的预测与健康管理：基于表格基础模型
机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院）
AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。
Specialization of softmax attention heads: insights from the high-dimensional single-location model
softmax 注意力头的专门化：来自高维单位置模型的见解
机构 * Statistical physics of computation laboratory, École Polytechnique Fédérale de Lausanne, Switzerland（计算物理学实验室，瑞士联邦理工学院拉沃斯纳分校）
AI总结 本文研究了多头注意力机制中注意力头的专门化现象，提出了一种理论模型，分析了SGD下多头softmax注意力的训练动态，并引入了Bayes-softmax注意力以优化预测性能。
HOPSE: Scalable Higher-Order Positional and Structural Encoder for Combinatorial Representations
HOPSE：可扩展的高阶位置和结构编码器用于组合表示
机构 * Guillermo Bernárdez University California Santa Barbara（Guillermo Bernárdez 卡尔弗大学圣巴bara分校） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Universitat Politèqnica de Catalunya（加泰罗尼亚理工大学） ； University of Fribourg（弗里堡大学） ； Aalto University（阿alto大学） ； University California Santa Barbara（加州圣巴bara大学） ； Intelligent Maintenance and Operations Systems, EPFL（EPFL智能维护与操作系统）
AI总结 本文提出HOPSE，一种无需消息传递层的框架，通过Hasse图分解在任意高阶域上生成高效且表达能力强的编码，实现了在组合表示规模线性增长的同时保持HOMP方法的表达能力和排列等价性，实验表明其在分子和拓扑基准上表现优异且速度更快。
Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data
懒惰但有效：基于异构数据的协同个性化联邦学习
机构 * Artificial Intelligence Laboratory EPFL（苏黎世联邦理工学院人工智能实验室） ； Telenor Research（Telenor研究）
AI总结 本文提出了一种简单有效的个性化联邦学习框架pFedLIA，通过使用计算效率高的影响近似方法'Lazy Influence'，在分布式 manner 中对客户端进行聚类，从而在模型聚合前协同训练模型以捕捉客户端特定的数据模式，实验证明其在非iid数据集上能有效恢复全局模型性能，并在多个基准任务中优于现有基线方法。
Comments Accepted at the International Joint Conference on Neural Networks (IJCNN), IEEE, 2025
LIA: Privacy-Preserving Data Quality Evaluation in Federated Learning Using a Lazy Influence Approximation
LIA: 在联邦学习中使用懒惰影响近似进行隐私保护的数据质量评估
机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑校区） ； Telenor Research（Telenor研究） ； University of Southern California（南加州大学）
AI总结 本文提出了一种新的隐私保护数据质量评估方法LIA，通过懒惰影响近似技术过滤和评分数据，在保持隐私的前提下有效识别低质量、损坏或恶意数据。
Comments Proceedings of the 2024 IEEE International Conference on Big Data (IEEE BigData 2024). A preliminary version of this work received the Best Paper Award at the International Workshop on Trustworthy Federated Learning at IJCAI (FL-IJCAI) 2023
