The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning
魔法相关性:从预训练到监督微调的知识转移理解
机构 * Google Research(谷歌研究) ; EPFL(瑞士联邦理工学院)
AI总结 本研究通过分析预训练到监督微调的知识转移,揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异,为模型开发和数据整理提供指导。
高校专区
魔法相关性:从预训练到监督微调的知识转移理解
机构 * Google Research(谷歌研究) ; EPFL(瑞士联邦理工学院)
AI总结 本研究通过分析预训练到监督微调的知识转移,揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异,为模型开发和数据整理提供指导。
认真对待Goodhart定律:通用人工智能优化的原理性限制
机构 * General-Purpose AI Policy Lab (GPAI Policy Lab)(通用人工智能政策实验室) ; École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 本文提出通用人工智能优化存在原理性限制,因目标规范偏差和优化压力导致系统失控风险。
Comments 9 pages, 1 figure. Under review
非线性SGD在重尾噪声下的高概率收敛速率研究
机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) ; University of Novi Sad(诺维萨德大学) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 本文提出非线性SGD在重尾噪声下的高概率收敛速率分析,通过对称化方法改进非对称噪声处理,实现更优的收敛性能。
Comments 43 pages, 1 figure
将物质相与类比变分量子算法中损失景观的平坦性联系起来
机构 * Chula Intelligent and Complex Systems Lab, Department of Physics, Faculty of Science, Chulalongkorn University, Bangkok, Thailand, 10330(朱拉隆功大学科学学院物理系复杂系统实验室) ; Siam Quantum Square, Faculty of Science, Chulalongkorn University, Bangkok, Thailand, 10330(朱拉隆功大学科学学院暹罗量子广场) ; Centre for Quantum Science and Engineering, Ecole Polytechnique Fédérale de Lausanne (EPFL), CH-1015 Lausanne, Switzerland(瑞士洛桑联邦理工学院量子科学与工程中心)
AI总结 该研究通过分析不同量子相在类比变分量子算法中的表现,提出利用许多体局域化相初始化策略以提升算法可训练性和扩展性。
Comments 17+9 pages, 9+7 figures
测量和控制任务训练的递归神经网络中的解退化
机构 * Harvard University(哈佛大学) ; Harvard Medical School(哈佛医学院) ; Kempner Institute(凯普纳研究所) ; EPFL(苏黎世联邦理工学院)
AI总结 本研究开发了统一框架,量化和控制任务训练RNN中的解退化,揭示任务复杂性和网络规模对解退化的影响。
Journal ref Advances in Neural Information Processing Systems (2025)
基于机器学习的预测无机合成(小数据集应用):铜纳米颗粒尺寸控制的案例研究
机构 * Hasselt University, Institute for Materials Research (IUMAT), Quantum \& Artificial inTelligence design Of Materials (QuATOMs), Martelarenlaan 42, B-3500 Hasselt, Belgium ; Hasselt University, Institute for Materials Research (IUMAT), Hybrid Materials Design (HyMaD), Martelarenlaan 42, B-3500 Hasselt, Belgium ; Hasselt University, Institute for Materials Research (IUMAT), Design ; Electrochemistry Excellence Centre (ELEC), Materials \& Chemistry Unit, Flemish Institute for Technological Research (VITO), Boeretang 200, Mol, 2400 Belgium ; Laboratory of Molecular Simulation (LSMO), Institut des Sciences et Ingénierie Chimiques, École Polytechnique Fédérale de Lausanne (EPFL), Rue de l’Industrie 17, CH-1951 Sion, Switzerland
AI总结 本研究利用小数据集和传统机器学习方法,成功预测了铜纳米颗粒的尺寸,展示了在数据有限条件下,传统ML方法在合成控制中的有效性。
Comments 23 pages, 17 figures, 13 tables (including SI)
人形机器人行为基础模型综述:下一代全身体控系统
机构 * Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系) ; LimX Dynamics ; Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究院、东部技术研究所) ; Department of Data and Systems Engineering, The University of Hong Kong(香港大学数据与系统工程系) ; CREATE Lab, EPFL(EPFL CREATE 实验室) ; School of System Design and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学系统设计与智能制造学院) ; ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC研究院) ; INFIFORCE Intelligent Technology Co., Ltd.(INFIFORCE智能科技有限公司)
AI总结 本文综述了人形机器人全身体控中行为基础模型的发展,探讨了其在复杂任务中的应用及未来研究方向。
Comments 19 pages, 10 figures
Journal ref IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2025
多样性的好处:结合比较与评分以实现高效的评分
机构 * EPFL(苏黎世联邦理工学院) ; Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学) ; CNRS(法国国家科学研究中心) ; Grenoble INP(格勒诺布尔国立理工学院) ; GIPSA-lab(格勒诺布尔实验室)
AI总结 SCoRa通过结合比较和评分提升评分效率,实验证明其在模型不匹配情况下仍能准确恢复评分。
Comments 1 table, 5 figures, 8 pages
VLMs在哪些隐私属性上达成一致并预测良好?
机构 * EPFL(苏黎世联邦理工学院) ; Idiap Research Institute(Idiap研究机构)
AI总结 本文研究了VLMs在隐私属性识别上的表现,发现其在某些属性上与人类标注一致且预测准确,可辅助大规模图像数据集的隐私标注。
Comments This work has been accepted to the ICASSP 2026
MaD-Mix: 通过潜在空间耦合实现多模态数据混合用于视觉-语言模型训练
机构 * LIONS, EPFL(EPFL 雷奥尼实验室)
AI总结 MaD-Mix通过潜在空间耦合实现多模态数据混合,提升视觉-语言模型训练效率,减少训练步骤并增强复杂场景下的性能。
CoLF: 为视觉-语言引导的多机器人协作运输学习一致的领导者-跟随者策略
机构 * Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology (NAIST)(信息科学系,科学技术研究生学校,科学与技术国立研究所(NAIST)) ; École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
AI总结 CoLF 通过不对称策略和互信息训练目标,为多机器人协作运输提供稳定领导者-跟随者角色区分的强化学习框架。
Comments 9 pages, 5 figures
高斯匹配与复制:一种研究Transformer归纳的极简基准
机构 * Institute of Mathematics, EPFL, Switzerland(数学研究所,瑞士联邦理工学院)
AI总结 本文提出高斯匹配与复制基准,用于研究Transformer的匹配与复制机制,通过隔离长距离检索信号,分析模型在检索能力上的差异。
RAP: 3D 像素化增强端到端规划
机构 * EPFL(苏黎世联邦理工学院) ; Sorbonne Université(索邦大学)
AI总结 RAP通过3D像素化增强端到端规划,利用轻量级像素化和特征对齐实现可扩展的数据增强,提升闭环鲁棒性和长尾泛化能力。
基于能力的LLM红队测试规模趋势
机构 * ELLIS Institute Tübingen(图宾根ELLIS研究所) ; Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ; Tübingen AI Center(图宾根人工智能中心) ; Foundation AI – Cisco Systems Inc.(AI基础研究机构——思科系统公司) ; EPFL(苏黎世联邦理工学院)
AI总结 研究通过分析攻击者与目标模型能力差距,揭示了红队测试中攻击成功率随模型能力变化的趋势,提出jailbreaking scaling曲线以预测攻击效果。
Comments Published as a conference paper at ICLR 2026
联邦提示调优与异构且不完整多模态客户端数据
机构 * Institute of AI Innovation and Societal Impact, Hanoi University of Science and Technology(人工智能创新与社会影响研究院,河内科学技术大学) ; EPFL(瑞士联邦理工学院) ; Griffith University(格里菲斯大学) ; Washington State University(华盛顿州立大学)
AI总结 本文提出联邦提示调优框架,解决异构多模态数据中特征缺失分布不一致的问题,通过客户端调优与服务器聚合提升多模态提示调优效果。
具有玩家间凹耦合约束的游戏中的纳什均衡:存在性与计算
机构 * EPFL, Switzerland(苏黎世联邦理工学院)
AI总结 本文研究了具有玩家间凹耦合约束的游戏中的纳什均衡存在性与计算,提出了一种收敛算法以在非凸可行区域中找到近似纳什均衡。
温启动,冷状态:利用绝热性为变分基态服务
机构 * Institute of Physics, Ecole Polytechnique F\' e d\' e rale de Lausanne (EPFL), CH-1015 Lausanne, Switzerland ; Centre for Quantum Science ; Engineering, Ecole Polytechnique F\' e d\' e rale de Lausanne (EPFL), CH-1015 Lausanne, Switzerland ; Barcelona Supercomputing Center, Plaça Eusebi G\"uell, 1-3, 08034 Barcelona, Spain ; Institute for Theoretical Physics, ETH Zürich, 8093, Zürich, Switzerland
AI总结 本文提出了一种基于绝热原理的变分基态准备方法,通过逐步变形哈密顿量来跟踪基态流形,解决了变分训练在复杂能量景观中的困难问题。
Comments 11 + 24 pages, 3 figures
学习分层多索引模型中的最优缩放规律
机构 * Departement d’Informatique, École Normale Supérieure, PSL & CNRS(信息学院,巴黎综合理工学院,PSL与CNRS) ; Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息、学习与物理实验室,洛桑联邦理工学院(EPFL)) ; INRIA Paris(巴黎INRIA)
AI总结 本文研究了分层多索引模型中神经网络的最优缩放规律,提出了一种简单且高效的谱估计方法,揭示了分层特征的逐层学习过程及统计最优读出机制。
FMPose3D: 通过流匹配进行单目3D姿态估计
机构 * École Polytechnique Fédérale de Lausanne(联邦理工学院洛桑校区)
AI总结 FMPose3D通过流匹配方法高效生成3D姿态样本,超越现有方法并在多个3D姿态数据集上取得最佳性能。
超越整体评分:自动基于特质的质量评分论说作文
机构 * ELLIS Alicante(埃利斯阿尔瓦雷斯) ; Universitat d'Alacant(阿尔瓦雷斯大学) ; École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 本文提出基于特征的自动论说作文评分方法,通过两种建模范式提升评分准确性,并展示小型LLM在无需微调下的竞争力。
碎片化学习:一种用于去中心化学习的框架
机构 * École Polytechnique Fédérale de Lausanne (EPFL), Switzerland(瑞士联邦理工学院洛桑分校) ; Univ Rennes, Inria, CNRS, IRISA, France(法国里尔大学、法国国家科学研究中心、法国信息与自动化研究所) ; University of Copenhagen, Denmark(丹麦哥本哈根大学)
AI总结 Mosaic学习通过碎片化模型分解,提升去中心化学习的性能,实现更高的测试准确率和更高效的通信
广义梯度范数截断与非欧几里得$(L_0,L_1)$-平滑性
机构 * EPFL (LIONS)(苏黎世联邦理工学院(LIONS)) ; Université Paris-Saclay (CVN)(巴黎-萨克雷大学(CVN))
AI总结 本文提出了一种结合最速下降与条件梯度的非欧几里得优化方法,通过广义$(L_0,L_1)$-平滑性实现梯度范数截断的扩展,并在深度学习中展示了其收敛性和应用效果。
SuperPoint-E:通过内窥镜跟踪适应进行3D重建的局部特征
机构 * University of Zaragoza(萨拉戈萨大学) ; École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
AI总结 SuperPoint-E通过跟踪适应策略提升内窥镜视频中3D重建的特征提取性能,实现更密集和更精确的重建结果。
Comments 12 pages, 5 tables, 6 figures
通过残差等距潜在流进行全部原子G蛋白偶联受体-配体模拟
机构 * Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(EPFL))
AI总结 本文提出GPCRLMD框架,利用残差等距潜在流实现高效全部原子GPCR-配体模拟,准确再现热力学性质与关键相互作用。
Comments 36 pages
拜占庭机器学习:MultiKrum 与最优鲁棒性概念
机构 * EPFL(瑞士联邦理工学院)
AI总结 本研究首次证明MultiKrum是一种稳健的聚合规则,并界定了其鲁棒性系数,同时改进了Krum的鲁棒性系数界。
是否应该用合成数据?对合成数据用于数据共享和增强的适用性分析
机构 * Lausanne University Hospital(拉索纳大学医院) ; Swiss Data Science Center, EPFL(瑞士数据科学中心,EPFL) ; University of Lausanne(洛桑大学) ; Max Planck Institute for Security & Privacy EPFL(马克斯·普朗克安全与隐私研究所 EPFL)
AI总结 本文分析了合成数据在数据共享和增强中的适用性,指出其在实际应用中存在基本和实际限制,导致许多现有或设想的使用案例并不适合。
Comments BK and TS contributed equally
利用元工具优化代理工作流
机构 * EPFL, Switzerland(瑞士联邦理工学院)
AI总结 本研究提出AWO框架,通过识别并优化重复的工具执行模式,减少LLM调用次数并提高代理工作流的成功率。
MEMOIR: LLMs的终身模型编辑与最小覆盖与有意识保留
机构 * EPFL(苏黎世联邦理工学院)
AI总结 MEMOIR通过残差记忆模块实现LLM的终身模型编辑,高效处理连续编辑任务,保持模型核心能力并减少遗忘。
Comments The first two authors contributed equally to this work; Accepted to NeurIPS 2025
HalluHard: 一种具有挑战性的多轮 hallucination 评估基准
机构 * EPFL(苏黎世联邦理工学院) ; ELLIS Institute Tübingen(图宾根ELLIS研究所) ; Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ; Tübingen AI Center(图宾根人工智能中心)
AI总结 HalluHard是一种具有挑战性的多轮hallucination评估基准,通过内联引用和网络搜索评估模型的事实性输出,发现即使使用网络搜索,幻觉仍然普遍存在。
直接偏好优化与评分信息:实用算法和可证明的收益
机构 * EPFL(苏黎世联邦理工学院) ; Amazon AGI(亚马逊人工智能实验室) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Cornell University(康奈尔大学) ; Qualcomm AI Research(高通人工智能研究)
AI总结 本文提出利用评分间隙信息改进直接偏好优化算法,通过理论证明和实验验证,在准确评分间隙条件下实现更快的统计速率,并在多种LLM和基准上表现优异。