arXivDaily arXiv每日学术速递 周一至周五更新

期刊&会议

International Conference on Machine Learning · 会议 · Machine Learning

共收录 11791
2512.05671 2026-06-02 cs.CL

ClinTutor-R1: Advancing Scalable and Robust One-to-Many Alignment in Clinical Socratic Education

ClinTutor-R1:在临床苏格拉底式教育中推进可扩展且稳健的一对多对齐

Zhitao He, Haolin Yang, Zeyu Qin, Yi R Fung

机构 * Hong Kong University of Science and Technology(香港理工大学)

AI总结 针对临床查房等一对多教学场景中上下文稀释与目标错位问题,提出基于多智能体模拟器ClinEdu构建的苏格拉底式教学数据集ClinTeach,并开发首个显式内部思维机制的一对多对齐视觉语言智能体ClinTutor-R1,通过建模个体信念状态与群体共识,在静态基准、交互评估、专家评审及200人真实用户研究中超越基线模型20%以上,达到与专有模型相当的性能,并展现出随学生规模扩展的教学质量可扩展性。

Comments Accepted by ICML 2026 (Spotlight)

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.05650 2026-06-02 cs.CL cs.AI cs.LG

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

通过基座对齐模型协作优化多样性与质量

Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

机构 * University of Chicago(芝加哥大学) University of Southern California, Information Sciences Institute(南加州大学信息科学研究所) University of California, Davis(加州大学戴维斯分校)

AI总结 提出基座对齐模型协作框架(BACo),在推理时通过令牌级路由策略动态结合基座LLM与其对齐版本,以单次前向传递同时提升生成多样性和质量。

Comments ICML 2026. (47 pages, 22 figures)

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.05613 2026-06-02 cs.CY cs.AI cs.LG

Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations

谁在评估人工智能的社会影响?第一方和第三方评估的覆盖范围与差距分析

Anka Reuel, Avijit Ghosh, Jenny Chim, Andrew Tran, Yanan Long, Jennifer Mickel, Usman Gohar, Srishti Yadav, Pawan Sasanka Ammanamanchi, Mowafak Allaham, Hossein A. Rahmani, Mubashara Akhtar, Felix Friedrich, Robert Scholz, Michael Alexander Riegler, Jan Batzner, Eliya Habba, Arushi Saxena, Anastassia Kornilova, Kevin Wei, Prajna Soni, Yohan Mathew, Kevin Klyman, Jeba Sania, Subramanyam Sahoo, Olivia Beyer Bruvik, Pouya Sadeghi, Sujata Goswami, Angelina Wang, Yacine Jernite, Zeerak Talat, Stella Biderman, Mykel Kochenderfer, Sanmi Koyejo, Irene Solaiman

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 通过分析186份第一方发布报告和248份第三方评估来源,结合开发者访谈,揭示了第一方报告稀疏且流于表面,而第三方评估更广泛深入,但数据溯源、内容审核劳动等关键领域存在披露缺口,呼吁政策强制开发者透明化并加强独立评估生态。

Comments Accepted at the Forty-Third International Conference on Machine Learning (ICML), 2026, in Seoul, Korea

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.04981 2026-06-02 cs.LG

Scaling depth capacity via zero/one-layer model expansion

通过零/单层模型扩展扩展深度容量

Zhiqi Bu

机构 * Meta FAIR

AI总结 提出零/单层渐进训练方法,通过优化理论和特征学习分析深度扩展,在GPT2上节省约80%计算量并实现约5倍加速,在LLAMA3和DeepSeekV3上展示3~5倍计算效率提升。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.00615 2026-06-02 cs.AI cs.CL

ACON: Optimizing Context Compression for Long-horizon LLM Agents

ACON:面向长周期LLM智能体的上下文压缩优化

Minki Kang, Wei-Ning Chen, Dongge Han, Huseyin A. Inan, Lukas Wutschitz, Yanzhi Chen, Robert Sim, Saravan Rajmohan

机构 * University of Washington(华盛顿大学)

AI总结 提出ACON框架,通过自然语言空间优化压缩策略,在不微调模型的情况下减少峰值token使用量26-54%并提升任务成功率,同时可蒸馏至小模型。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.11713 2026-06-02 cs.CL cs.LG

Are Large Reasoning Models Interruptible?

大型推理模型是否可中断?

Tsung-Han Wu, Mihran Miroyan, David M. Chan, Trevor Darrell, Narges Norouzi, Joseph E. Gonzalez

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 研究大型推理模型在中断和动态上下文两种现实动态场景下的鲁棒性,发现静态评估高估了鲁棒性,并揭示了推理泄漏、恐慌和自我怀疑等新故障模式。

Comments ICML 2026; Project Page: http://dynamic-lm.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.06948 2026-06-02 cs.CL

Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning

超越两阶段训练:用于大语言模型推理的协作式SFT与RL

Liang Chen, Xueting Han, Li Shen, Jing Bai, Kam-Fai Wong

机构 * University of Science and Technology of China(中国科学技术大学)

AI总结 提出BRIDGE框架,通过选择性知识迁移使SFT辅助RL训练,在数学推理等任务上优于两阶段和单阶段混合方法。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.13774 2026-06-02 cs.LG cs.CV

UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations

UrbanFusion: 用于鲁棒空间表示对比学习的随机多模态融合

Dominik J. Mühlematter, Lin Che, Ye Hong, Martin Raubal, Nina Wiedemann

机构 * ETH Zurich(苏黎世联邦理工学院)

AI总结 提出UrbanFusion模型,通过随机多模态融合(SMF)和Transformer模块整合街景、遥感、地图和POI数据,在56个城市41项任务中优于现有GeoAI模型。

Journal ref International Conference on Machine Learning (ICML), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.12249 2026-06-02 cs.LG

Optimal Regularization for Performative Learning

表现性学习的最优正则化

Edwige Cyffers, Alireza Mirrokni, Marco Mondelli

机构 * EPFL, Switzerland(瑞士联邦理工学院)

AI总结 研究高维岭回归中正则化如何应对数据分布随模型变化的表现性效应,发现过参数化下表现性效应有益,并给出最优正则化参数与表现性效应强度的关系。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05566 2026-06-02 stat.ML cs.AI cs.CL cs.LG stat.AP

Domain-Shift-Aware Conformal Prediction for Large Language Models

领域偏移感知的共形预测用于大型语言模型

Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

机构 * University of Waterloo(多伦多大学)

AI总结 提出领域偏移感知共形预测框架,通过重加权校准样本应对分布偏移,在MMLU基准上提升覆盖可靠性。

Comments Accepted to Forty-Third International Conference on Machine Learning (ICML), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.03745 2026-06-02 cs.LG cs.NA math.NA

Neural Low-Discrepancy Sequences

神经低差异序列

Michael Etienne Van Huffel, Nathan Kirk, Makram Chahine, Daniela Rus, T. Konstantin Rusch

机构 * MIT(麻省理工学院) CMU(卡内基梅隆大学) Harvard University(哈佛大学)

AI总结 提出NeuroLDS,首个基于机器学习的有限低差异序列生成框架,通过监督预训练和无监督微调两步学习,在多个应用中显著优于传统方法。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.18102 2026-06-02 cs.LG cs.AI cs.CL stat.ME

CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting

CapBencher: 为您的LLM基准测试内置测试集过拟合警报

Takashi Ishida, Thanawat Lodkaew, Ikko Yamane

机构 * National Institute of Advanced Industrial Science and Technology, Japan(日本国家先进工业科学与技术研究院)

AI总结 提出CapBencher方法,通过向答案注入随机性(准备多个逻辑正确但仅一个作为解)来降低贝叶斯准确率,从而在公开基准测试时防止测试集过拟合并检测泄露或作弊。

Comments ICML 2026 camera ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.03259 2026-06-02 cs.LG cs.AI

Verifying Meta-Awareness via Predictive Rewards in Reasoning Models

通过推理模型中的预测奖励验证元意识

Yoonjeon Kim, Doohyuk Jang, Eunho Yang

机构 * Yoonjeon Kim, Doohyuk Jang, Eunho Yang

AI总结 提出 MAPR 方法,利用自生成任务预测推理统计量(长度、通过率、概念)来增强模型的元意识,从而在多个数学推理基准上显著提升准确率和训练效率。

Comments accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.01167 2026-06-02 cs.LG cs.AI cs.CL

Simultaneous Multi-objective Alignment Across Verifiable and Non-verifiable Rewards

同时多目标对齐:可验证与不可验证奖励

Yiran Shen, Yu Xia, Jonathan Chang, Prithviraj Ammanabrolu

机构 * ucsd(加州大学圣地亚哥分校)

AI总结 提出MAHALO框架,通过标准化PRM训练、多动作头DPO和PRM引导解码,实现大语言模型在可验证与不可验证奖励上的多目标对齐,减少目标冲突并支持推理时控制。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24808 2026-06-02 cs.AI

Query Circuits: Explaining How Language Models Answer User Prompts

查询电路:解释语言模型如何回答用户提示

Tung-Yu Wu, Fazl Barez

机构 * University of Oxford(牛津大学)

AI总结 提出查询电路方法,通过直接追踪模型内部信息流来忠实解释特定输入如何产生输出,并引入归一化偏差忠实度(NDF)度量及采样方法实现稀疏电路发现。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24696 2026-06-02 cs.LG cs.AI

T-POP: Test-Time Personalization with Online Preference Feedback

T-POP:基于在线偏好反馈的测试时个性化

Zikun Qu, Min Zhang, Mingze Kong, Xiang Li, Zhiwei Shang, Zhiyong Wang, Yikun Ban, Shuang Qiu, Yao Shu, Zhongxiang Dai

机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) East China Normal University(华东师范大学) Shenzhen Loop Area Institute(深圳河套学院) Tianjin University(天津大学) The Chinese University of Hong Kong(香港中文大学) Beihang University(北京航空航天大学) City University of Hong Kong(香港城市大学) The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))

AI总结 针对新用户冷启动问题,提出T-POP算法,通过在线成对偏好反馈和决斗式强盗机制,在不更新模型参数的情况下实时学习用户偏好并引导解码过程,实现快速数据高效的个性化。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.03456 2026-06-02 stat.ML cs.LG

Off-Policy Learning in Large Action Spaces: Optimization Matters More Than Estimation

大动作空间中的离线策略学习:优化比估计更重要

Imad Aouali, Otmane Sakhi

机构 * Criteo AI Lab(Criteo AI实验室)

AI总结 本文研究离线上下文强盗中的离线策略学习,发现现有方法在大动作空间中面临严重优化问题,提出使用加权对数似然目标可改善优化并取得竞争性策略。

Comments ICML '26

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.05641 2026-06-02 cs.CL cs.AI cs.LG

Skill-Based Mixture-of-Experts: Adaptive Routing for Heterogeneous Reasoning via Inferred Skills

基于技能的混合专家模型:通过推断技能实现异构推理的自适应路由

Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)

AI总结 提出Skill-MoE框架,通过推断查询所需技能进行实例级专家选择,并采用批推理策略降低开销,在单GPU上集成16个专家模型,在多个推理基准上平均提升8.15%。

Comments ICML 2026 (Camera-Ready). The first three authors contributed equally. Project Page: https://skill-moe.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.10882 2026-06-02 cs.LG stat.ML

Global Convergence of Adaptive Sensing for Principal Eigenvector Estimation

主特征向量估计的自适应传感的全局收敛性

Alex Saad-Falcon, Brighton Ancelin, Justin Romberg

机构 * School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA, USA(电子与计算机工程学院,佐治亚理工学院,亚特兰大,GA,USA)

AI总结 本文分析Oja算法的一种压缩变体,利用每样本两个自适应测量估计协方差矩阵的主特征向量,证明了期望正弦平方误差的收敛速率并给出信息论下界,揭示了压缩带来的维度代价。

Comments Accepted at ICML 2026. 34 pages (9 main text + appendices), 4 figures, 2 tables. v2 (camera-ready) adds a matching information-theoretic lower bound and a non-adaptive lower-bound separation across three powers of d; substantially revised from v1

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.20016 2026-06-02 cs.LG

Position: Neglecting the Sustainability of AI is Fuelling a Global AI Arms Race

立场:忽视人工智能的可持续性正在助长全球人工智能军备竞赛

Pedram Bakhtiarifard, Pınar Tözün, Christian Igel, Raghavendra Selvan

机构 * Department of Computer Science, University of Copenhagen, Denmark(丹麦哥本哈根大学计算机科学系) Robotics Section, IT University of Copenhagen, Denmark(丹麦哥本哈根IT大学机器人学系)

AI总结 本文指出当前AI可持续性讨论忽视经济和社会维度,提出通过调和气候意识与资源意识、引入CARAML框架来遏制全球AI军备竞赛。

Comments Accepted to be presented at ICML 2026. Source code at https://github.com/saintslab/caraml

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.04512 2026-06-02 cs.AI

Safety Must Precede the Deployment of Open-Ended AI

安全必须优先于开放式AI的部署

Ivaxi Sheth, Jan Wehner, Sahar Abdelnabi, Ruta Binkyte, Mario Fritz

机构 * CISPA-Helmholtz Center of Information Security(CISPA-海德堡信息安全中心) MPI for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center(智能系统Max Planck研究所、图宾根ELLIS研究所、图宾根人工智能中心)

AI总结 本文提出开放式AI系统因自主无限生成新行为而带来预测性丧失、新兴错位和控制困难等独特安全挑战,需在部署前主动研究,并给出挑战分类和研究方向。

Comments Accepted to ICML'26

详情

展开后加载摘要…

URL PDF HTML 收藏
2301.06308 2026-06-02 cs.LG cs.AI

Stability Analysis of Sharpness-Aware Minimization

锐度感知最小化的稳定性分析

Hoki Kim, Jinseong Park, Yujin Choi, Jaewook Lee

机构 * Chung-Ang University, South Korea(Chung-Ang 大学,韩国) Korea Institute for Advanced Study, South Korea(韩国高级研究院) Ulsan National Institute of Science(乌山国家科学研究院) Nanyang Technological University (NTU), Singapore(南洋理工大学(NTU),新加坡) Seoul National University, South Korea(首尔国立大学,韩国)

AI总结 研究SAM在鞍点附近的收敛不稳定性,通过动力系统理论证明鞍点成为吸引子,并发现动量与批次大小可缓解该问题。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31580 2026-06-01 cs.LG

Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings

赋予传感器声音:用于语义时间序列嵌入的多模态JEPA

Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson

机构 * C3 AI

AI总结 提出CHARM模型,通过通道级文本描述与Transformer编码器结合,利用联合嵌入预测架构(JEPA)学习语义时间序列嵌入,在异常检测、分类和预测任务中仅用线性探针即取得强性能。

Comments 9 pages, 5 figures, accepted at ICML 2026. arXiv admin note: substantial text overlap with arXiv:2505.14543

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31559 2026-06-01 cs.LG

Functional Attention: From Pairwise Affinities to Functional Correspondences

函数注意力:从成对亲和性到函数对应

Jiefang Xiao, Maolin Gao, Simon Weber, Guandao Yang, Daniel Cremers

机构 * Technical University of Munich, Germany(慕尼黑技术大学,德国) Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国) PIXL, Department of Computer Science, University of Oxford, United Kingdom(牛津大学计算机科学系PIXL,英国) ECE, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校电子与计算机工程系,美国)

AI总结 提出函数注意力机制,将注意力重新解释为自适应基之间的函数对应,通过结构化线性算子替代softmax亲和性,实现紧凑、可泛化、分辨率不变的全局依赖表示,在PDE求解、3D分割和回归等算子学习任务中达到最先进性能。

Comments 26 pages, 12 figures. Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31518 2026-06-01 cs.LG

On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders

关于稀疏自编码器中激活异常值与特征死亡之间关系的研究

Elana Simon, Etowah Adams, James Zou

机构 * Stanford University(斯坦福大学) Columbia University(哥伦比亚大学)

AI总结 本文通过理论分析和实验验证,揭示了稀疏自编码器中维度级激活异常值导致特征死亡的机制,并提出均值中心化预处理方法有效消除该问题。

Comments Accepted to ICML 2026 main conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31503 2026-06-01 cs.CV cs.LG

How can embedding models bind concepts?

嵌入模型如何绑定概念?

Arnas Uselis, Darina Koishigarina, Seong Joon Oh

AI总结 本文研究视觉-语言嵌入模型(如CLIP)在概念绑定上的局限性,发现场景嵌入可加性分解为对象表示,但CLIP的高复杂度绑定函数阻碍了泛化,而通过充分数据训练的Transformer模型能学习低复杂度乘法交互绑定函数实现系统泛化。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31500 2026-06-01 cs.LG cs.AI

On Efficient Scaling of GNNs via IO-Aware Layers Implementations

通过IO感知层实现实现GNN的高效扩展

Daria Fomina, Daniil Krasylnikov, Alexey Boykov, Andrey Dolgovyazov, Vyacheslav Zhdanovskiy, Fedor Velikonivtsev

机构 * HSE University(俄罗斯高等经济大学) ITMO University(ITMO大学)

AI总结 针对GNN中稀疏不规则内存访问瓶颈,提出三种GPU内核族(SpMM卷积、归约聚合、注意力层)以减少数据移动并提升局部性,在真实图上实现高达8.5倍加速和76倍内存降低。

Comments International Conference on Machine Learning (ICML) 2026, Spotlight Paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31484 2026-06-01 cs.LG

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

平衡LoRA:消除参数不变性以加速收敛

Valérie Castin, Kimia Nadjahi, Pierre Ablin, Gabriel Peyré

机构 * Apple, Paris, France(苹果公司,巴黎,法国) CNRS(法国国家科学研究中心)

AI总结 针对LoRA过参数化导致不同低秩因子对条件数差异大而影响收敛速度的问题,提出BaLoRA,通过投影到平衡流形改善损失景观条件,实现更快收敛和更优性能。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31457 2026-06-01 cs.CV

VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning

VisionPulse: 用于高效多模态推理的动态视觉稀疏性

Hengbo Xu, Shengjie Jin, Yanbiao Ma, Zhiwu Lu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China(中国人民大学北京校区人工智能学院)

AI总结 提出VisionPulse框架,通过步骤级视觉令牌剪枝,利用视觉注意力质量估计保留预算,仅保留关键令牌,在几乎不损失准确率的情况下减少推理开销和推理轨迹长度。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31443 2026-06-01 stat.ME cs.LG econ.EM math.ST stat.TH

Modeling Covariate Transition for Efficient Estimation of Longitudinal Treatment Effects in Randomized Experiments

建模协变量转移以高效估计随机实验中的纵向处理效应

Naoki Chihara, Tatsushi Oka, Yasuko Matsubara, Yasushi Sakurai, Shota Yasui

机构 * SANKEN, The University of Osaka, Osaka, Japan.(大阪大学SANKEN分校) CyberAgent, Inc., Tokyo, Japan(日本东京CyberAgent公司) Keio University, Tokyo, Japan.(东京大学)

AI总结 提出一种回归调整框架,通过建模协变量转移来估计随机实验中的纵向处理效应,并实现渐近正态性和半参数有效性。

Comments Accepted by ICML'26

Journal ref The 43rd International Conference on Machine Learning, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏