ICML

Rethinking LLM Ensembling from the Perspective of Mixture Models

从混合模型的角度重新思考大语言模型集成

Jiale Fu, Yuchu Jiang, Peijun Wu, Chonghan Liu, Joey Tianyi Zhou, Xu Yang

机构 * Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术关键实验室） ； Its Interdisciplinary Applications (Southeast University), Ministry of Education（交叉应用（东南大学），教育部） ； Southeast University（东南大学） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology（前沿人工智能研究（CFAR），科技研究局） ； Research (A STAR), Singapore（研究（A STAR），新加坡） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology（高性能计算（IHPC），科技研究局） 纠错

AI总结 本文提出混合模型式集成（ME），通过将集成重新解释为混合模型，随机选择单个模型生成下一个token，避免显式计算完整集成分布，实现1.78x-2.68x加速，并揭示了集成与token级路由方法的联系。

Comments ICML 2026 Spotlight

Mechanistic Anomaly Detection via Functional Attribution

通过功能归因的机制性异常检测

Hugo Lyons Keenan, Christopher Leckie, Sarah Erfani

机构 * School of Computing and Information Systems, The University of Melbourne, Victoria, Australia（计算与信息系统学院，墨尔本大学，维多利亚，澳大利亚） 纠错

AI总结 将机制性异常检测重新定义为功能归因问题，利用影响函数测量测试样本与参考集之间的功能耦合，在视觉模型后门检测、大语言模型后门检测以及对抗样本和分布外样本检测中取得最优或显著改进。

Comments ICML '26 Camera Ready

Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions

具有不确定性感知输出长度预测的LLM推理调度

Haoyu Zheng, Yongqiang Zhang, Fangcheng Fu, Xiaokai Zhou, Hao Luo, Hongchao Zhu, Yuanyuan Zhu, Hao Wang, Xiao Yan, Jiawei Jiang

机构 * School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院） ； School of Computer Science, Central China Normal University, Wuhan, China（中央财经大学计算机学院） ； Dameng Database Co., Ltd., Wuhan, China（达梦数据库有限公司） ； School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Institute for Math and AI, Wuhan University, Wuhan, China（武汉大学数学与人工智能研究院） 纠错

AI总结 针对LLM推理调度，提出基于对数t分布的输出长度分布模型，并设计Tail Inflated Expectation (TIE)指标替代点估计，以降低在线推理延迟并提高离线吞吐量。

Comments Accepted at ICML 2026

Towards Understanding Adam Convergence on Highly Degenerate Polynomials

理解Adam在高度退化多项式上的收敛性

Zhiwei Bai, Jiajie Zhao, Zhangchen Zhou, Zhi-Qin John Xu, Yaoyu Zhang

机构 * Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学理论科学研究院） ； School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； Shanghai Seres Information Technology Co., Ltd, Shanghai 200040, China（上海塞瑞斯信息技术有限公司） 纠错

AI总结 本文研究Adam优化器在高度退化多项式上的自动收敛性质，推导局部渐近稳定性条件，证明其线性收敛速度优于梯度下降和动量法，并刻画超参数相图。

Comments Accepted to ICML 2026

TimeSpot: Benchmarking Geo-Temporal Understanding in Vision-Language Models in Real-World Settings

TimeSpot: 在真实世界场景中评估视觉语言模型的地理时间理解能力

Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Koushik Ahamed Tonmoy, Kinga Tshering, S. M. Muhtasimul Hasan, Wahid Faisal, Tasnim Mohiuddin, Md Rizwan Parvez

机构 * Computational Intelligence and Operations Laboratory (CIOL), Bangladesh（计算智能与运筹实验室（CIOL），孟加拉国） ； Shahjalal University of Science and Technology (SUST), Sylhet, Bangladesh（沙赫jalal科学与技术大学（SUST），沙赫里尔，孟加拉国） ； North South University (NSU), Dhaka, Bangladesh（北南大学（NSU），达卡，孟加拉国） ； Qatar Computing Research Institute (QCRI), Doha, Qatar（卡塔尔计算研究中心（QCRI），多哈，卡塔尔） 纠错

AI总结 提出TimeSpot基准，通过1,455张全球图像评估视觉语言模型在时间属性（季节、月份、时段、日光相位）和地理属性（大洲、国家、气候带、环境类型、经纬度）上的推理能力，发现现有模型性能低下，尤其时间推理不足。

Comments Accepted to ICML 2026

Any2Any: Unified Arbitrary Modality Translation for Remote Sensing

Any2Any: 统一任意模态遥感翻译

Haoyang Chen, Jing Zhang, Hebaixu Wang, Shiqin Wang, Pohsun Huang, Jiayuan Li, Haonan Guo, Di Wang, Zheng Wang, Bo Du

机构 * National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（多媒体软件国家工程研究中心、人工智能研究院、计算机科学学院、武汉大学） ； Hubei Key Laboratory of Multimedia（湖北省多媒体重点实验室） ； Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国。100094） ； School of Electronic Information, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国） ； School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan, China（测绘、制图与遥感信息工程国家重点实验室，武汉大学，武汉，中国） 纠错

AI总结 提出统一潜扩散框架Any2Any，通过共享潜空间和轻量残差适配器实现任意模态间的高效翻译，并在新数据集RST-1M上验证了其优于成对方法且具备零样本泛化能力。

Comments Accepted by ICML 2026

Krause Synchronization Transformers

Krause同步变换器

Jingkun Liu, Yisong Yue, Max Welling, Yue Song

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； California Institute of Technology（加州理工学院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

AI总结 提出基于有界置信共识动力学的Krause注意力机制，通过局部化稀疏交互替代全局softmax归一化，缓解表示坍缩和注意力汇聚现象，实现线性复杂度并提升性能。

Comments ICML 2026, Project page: https://jingkun-liu.github.io/krause-sync-transformers/

Prism: Spectral-Aware Block-Sparse Attention

Prism: 频谱感知的块稀疏注意力

Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance Inc.（字节跳动公司） ； OpenMOSS Team（OpenMOSS团队） 纠错

AI总结 针对长上下文LLM预填充中块稀疏注意力的块选择效率瓶颈，提出无训练频谱感知方法Prism，通过高低频分支分解和能量温度校准恢复位置信号，实现纯块级重要性估计，在保持精度同时实现高达5.1倍加速。

Comments ICML 2026

ECG-R1: Protocol-Guided and Modality-Agnostic MLLM for Reliable ECG Interpretation

ECG-R1: 协议引导且模态无关的可靠心电图解读多模态大语言模型

Jiarui Jin, Haoyu Wang, Xingliang Wu, Xiaocheng Fang, Xiang Lan, Zihan Wang, Deyun Zhang, Bo Liu, Yingying Zhang, Xian Wu, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Tianjin Institute of Cardiology, the Second Hospital of Tianjin Medical University（天津医科大学第二医院心内科） ； National University of Singapore（新加坡国立大学） ； Jarvis Lab, Tencent（腾讯 Jarvis实验室） ； HeartVoice Medical Technology（HeartVoice医疗科技） 纠错

AI总结 提出ECG-R1，通过协议引导数据生成、模态解耦架构和强化学习，实现可靠的心电图解读。

Comments Accepted to ICML 2026

Generative Neural Operators through Diffusion Last Layer

通过扩散最后一层的生成式神经算子

Sungwon Park, Anthony Zhou, Hongjoong Kim, Amir Barati Farimani

机构 * Korea University, Seoul, South Korea（韩国大学，首尔，韩国） ； Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，匹兹堡，美国） 纠错

AI总结 提出扩散最后一层（DLL）作为神经算子的概率输出头，通过Karhunen-Loéve展开和系数空间的条件扩散模型实现高效分布建模，在随机PDE基准和确定性长时滚动任务中提升了分布保真度和不确定性估计。

Comments ICML 2026, code is available at https://github.com/sungwpark/dll-no

CPMobius: Iterative Coach-Player Reasoning for Data-Free Reinforcement Learning

CPMobius: 无数据强化学习的迭代式教练-玩家推理

Ran Li, Zeyuan Liu, Yinghao Chen, Bingxiang He, Jiarui Yuan, Zixuan Fu, Weize Chen, Jinyi Hu, Chen Qian, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 提出CPMobius协作式教练-玩家范式，通过无外部数据的合作优化循环提升数学推理能力，在Qwen2.5-Math-7B-Instruct上总体准确率提升4.9%，OOD准确率提升5.4%。

Comments Accepted to the ICML 2026

Reward-free Alignment for Conflicting Objectives

无奖励的冲突目标对齐

Peter Chen, Xiaopeng Li, Xi Chen, Tianyi Lin

机构 * Columbia University（哥伦比亚大学） 纠错

AI总结 提出RACO框架，通过冲突规避梯度下降的裁剪变体直接利用成对偏好数据解决多目标冲突，实现帕累托最优对齐。

Comments Accepted to ICML 2026 (Oral)

PolySAE: Modeling Feature Interactions in Sparse Autoencoders via Polynomial Decoding

PolySAE: 通过多项式解码建模稀疏自编码器中的特征交互

Panagiotis Koromilas, Andreas D. Demou, James Oldfield, Yannis Panagakis, Mihalis Nicolaou

机构 * The Cyprus Institute（塞浦路斯研究所） ； University of Athens（雅典大学） ； University of Oxford（牛津大学） ； Archimedes AI/Athena Research Center（阿基米德AI/雅典娜研究中心） ； University of Cyprus（塞浦路斯大学） 纠错

AI总结 提出PolySAE，在稀疏自编码器解码器中引入高阶项以建模特征交互，通过低秩张量分解在共享投影子空间上捕获成对和三元特征交互，在保持可解释性的同时提升探测F1约8%，并产生与共现频率无关的组合结构。

Comments 43rd International Conference on Machine Learning (ICML 2026); Code: https://github.com/pakoromilas/PolySAE

Refining Context-Entangled Content Segmentation via Curriculum Selection and Anti-Curriculum Promotion

通过课程选择与反课程促进优化上下文纠缠内容分割

Chunming He, Rihan Zhang, Fengyang Xiao, Dingming Zhang, Zhiwen Cao, Sina Farsiu

机构 * Duke University（杜克大学） ； Adobe（Adobe公司） 纠错

AI总结 提出CurriSeg双阶段学习框架，结合课程学习与反课程学习原理，通过动态数据选择与频谱盲性微调提升上下文纠缠内容分割的鲁棒性和泛化能力。

Comments ICML 2026, 8 figures, 11 tables

EvoEGF-Mol: Evolving Exponential Geodesic Flow for Structure-based Drug Design

EvoEGF-Mol：用于基于结构的药物设计的演化指数测地流

Yaowei Jin, Junjie Wang, Cheng Cao, Penglei Wang, Duo An, Qian Shi

机构 * Lingang Laboratory（Lingang 实验室） ； School of Information Science（信息科学学院） ； Technology, ShanghaiTech University（技术，上海科技大学） 纠错

AI总结 针对基于结构的药物设计中欧几里得空间与概率空间不匹配的问题，提出EvoEGF-Mol模型，通过复合指数族分布和演化指数测地流统一表示分子，实现高几何精度和相互作用保真度。

Comments Accepted to ICML 2026

Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed

安全强化学习中的分布偏移下的安全泛化：一个糖尿病测试平台

Minjae Kwon, Josephine Lamp, Lu Feng

机构 * Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系） 纠错

AI总结 研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中，使用糖尿病管理作为测试平台，发现安全泛化差距并通过测试时屏蔽有效恢复安全性。

Comments Accepted at ICML 2026. Camera-ready version

Boosting Monocular Metric Depth Estimation via Bokeh Rendering

通过散景渲染提升单目度量深度估计

Hangwei Zhang, Armando Fortes, Tianyi Wei, Xingang Pan

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Beihang University（北航大学） 纠错

AI总结 提出BokehDepth两阶段框架，利用物理生成模型产生校准散景堆栈作为无监督几何信号，通过散景感知聚合模块提升单目深度估计的度量精度。

Comments Project Page: https://fogradio.github.io/BokehDepth_Project/

Journal ref ICML 2026

Agent Learning via Early Experience

通过早期经验进行智能体学习

Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, Xian Li, Ashish Shah, Dat Huynh, Hengduo Li, Zi Yang, Sara Cao, Lawrence Jang, Shuyan Zhou, Jiacheng Zhu, Huan Sun, Jason Weston, Yu Su, Yifan Wu

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； FAIR at Meta（Meta的FAIR部门） ； The Ohio State University（俄亥俄州立大学） 纠错

AI总结 提出早期经验范式，利用智能体自身动作生成的交互数据（无需奖励信号）通过隐式世界建模和自我反思两种策略提升智能体在多样化环境中的效果和跨域泛化能力。

Comments ICML 2026

Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents

超越最终答案：评估工具增强型智能体的推理轨迹

Wonjoong Kim, Sangwu Park, Yeonjun In, Sein Kim, Dongha Lee, Chanyoung Park

机构 * Graduate School of Data Science, KAIST, Daejeon, South Korea（数据科学研究生院，韩国科学技术院，大田，韩国） ； Department of Industrial and Systems Engineering, KAIST, Daejeon, South Korea（工业与系统工程系，韩国科学技术院，大田，韩国） ； Department of Artificial Intelligence, Yonsei University, Seoul, South Korea（人工智能系，延世大学，首尔，韩国） 纠错

AI总结 针对工具增强型LLM，提出无参考框架TRACE，通过证据库多维度评估推理轨迹的效率、幻觉和适应性，并用元评估数据集验证其有效性。

Comments International Conference on Machine Learning (ICML) 2026

FreeRet: MLLMs as Training-Free Retrievers

FreeRet: 无需训练的多模态大语言模型检索器

Yuhan Zhu, Xiangyu Zeng, Chenting Wang, Xinhao Li, Chunxu Liu, Yicheng Xu, Ziang Yan, Yi Wang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Lab（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Institute of Science Tokyo（东京科学研究院） ； Zhejiang University（浙江大学） 纠错

AI总结 提出FreeRet框架，将现成的多模态大语言模型转化为无需额外训练的两阶段检索器，通过语义嵌入和重排序提升检索性能。

Comments ICML 2026

Neural Stochastic Differential Equations on Compact State Spaces: Theory, Methods, and Application to Suicide Risk Modeling

紧致状态空间上的神经随机微分方程：理论、方法及其在自杀风险建模中的应用

Malinda Lu, Yue-Jane Liu, Matthew K. Nock, Yaniv Yacoby

机构 * Wellesley College（韦尔斯利学院） ； Harvard University（哈佛大学） 纠错

AI总结 针对生态瞬时评估数据中随机微分方程违反域约束和训练不稳定的问题，提出一种新型表达性SDE，通过约束漂移和扩散确保解在紧致多面体状态空间内，并引入参数化映射任意动力学为满足约束的SDE，在真实数据上提升预测和优化性能。

Comments Accepted at the Symposium on Probabilistic Machine Learning (ProbML) 2026, and at the Methods and Opportunities at Small Scale (MOSS), ICML 2025, Vancouver, Canada

Optimizing Token Choice for Code Watermarking: An RL Approach

优化代码水印的令牌选择：一种强化学习方法

Zhimeng Guo, Huaisheng Zhu, Siyuan Xu, Hangfan Zhang, Teng Xiao, Minhao Cheng

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

AI总结 提出CodeTracer框架，通过强化学习训练策略模型智能选择令牌嵌入水印，在保持代码功能的同时提高水印可检测性。

Comments ICML 2026, 18 pages, 3 figures

FloorplanQA: A Benchmark for Spatial Reasoning in LLMs using Structured Representations

FloorplanQA：使用结构化表示进行大语言模型空间推理的基准测试

Fedor Rodionov, Abdelrahman Eldesokey, Michael Birsak, John Femiani, Bernard Ghanem, Peter Wonka

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学） ； Miami University（迈阿密大学） 纠错

AI总结 提出FloorplanQA基准，通过结构化室内场景表示评估大语言模型在距离测量、可见性、路径查找和物体放置等空间推理任务上的表现，揭示模型在物理约束和空间一致性方面的盲点。

Comments ICML 2026, Project page: https://OldDeLorean.github.io/FloorplanQA/

Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models

速度规划：用于掩码扩散语言模型的膨胀调度

Omer Luxembourg, Haim Permuter, Eliya Nachmani

机构 * School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Beersheba, Israel（电气与计算机工程学院，内盖夫本· Gurion大学，贝尔谢巴，以色列） 纠错

AI总结 提出膨胀解掩码调度器（DUS），通过将序列位置划分为非相邻的膨胀组并并行解掩码，最小化联合熵增益上界，在不修改去噪器的情况下实现高达5.8倍加速。

Comments Accepted at ICML 2026

LETS Forecast: Learning Embedology for Time Series Forecasting

LETS Forecast：用于时间序列预测的嵌入学

Abrar Majeedi, Viswanatha Reddy Gajjala, Satya Sai Srinath Namburi GNVV, Nada Magdi Elkordi, Yin Li

机构 * Department of Biostatistics and Medical Informatics, University of Wisconsin-Madison（生物统计学与医学信息学系，威斯康星大学麦迪逊分校） ； Department of Computer Sciences, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校） 纠错

AI总结 提出DeepEDM框架，结合非线性动力系统建模与深度学习，通过延迟嵌入和核回归学习潜在动态，实现高精度时间序列预测。

Comments Accepted at International Conference on Machine Learning (ICML) 2025

Adaptive Preconditioners Trigger Loss Spikes in Adam

Adam中的自适应预处理器引发损失尖峰

Zhiwei Bai, Zhangchen Zhou, Jiajie Zhao, Xiaolong Li, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Yaoyu Zhang, Zhi-Qin John Xu

机构 * Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学理论科学研究院） ； School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究院） ； Shanghai Seres Information Technology Co., Ltd, Shanghai 200040, China（上海塞瑞斯信息技术有限公司，上海200040，中国） 纠错

AI总结 通过分析Adam二阶矩估计器的内部动力学，发现自适应预处理器与瞬时平方梯度之间的解耦机制导致损失尖峰，并基于二次近似分析提出尖峰预测方法。

Comments Accepted to ICML 2026

Incentivized Exploration with Stochastic Covariates: A Two-Stage Mechanism Design for Recommender System

带随机协变量的激励探索：推荐系统的两阶段机制设计

Yuantong Li, Guang Cheng, Xiaowu Dai

机构 * Meta Platforms Inc（Meta公司） ； Department of Statistics and Data Science（统计学与数据科学系） ； University of California, Los Angeles, CA（加州大学洛杉矶分校） 纠错

AI总结 针对推荐系统中用户自利偏好下的探索-利用权衡问题，提出一种两阶段算法，通过激励相容的探索和逆比例间隙采样策略实现次线性遗憾并满足激励约束。

Comments ICML 2026

Branch Scaling Manifests as Implicit Architectural Regularization for Improving Generalization in Overparameterized ResNets

分支缩放表现为隐式架构正则化以改善过参数化ResNet的泛化能力

Zixiong Yu, Guhan Chen, Jianfa Lai, Bohan Li, Songtao Tian

机构 * Huawei Large Model Data Technology Lab, Shenzhen（华为大模型数据技术实验室，深圳） ； Tsinghua University, Beijing（清华大学，北京） ； Kyoto University, Kyoto（京都大学，京都） 纠错

AI总结 本文研究残差网络中分支缩放因子对过参数化ResNet泛化性能的影响，通过理论分析证明快速深度衰减的缩放因子结合早停可实现极小极大最优泛化率，并利用神经正切核（NTK）近似解释其机制。

Comments Accepted by ICML. This version incorporates content from the preprint arXiv:2305.18506. The contributors of the relevant content have consented to its inclusion and have been listed as authors

Inference Time Optimization with Confidence Dynamics

基于置信度动态的推理时优化

Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

机构 * Center for Advanced AI, Accenture（Accenture高级人工智能中心） 纠错

AI总结 本文通过观察推理轨迹中置信度的动态变化，发现正确轨迹置信度上升而错误轨迹下降，据此提出置信度动态增益投票方法，显著提升大语言模型推理性能。

Comments Published in ICML 2026

On the Epistemic Uncertainty of Overparametrized Neural Networks

关于过参数化神经网络的认知不确定性

David Rügamer

机构 * Department of Statistics, LMU Munich（统计系，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

AI总结 本文通过非可辨识性视角分析过参数化神经网络的认知不确定性，刻画了离散和连续残余不确定性来源，并以单隐层ReLU网络为例验证理论。

Comments Accepted at ICML 2026 (Main Track)