ICML

Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion

全模态扩散：基于掩码离散扩散的统一多模态理解与生成

Lijiang Li, Zuwei Long, Yunhang Shen, Heting Gao, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He, Chaoyou Fu

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯云科技实验室） ； CASIA（中国科学院自动化研究所） 纠错

AI总结 受离散扩散模型在多领域成功应用启发，提出全模态扩散模型，基于掩码离散扩散模型构建，统一文本、语音和图像的理解与生成，用统一模型直接捕捉离散多模态令牌联合分布，性能优于现有多模态系统。

Comments Accepted to ICML 2026. This version updates the ICML submission with an optimized model checkpoint. Project page: https://omni-diffusion.github.io

Utonia: Toward One Encoder for All Point Clouds

Utonia：迈向适用于所有点云的单一编码器

Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） ； Xiaomi（小米） 纠错

AI总结 研究旨在训练跨多领域的单自监督点变压器编码器Utonia，其能学习一致表征空间实现跨域转移，统一各领域点云，提升感知能力，还对具身和多模态推理有益，有望成为稀疏3D数据基础模型。

Comments produced by Pointcept, project page: https://pointcept.github.io/Utonia

Journal ref International Conference on Machine Learning 2026

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

组合泛化要求视觉嵌入模型具有线性、正交表示

Arnas Uselis, Andrea Dittadi, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。

Comments ICML 2026

Incremental Learning of Sparse Attention Patterns in Transformers

Transformer中稀疏注意力模式的增量学习

Oğuz Kaan Yüksel, Rodrigo Alvarez Lucendo, Nicolas Flammarion

机构 * TML Lab, EPFL（EPFL语言模型实验室） 纠错

AI总结 研究在高阶马尔可夫链上训练的简单Transformer，其通过稀疏注意力模式从多个过去位置学习信息，分析学习动态及阶段转换，用简化微分方程建模并证明收敛，为结构化注意力模式和头专业化提供理论解释。

Comments Published at ICML 2026. OpenReview: https://openreview.net/forum?id=vSRh1qU5sH. 41 pages, 21 figures

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction

学习自适应扰动条件上下文用于稳健的转录反应预测

Yinhua Piao, Hyomin Kim, Seonghwan Kim, Yunhak Oh, Junhyeok Jeon, Sang-Yeon Hwang, Jaechang Lim, Woo Youn Kim, Chanyoung Park, Sungsoo Ahn

AI总结 针对预测基因扰动的高维转录反应难题，现有方法存在均值坍缩等问题。提出AdaPert方法，通过可微节点选择提取稀疏、特定扰动子图，抑制无反应基因的虚假变化，在多基准测试中优于现有基线。

Comments 34 pages, 28 figures, 18 tables

Journal ref ICML 2026

Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards

梯度正则化减轻基于人类反馈和可验证奖励的强化学习中的奖励作弊

Johannes Ackermann, Michael Noukhovitch, Takashi Ishida, Masashi Sugiyama

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Mila（蒙特利尔大学Mila） 纠错

AI总结 研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。

Comments Accepted at ICML 2026, 25 pages, 15 figures

Machine Learning Hamiltonians are Accurate Energy-Force Predictors

机器学习哈密顿量是精确的能量-力预测器

Seongsu Kim, Chanhui Lee, Yoonho Kim, Seongjun Yun, Honghui Kim, Nayoung Kim, Changyoung Park, Sehui Han, Sungbin Lim, Sungsoo Ahn

AI总结 研究现有哈密顿量模型作为能量-力预测器表现不明的问题，通过直接从预测哈密顿量计算能量和力的基准测试填补空白，提出QHFlow2模型并展示其优势及与模型容量和数据的关系

Comments 2026 ICML poster accepted

Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens

深入思考，而非仅靠长度：通过深度思考令牌测量大语言模型推理工作量

Wei-Lin Chen, Liqian Peng, Tian Tan, Chao Zhao, Blake JianHang Chen, Ziqian Lin, Alec Go, Yu Meng

机构 * University of Virginia（弗吉尼亚大学） ； Google（谷歌） 纠错

AI总结 研究通过识别深度思考令牌量化推理时间工作量，在多个基准和模型上验证深度思考比例与准确率正相关，据此引入Think@n策略提升推理效率并降低成本。

Comments Accepted to ICML 2026

Deriving Neural Scaling Laws from the statistics of natural language

从自然语言统计中推导神经缩放定律

Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

AI总结 研究从自然语言统计推导神经缩放定律，分离出语言关键统计属性预测神经缩放指数，给出基于这些统计量的简单公式，与实验测量定律匹配。

Comments ICML 2026

Interpretability and Generalization Bounds for Learning Spatial Physics

学习空间物理的可解释性与泛化界

Alejandro Francisco Queiruga, Theo Gutman-Solo, Shuai Jiang

机构 * OpenAI ； Google（谷歌） ； Sandia National Laboratories（桑迪亚国家实验室） 纠错

AI总结 利用数值分析技术，严格量化了应用于线性微分方程的机器学习模型在参数发现或求解中的准确性、收敛率和泛化界，并基于格林函数表示引入科学模型的可解释性视角。

Comments To appear in ICML 2026. 18 pages, 13 figures

Predicting the Emergence of Induction Heads in Language Model Pretraining

预测语言模型预训练中归纳头的出现

Tatsuya Aoyama, Ethan Gotlieb Wilcox, Nathan Schneider

机构 * Department of Linguistics, Georgetown University（语言学系，乔治城大学） 纠错

AI总结 研究训练数据统计特性与归纳头形成关系，通过自然和合成数据设置，发现简单公式可预测归纳头形成点，表面二元重复频率等影响其形成并找到决策边界，局部依赖也影响其形成。

Comments Accepted to ICML 2026

Alleviating Sparse Rewards by Modeling Step-Wise and Long-Term Sampling Effects in Flow-Based GRPO

通过在基于流的GRPO中对逐步和长期采样效应建模来缓解稀疏奖励

Yunze Tong, Mushui Liu, Canyu Zhao, Didi Zhu, Wanggui He, Shiyi Zhang, Hongwei Zhang, Peng Zhang, Jinlong Liu, Hao Jiang

AI总结 研究在基于流的GRPO中缓解奖励稀疏问题，提出TurningPoint-GRPO框架，用逐步增量奖励替代基于结果的奖励，识别转折点并赋予长期奖励，有效利用奖励信号提升图像生成效果。

Comments Accepted by ICML

A Random Matrix Theory Perspective on the Consistency of Diffusion Models

扩散模型一致性的随机矩阵理论视角

Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

AI总结 研究扩散模型在不同数据集子集训练时输出相似的原因，用随机矩阵理论框架量化有限数据集对去噪器和采样映射期望及方差的影响，揭示交叉分割不一致的因素并验证对模型行为的预测。

Comments 58 pages, 45 figures. Accepted as an Oral Presentation at ICML 2026

PCA of probability measures: Sparse and Dense sampling regimes

概率测度的主成分分析：稀疏与密集采样机制

Gachon Erell, Jérémie Bigot, Elsa Cazelles

AI总结 研究在双渐近情形下对多个概率测度进行主成分分析，通过\(m\)个样本观察\(n\)个概率测度，推导经验协方差算子和主成分分析超额风险的收敛率\(n^{-1/2} + m^{-\alpha}\)，证明密集情形下速率是极小极大最优的。

Journal ref International Conference on Machine Learning 2026

Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval

谱梯度下降减轻各向异性驱动的失准：相位恢复的案例研究

Guillaume Braun, Han Bao, Wei Huang, Masaaki Imaizumi

AI总结 研究谱梯度方法在非线性相位检索模型中的作用机制，通过动力学分析发现梯度下降存在方差诱导失准，谱梯度下降可消除此效应，实现稳定对齐和加速噪声收缩，数值实验证实理论。

Comments Revised version for ICML 2026

Large Language Models Develop Novel Social Biases Through Adaptive Exploration

大语言模型通过适应性探索形成新的社会偏见

Addison J. Wu, Ryan Liu, Xuechunzi Bai, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 研究大语言模型在无固有差异时能否形成新社会偏见，用心理学范式证明其能形成，导致任务分配不公平，新模型更严重，还探索干预措施，发现激励探索可减少分层。

Comments ICML 2026 Oral

JADAI: Jointly Amortizing Adaptive Design and Bayesian Inference

JADAI：联合摊销自适应设计与贝叶斯推理

Niels Bracher, Lars Kühmichel, Desi R. Ivanova, Xavier Intes, Paul-Christian Bürkner, Stefan T. Radev

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； TU Dortmund University（多特蒙德技术大学） ； University of Oxford（牛津大学） 纠错

AI总结 针对设计变量可优化以最大化信息增益的参数估计问题，引入JADAI框架，通过端到端训练策略、历史网络和推理网络联合摊销贝叶斯自适应设计与推理，在标准基准测试中性能优越。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior

TokSuite：衡量分词器选择对语言模型行为的影响

Gül Sena Altıntaş, Malikeh Ehghaghi, Brian Lester, Fengyuan Liu, Wanru Zhao, Marco Ciccone, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Google DeepMind（谷歌DeepMind） ； McGill University（麦吉尔大学） ； University of Cambridge（剑桥大学） ； Hugging Face 纠错

AI总结 提出TokSuite，含模型集合与基准测试，通过不同分词器的预训练模型及多语言鲁棒性基准测试，解耦分词器影响，阐明多种流行分词器优缺点。

Comments ICML 2026. 46 pages, 13 figures

Is Generation Required for Data-Efficient Perception?

数据高效感知是否需要生成模型？

Jack Brady, Bernhard Schölkopf, Thomas Kipf, Simon Buchholz, Wieland Brendel

AI总结 研究生成式与非生成式方法实现组合泛化的程度，通过理论刻画归纳偏差，表明生成范式可能更易实现组合泛化，实验发现生成式方法泛化性更好。

Comments ICML 2026

Walrus: A Cross-Domain Foundation Model for Continuum Dynamics

海象：用于连续介质动力学的跨域基础模型

Michael McCabe, Payel Mukhopadhyay, Tanya Marwah, Bruno Regaldo-Saint Blancard, Francois Rozet, Cristiana Diaconu, Lucas Meyer, Kaze W. K. Wong, Hadi Sotoudeh, Alberto Bietti, Irina Espejo, Rio Fear, Siavash Golkar, Tom Hehir, Keiya Hirashima, Geraud Krawezik, Francois Lanusse, Rudy Morel, Ruben Ohana, Liam Parker, Mariel Pettee, Jeff Shen, Kyunghyun Cho, Miles Cranmer, Shirley Ho

AI总结 研究针对物理模拟中机器学习的挑战，通过新方法如谐波分析稳定、负载均衡训练策略等，开发基于Transformer的基础模型Walrus，在多场景预训练，实验表明其性能优于现有模型。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Context Tuning for In-Context Optimization

上下文调整用于上下文优化

Jack Lu, Ryan Teehan, Zhenbang Yang, Mengye Ren

机构 * Agentic Learning AI Lab（智能代理学习AI实验室） 纠错

AI总结 介绍上下文调整方法，利用模型固有上下文学习能力从示例初始化可训练记忆表示并优化，提升少样本适应能力，在多基准测试中表现优于其他方法。

Comments Published at ICML 2026

APEX: Approximate-but-exhaustive search for ultra-large combinatorial synthesis libraries

APEX：针对超大组合合成库的近似但详尽搜索

Aryan Pedawi, Jordi Silvestre-Ryan, Bradley Worley, Darren J Hsu, Kushal S Shah, Elias Stehle, Jingrong Zhang, Izhar Wallach

机构 * Numerion Labs（Numerion实验室） ； NVIDIA（英伟达） 纠错

AI总结 研究超大组合合成库虚拟筛选难题，提出APEX方法，利用神经网络代理，能在一分钟内在消费级GPU上实现完全枚举，可精确检索近似top-k集，性能优于其他方法。

Comments Published in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Desirable Effort Fairness and Optimality Trade-offs in Strategic Learning

战略学习中理想的努力公平性与最优性权衡

Valia Efthymiou, Ekaterina Fedorova, Chara Podimata

AI总结 研究战略学习中决策规则与策略性适应特征的主体间的互动，将问题构建为约束优化问题，给出理论保证并通过实验展示准确性与理想努力公平性间的权衡。

Comments ICML 2026

Tight Stability Bounds for Robust Distributed Learning: Byzantine Failures Hurt Generalization More than Data Poisoning

稳健分布式学习的紧密稳定性界限：拜占庭故障对泛化的损害大于数据中毒

Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet

机构 * Inria（法国国家信息与自动化技术研究院） ； Inserm（法国国家医学院） ； Univ. Lille（里尔大学） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

AI总结 研究稳健分布式学习中拜占庭故障和数据中毒两种威胁模型对泛化的影响，通过算法稳定性分析，首次揭示拜占庭故障导致的泛化速率比数据中毒更差。

Comments ICML 2026

Conditional Clifford-Steerable CNNs for PDE Modeling

用于偏微分方程建模的条件克利福德可控卷积神经网络

Bálint László Szarvas, Maksim Zhdanov

机构 * University of Amsterdam（阿姆斯特丹大学） ； AMLab（AML实验室） 纠错

AI总结 介绍条件克利福德可控卷积神经网络框架，指出标准形式内核基础不完整，通过输入特征场等变表示增强内核，推导等变约束并有效求解，在多个偏微分方程预测任务中表现出色。

Comments Published at ICML 2026

Journal ref The Forty-Third International Conference on Machine Learning 2026

Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models

通过在线自我博弈强化学习追踪移动目标以实现更安全的语言模型

Mickel Liu, Liwei Jiang, Yancheng Liang, Simon Shaolei Du, Yejin Choi, Tim Althoff, Natasha Jaques

AI总结 研究传统大语言模型安全对齐问题，引入Self-RedTeam算法，通过在线自我博弈多智能体强化学习持续共同进化攻防策略，有理论安全保障，实证效果好，推动从被动修补到主动协同进化转变。

Comments ICML 2026 Poster

ICR-RL: Deep Reinforcement Learning via In-Context Regression

ICR-RL：通过上下文回归实现深度强化学习

David Schiff, Ofir Lindenbaum, Yonathan Efroni

机构 * Bar-Ilan University（巴伊兰大学） ； Tel Aviv University（特拉维夫大学） 纠错

AI总结 研究探索基于从强化学习到回归的经典简化的新方法，用预训练的回归基础模型作为上下文回归模型直接用于强化学习问题，引入无梯度方法ICR-RL，实验表明其能与常用方法竞争。

Comments Accepted to ICML 2026 Main Track

Position: Use Sparse Autoencoders to Discover Unknowns

定位：使用稀疏自编码器发现未知因素

Kenny Peng, Rajiv Movva, Jon Kleinberg, Emma Pierson, Nikhil Garg

机构 * Cornell University（康奈尔大学） ； UC Berkeley（伯克利大学） 纠错

AI总结 研究围绕稀疏自编码器（SAEs）的不同观点，指出其虽在作用于已知概念时效果欠佳，但在发现未知概念上很强大，还给出了在机器学习及社会健康科学等方面的应用案例。

Comments ICML 2026

Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations

通过视觉-语言偏好学习实现可解释的概念生成以理解神经网络的内部表示

Aditya Taparia, Som Sagar, Ransalu Senanayake

AI总结 本文提出通过视觉-语言偏好学习生成概念图像集，解决传统方法需手动收集概念图像集的不足，提高神经网络内部表示理解的效率和可靠性。

Comments 28 pages, 31 figures

Journal ref Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267:59154-59181, 2025

kAgent: An execution-guided crash resolution agent for the Linux kernel

kAgent：一种用于Linux内核的执行引导式崩溃修复代理

Alex Mathai, Chenxi Huang, Suwei Ma, Jihwan Kim, Hailie Mitchell, Aleksandr Nogikh, Petros Maniatis, Franjo Ivančić, Junfeng Yang, Baishakhi Ray

机构 * Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系） ； Google Inc.（谷歌公司） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 研究针对Linux内核崩溃修复难题，以内核开发者修复方式为灵感构建kAgent及支持工具栈，通过检查日志等步骤修复崩溃，消融特性定量分析，评估显示其能有效修复多种崩溃。

Comments Accepted to ICML, 2026; in the Deep Learning for Code Workshop. This paper was previously circulated as "CrashFixer"