ICML

Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants

立场：超越敏感属性，机器学习公平性应通过社会决定因素量化结构性不公正

Zeyu Tang, Alex John London, Atoosa Kasirzadeh, Sarah Stewart de Ramirez, Peter Spirtes, Kun Zhang, Sanmi Koyejo

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Michigan（密歇根大学） ； University of Toronto（多伦多大学） 纠错

AI总结 本文主张算法公平性研究应超越敏感属性，通过社会决定因素量化结构性不公正，并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。

Comments Accepted to ICML 2026 Position Paper Track

Position: Stop Preaching and Start Practising Data Frugality for Responsible Development of AI

立场：停止说教，开始实践数据节俭以负责任地发展人工智能

Sophia N. Wilson, Andrew Millard, Guðrún Fjóla Guðmundsdóttir, Raghavendra Selvan, Sebastian Mair

AI总结 本文主张机器学习社区应从说教转向实践数据节俭，通过子集选择方法在保持精度的同时大幅降低训练能耗和碳排放，以负责任地发展AI。

Comments ICML 2026

IDLM: Inverse-distilled Diffusion Language Models

IDLM：逆蒸馏扩散语言模型

David Li, Nikita Gushchin, Dmitry Abulkhanov, Eric Moulines, Ivan Oseledets, Maxim Panov, Alexander Korotin

AI总结 针对扩散语言模型推理慢的问题，提出逆蒸馏方法（IDLM），通过理论保证唯一解和梯度稳定松弛，实现4倍至64倍推理加速并保持生成质量。

Comments ICML 2026. We provide the code at: https://david-cripto.github.io/idlm-project-page

Beyond Procedure: Substantive Fairness in Conformal Prediction

超越程序：共形预测中的实质性公平

Pengqi Liu, Zijun Yu, Mouloud Belbahri, Arthur Charpentier, Masoud Asgharian, Jesse C. Cresswell

机构 * University of Montreal（蒙特利尔大学） 纠错

AI总结 本文通过理论分解和LLM辅助评估，研究共形预测中标签聚类方法如何平衡效用与实质性公平，并发现均衡集合大小比覆盖度更能提升公平性。

Comments Camera-ready version. Accepted at ICML 2026

Visual Persuasion: What Influences Decisions of Vision-Language Models?

视觉说服：什么影响了视觉语言模型的决策？

Manuel Cherep, Pranav M R, Pattie Maes, Nikhil Singh

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT Media Lab（MIT媒体实验室） 纠错

AI总结 提出一个框架，通过控制图像选择任务并系统性地扰动输入，利用视觉提示优化方法推断视觉语言模型的潜在视觉效用，揭示影响模型决策的视觉偏好。

Comments Accepted to ICML 2026

Knowing Isn't Understanding: Re-grounding Generative Proactivity with Epistemic and Behavioral Insight

知道不等于理解：用认知与行为洞察重新奠定生成式主动性

Kirandeep Kaur, Xingda Lyu, Chirag Shah

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

AI总结 针对用户无法明确表达需求时的认知不完整问题，提出生成式主动性需要基于认知和行为双重约束来设计负责任的主动代理。

Comments 43 rd International Conference on Machine Learning (ICML 2026)

DenseMLLM: Standard Multimodal LLMs for Dense Prediction

DenseMLLM：用于密集预测的标准多模态大语言模型

Yi Li, Hongze Shen, Lexiang Tang, Xin Li, Xinpeng Ding, Yinsong Liu, Deqiang Jiang, Xing Sun, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong, China（香港科技大学电子与计算机工程系） ； Tencent, Youtu-Lab, China（腾讯优图实验室） 纠错

AI总结 提出DenseMLLM，通过标准多模态大语言模型架构和视觉令牌监督策略，无需任务特定解码器即可实现语义分割、深度估计等密集预测任务，在多个基准上取得竞争性能。

Comments ICML 2026

REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment

REAL: 通过推理枢轴对齐解决知识密集型视觉问答中的知识冲突

Kai Ye, Xianwei Mao, Sheng Zhou, Zirui Shao, Ye Mo, Liangliang Liu, Haikuan Huang, Bin Li, Jiajun Bu

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出REAL框架，通过推理枢轴对齐和引导解码，解决知识密集型视觉问答中因开放域检索引起的知识冲突问题。

Comments Accepted by ICML 2026

You Can Learn Tokenization End-to-End with Reinforcement Learning

你可以通过强化学习端到端地学习分词

Sam Dauncey, Roger Wattenhofer

机构 * University of Waterloo（滑铁卢大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 本文提出使用强化学习中的得分函数估计来学习离散分词边界，通过时间折扣等技巧降低方差，在1亿参数规模上优于先前的直通估计方法。

Comments ICML 2026 camera-ready

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

原则性合成数据使推荐系统中的LLM首次出现缩放定律

Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei Wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Qunshu Zhang, Neeraj Bhatia, Xiangjun Fan, Hong Yan

机构 * Meta 纠错

AI总结 本文提出一种分层框架生成高质量合成数据，通过避免原始数据噪声，首次在推荐领域实现LLM的稳健幂律缩放，并显著提升下游排序任务性能。

Comments update according to icml reviewers feedback

Journal ref ICML 2026

Prototype Transformer: Towards Language Model Architectures Interpretable by Design

原型Transformer：迈向可解释设计的语言模型架构

Yordan Yordanov, Matteo Forasassi, Bayar Menzat, Ruizhi Wang, Chang Qi, Markus Kaltenberger, Amine M'Charrak, Tommaso Salvatori, Thomas Lukasiewicz

机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 提出原型Transformer（ProtoT），一种用线性代价原型模块替代二次代价自注意力的自回归语言模型架构，原型自动捕获可命名概念，提升可解释性并支持行为编辑。

Comments Accepted at ICML 2026. Equal contribution: Yordan Yordanov and Matteo Forasassi. 40 pages, 28 figures, 22 tables

Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design

超越模型库检索：编织知识以掌握细粒度神经网络设计

Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出M-DESIGN框架，通过构建编辑效应证据图并采用自适应检索与预测任务规划器，在严格预算下高效发现近最优细粒度架构修改路径，在33个案例中26个达到搜索空间最佳性能。

Comments Accepted at ICML 2026. Title changed from "Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design" to "Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design"

Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling

通过贝叶斯非负奖励建模缓解RLHF中的奖励黑客

Zhibin Duan, Guowei Rong, Zhuo Li, Bo Chen, Mingyuan Zhou, Dandan Guo

机构 * Zhejiang University（浙江大学） 纠错

AI总结 提出贝叶斯非负奖励模型（BNRM），通过非负因子分析和变分推断，在Bradley-Terry偏好模型中实现解耦与去偏，有效缓解奖励过度优化，提升鲁棒性和可解释性。

Comments Accepted as an Oral presentation at ICML 2026. The code is available at https://github.com/GuoweiRong/Bayesian-Non-negative-Reward-Model

SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes

SceneSmith: 面向仿真就绪室内场景的智能体生成

Nicholas Pfaff, Thomas Cohn, Sergey Zakharov, Rick Cory, Russ Tedrake

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

AI总结 提出层次化智能体框架SceneSmith，通过VLM智能体协作从自然语言生成仿真就绪的室内场景，相比先前方法生成3-6倍物体且碰撞率低于2%。

Comments ICML 2026 Spotlight; Project page: https://scenesmith.github.io/

Can LLMs Reason Structurally? Benchmarking via the Lens of Data Structures

LLM 能否进行结构性推理？通过数据结构视角进行基准测试

Yu He, Yingxi Li, Colin White, Ellen Vitercik

机构 * Stanford University（斯坦福大学） 纠错

AI总结 本文提出 DSR-Bench 基准，通过 20 种数据结构、35 种操作和 4140 个问题实例评估 LLM 的结构性推理能力，发现顶级模型在挑战性实例上仅得 0.46/1，且在空间数据、上下文丰富场景及自身代码推理上表现不佳。

Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

The Entropic Signature of Class Speciation in Diffusion Models

扩散模型中类别分化的熵特征

Florian Handke, Dejan Stančević, Felix Koulischer, Thomas Demeester, Luca Ambrogioni

AI总结 通过追踪潜在语义变量的类别条件熵，检测扩散模型中的语义转变区间，并验证其在高斯混合模型和实际模型中的有效性。

Comments Accepted at International Conference on Machine Learning (ICML) 2026

Mirror Descent Under Generalized Smoothness

广义光滑性下的镜像下降

Dingzhi Yu, Wei Jiang, Hongyi Tao, Yuanyu Wan, Lijun Zhang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Software Technology, Zhejiang University（浙江大学软件技术学院） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

AI总结 本文提出一种新的 $\ell_*$-光滑性概念，将经典光滑性推广到一般范数空间，并证明镜像下降类算法在此条件下收敛率与经典光滑性一致。

Comments ICML 2026

AnomSeer: Reinforcing Multimodal LLMs to Reason for Time-Series Anomaly Detection

AnomSeer: 增强多模态大语言模型进行时间序列异常检测的推理能力

Junru Zhang, Lang Feng, Haoran Shi, Xu Guo, Han Yu, Yabo Dong, Duanqing Xu

AI总结 提出AnomSeer，通过专家思维链和基于最优传输的时间序列接地策略优化，增强多模态大语言模型在时间序列异常检测中的细粒度推理能力，统一异常分类、定位和解释。

Comments ICML 2026

Deep networks learn to parse uniform-depth context-free languages from local statistics

深度网络从局部统计中学习解析均匀深度的上下文无关语言

Jack T. Parley, Francesco Cagnetta, Matthieu Wyart

AI总结 通过引入可调类概率上下文无关文法并设计基于深度卷积网络的推理算法，揭示了语言结构从局部统计中涌现的机制，并验证了深度卷积和Transformer架构的预测。

Comments Accepted as regular paper at ICML 2026

How to Correctly Report LLM-as-a-Judge Evaluations

如何正确报告LLM作为评估者的评估结果

Chungpa Lee, Thomas Zeng, Jongwon Jeong, Jy-yong Sohn, Kangwook Lee

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对LLM作为评估者时存在偏差的问题，提出一种插件式校正框架，实现无偏估计和统计原理的不确定性量化，并证明在分布偏移下仍保持无偏性。

Journal ref International Conference on Machine Learning (ICML) 2026

Exposing Vulnerabilities in Explanation for Time Series Classifiers via Dual-Target Attacks

通过双目标攻击暴露时间序列分类器解释中的脆弱性

Bohan Wang, Zewen Liu, Lu Lin, Hui Liu, Li Xiong, Ming Jin, Wei Jin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出TSEF双目标攻击方法，通过联合操纵分类器和解释器输出，实现目标性误分类同时保持解释与参考一致，揭示解释稳定性不能作为决策鲁棒性的可靠指标。

Comments Accepted at ICML 2026; Code is available at https://github.com/Bohan7/TSEF

d2: Improving Reasoning in Diffusion Language Models via Trajectory Likelihood Estimation

d2: 通过轨迹似然估计改进扩散语言模型的推理能力

Guanghan Wang, Gilad Turok, Yair Schiff, Marianne Arriola, Volodymyr Kuleshov

机构 * Cornell University, Cornell Tech（康奈尔大学，康奈尔科技） 纠错

AI总结 提出d2框架，通过新的策略梯度算法和轨迹似然估计，显著提升扩散语言模型在逻辑与数学推理任务上的性能。

Comments ICML 2026. project page: https://guanghanwang.com/d2

Vegas: Self-Speculative Decoding with Verification-Guided Sparse Attention

Vegas: 验证引导稀疏注意力的自推测解码

Yikang Yue, Yuqi Xue, Jian Huang

机构 * National University of Singapore（新加坡国立大学） 纠错

AI总结 提出Vegas方法，利用验证过程自然识别关键KV缓存条目，并仅对这些条目进行稀疏注意力计算，从而提升自推测解码的吞吐量。

Comments Accepted to ICML'26

Principle-Evolvable Scientific Discovery via Uncertainty Minimization

通过不确定性最小化实现原理可演化的科学发现

Yingming Pu, Tao Lin, Hongyu Chen

机构 * Westlake University（西lake大学） ； Zhejiang University（浙江大学） 纠错

AI总结 提出PiEvo框架，将科学发现视为原理空间上的贝叶斯优化，通过信息导向假设选择与异常驱动增强机制，使智能体自主演化理论世界观，在四个基准上平均解质量达90.81%~93.15%，收敛速度提升83.3%。

Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026. Copyright 2026 by the author(s)

Journal ref Proc. 43rd Intl. Conf. on Machine Learning (ICML 2026), PMLR 306

Tempora: Characterising the Time-Contingent Utility of Online Test-Time Adaptation

Tempora: 表征在线测试时适应的时间条件效用

Sudarshan Sreeram, Young D. Kwon, Cecilia Mascolo

机构 * University of Bristol（布里斯托大学） 纠错

AI总结 提出Tempora框架，通过时间场景、评估协议和时间条件效用指标，系统评估测试时适应方法在延迟约束下的准确性-延迟权衡，揭示传统排名在时间压力下失效。

Comments Accepted to ICML 2026

Can Vision Language Models Learn Intuitive Physics from Interaction?

视觉语言模型能否从交互中学习直观物理？

Luca M. Schulze Buschoff, Konstantinos Voudouris, Can Demircan, Eric Schulz

AI总结 研究通过强化学习与环境交互训练视觉语言模型，发现交互学习能提升任务内性能，但无法产生可泛化的物理直觉。

Comments Updated accepted version for ICML'26

Inverse Depth Scaling From Most Layers Being Similar

大多数层相似时的逆深度缩放

Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 通过分析大型语言模型和玩具残差网络，发现损失与深度成反比，归因于功能相似的层通过集成平均而非组合学习或平滑动力学离散化来减少误差，表明需要架构创新以鼓励深度组合使用。

Comments Camera-ready version, ICML 2026

Stable Velocity: A Variance Perspective on Flow Matching

稳定速度：流匹配的方差视角

Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对流匹配中单样本条件速度导致的高方差训练目标，提出稳定速度框架，通过方差表征识别高低方差区域，并引入无偏方差缩减目标（StableVM）、方差感知表示对齐（VA-REPA）以及免微调加速采样（StableVS），在多个大规模模型上实现训练效率提升和超过2倍采样加速。

Comments ICML 2026

Optimal Bayesian Stopping for Efficient Inference of Consistent LLM Answers

用于高效推断一致LLM答案的最优贝叶斯停止

Jingkai Huang, Will Ma, Zhengyuan Zhou

机构 * Stern School of Business, New York University, New York, USA（纽约大学 Stern 商学院） ； Graduate School of Business, Columbia University, New York, USA（哥伦比亚大学 商学院） 纠错

AI总结 利用贝叶斯先验信息，通过L-聚合停止策略在达到足够一致性时提前停止采样，以最小化采样成本并高效识别最一致的LLM答案。

Comments Accepted to ICML 2026. Camera-ready version

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Event2Vec: Processing Neuromorphic Events Directly by Representations in Vector Space

Event2Vec: 通过向量空间表示直接处理神经形态事件

Wei Fang, Priyadarshini Panda

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出Event2Vec表示法，使Transformer能直接处理稀疏异步事件数据，在多个基准上实现高精度、低延迟和高吞吐量。

Comments Accepted at ICML 2026