ICML

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

解读点之间的信息：解码跨填充令牌的隐藏计算

Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

机构 * Harvard University（哈佛大学） ； Cambridge Boston Alignment Initiative（剑桥波士顿对齐计划） ； Massachusetts Institute of Technology（麻省理工学院） ； Anthropic 纠错

AI总结 研究前沿语言模型对无内容填充令牌的隐藏计算，通过分析两个前沿模型在四个任务家族中的表现，介绍无监督解码管道，能从隐藏状态恢复中间值，证明隐藏计算可从残差流读取。

Comments Accepted to ICML 2026 Mech Interp Workshop, 10 main paper pages, 20 appendix pages

Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs

用于大语言模型中顺序信息收集的摊销贝叶斯实验设计

Jakob Hartmann, James Harvey, Jhonathan Navott, Erik Y. Wang, Luckeciano C. Melo, Flaviu Cipcigan, Cheng Zhang, Alessandro Abate

机构 * University of Oxford（牛津大学） ； Ellison Institute of Technology（埃里森理工学院） 纠错

AI总结 研究大语言模型在顺序决策中信息收集问题，提出摊销顺序信息收集方法，将贝叶斯实验设计融入模型策略，经实验验证该方法能有效提升成功率并降低推理成本。

Comments 20 pages, 7 figures. Accepted to FoGen 2026: Foundations of Deep Generative Models: Understanding Memorization, Generalization, and Reasoning, an ICML 2026 workshop (non-archival)

Scalable Differentially Private Data Compression via Diffusion and Stochastic Codes

通过扩散和随机码实现可扩展的差分隐私数据压缩

Gergely Flamich, Oykü Sıla Güner, Yanxiao Liu, Deniz Gündüz

机构 * Imperial College London（帝国理工学院） 纠错

AI总结 针对高维数据压缩难题，提出结合随机码与扩散模型的DP-DiPP压缩管道，通过扩展泊松私有表示并结合DiffC，实现差分隐私图像压缩，实验表明其性能远超基线。

Comments To appear in ICML 2026 Workshop on Structured Probabilistic Inference & Generative Modeling

BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception

BVS：用于细粒度感知的基于多模态大语言模型的贝叶斯视觉搜索

Geng Li, Yuxin Peng

AI总结 针对多模态大语言模型在超高分辨率图像细粒度感知的难题，提出BVS框架，将感知设为连续空间尺度流形上的全局优化问题，通过先验引导与后验校正提升性能。

Comments Accepted by ICML 2026. Project page with code: https://github.com/PKU-ICST-MIPL/BVS_ICML2026

Transfer Learning in High-dimensional Ising Models

高维伊辛模型中的迁移学习

Joonho Kim, Seyoung Park

机构 * Graduate School of Artificial Intelligence, KAIST（韩国科学技术院人工智能研究生院） 纠错

AI总结 针对高维伊辛模型估计中目标样本量有限及利用未知相关辅助二元数据集困难的问题，提出迁移学习方法Trans-Ising，结合源筛选规则与两阶段估计程序，经理论分析和实验验证效果良好。

Comments Published as a conference paper at ICML 2026

MORE: A Multilingual Document Parsing Benchmark and Evaluation

MORE：一个多语言文档解析基准和评估

Long Xu, Binghong Wu, Tinghao Yu, Hao Feng, Zhenyu Huang, Haoqing Jiang, Yunhao Wang, Shuo Huang, Feng Zhang

AI总结 研究针对多语言文档解析，现有基准侧重高资源语言。为此引入MORE基准，其具规模大、结构复杂、数据真实的特点，用它评估模型，为长尾语言建性能基线并验证基准有效性。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). 22 pages, 11 figures. Code and dataset available at https://github.com/zimoqingfeng/MORE

A Precedent-Guided Co-Scientist for Side-Effect-Aware Drug Redesign

一种用于副作用感知药物重新设计的先例引导协同科学家

Yujin Kim, Charmgil Hong

AI总结 提出PRECEDE用于副作用感知药物重新设计，将重新设计视为基于证据的推理，由LLM编排，定位为人监督的科学工作流，可审核、证伪且受先前药理学限制。

Comments Accepted at the ICML 2026 Workshop on AI for Science

See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition

看见情感：用于脑电图情感识别的面部表情符号代理建模

Jingjing Hu, Guo Dan, Haofan Cheng, Ying Zeng, Zhan Si, Jinxing Zhou, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； PLA Information Engineering University（中国人民解放军信息工程大学） ； University of Science and Technology of China（中国科学技术大学） ； MBZUAI 纠错

AI总结 研究将脑电图可解释性重构为跨模态生成任务，提出面部表情符号代理建模框架，把高维脑电图信号转化为面部表情符号，在相关基准测试中取得先进准确率，能生成忠实面部动画展现大脑情感演变。

Comments Accepted by ICML 2026

Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

使用层次表示正则化学习大型多模态模型的分类树

Hulingxiao He, Zhi Tan, Yuxin Peng

机构 * PKU-ICST-MIPL（北京大学信息科学技术学院多媒体信息处理实验室） 纠错

AI总结 研究大型多模态模型缺乏分类知识致层次视觉识别一致性低的问题，提出层次表示正则化方法，含语义感知视觉树构建框架，结合两个互补目标，有效捕捉分类结构。

Comments Published as a conference paper at ICML 2026

Induction Heads Interpolate N-Grams

归纳头对N元语法进行插值

Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

机构 * TML Lab, EPFL, Switzerland（瑞士联邦理工学院TML实验室） ； IIT Madras, India（印度IIT马德拉斯） 纠错

AI总结 研究在k阶马尔可夫链上训练的变压器中的归纳头，识别出两种互补平滑机制，构建实现这两种机制的解缠变压器，结果表明训练后的变压器能恢复预测注意力模式，优于经典基于计数的基线。

Comments Published as a conference paper at ICML 2026. OpenReview: https://openreview.net/forum?id=BSY7jhBxM1

Out-of-Distribution Generalization of Risk Aversion in Language Models

语言模型中风险规避的分布外泛化

Kristina Zhang, Junior Chinomso Okoroafor, Benjamin Maltbie, Andrew Lin, Abhitej Bokka, Elliott Thornley

AI总结 研究训练人工智能在资源方面规避风险能否泛化至高风险场景。通过引入RiskAverseOOD基准测试，用多种方法使模型在低风险时规避风险，发现其能部分泛化至高风险，不同规模和模型家族也有类似效果，但一致性不足。

Comments ICML 2026 Agents in the Wild workshop

Evaluating Time Series Foundation Models for Electricity Price Forecasting: Contamination Risk, Distributional Shifts, and Covariate Dependence

评估用于电价预测的时间序列基础模型：污染风险、分布变化和协变量依赖性

Zhenghua Pan, Ahmed Aziz Ezzat

AI总结 针对电价预测中时间序列基础模型在协变量驱动、非平稳设置下泛化不足的问题，提出双数据集基准框架，评估其多方面表现，发现该模型有竞争力但性能依赖协变量支持，简单集成有潜力。

Journal ref ICML 2026 Foundation Models for Structured Data Workshop, 43rd International Conference on Machine Learning (ICML), Seoul, South Korea

Auditing the Audit: Five Failure Modes in Benchmark-Validity Audits

审核审核：基准有效性审核中的五种失败模式

Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * European Parliament and Council（欧洲议会和理事会） ； National Institute of Standards and Technology（美国国家标准与技术研究院） ； State Administration for Market Regulation and Standardization Administration of China（中国国家市场监督管理总局和中国国家标准化管理委员会） 纠错

AI总结 研究治理框架要求的基于扰动的构造有效性审核的脆弱性，指出五种管道失败类型并通过案例展示，提出六点尽职调查关卡，定位其为保证级证据的协议。

Comments 18 pages, 4 figures. Accepted at the TAIGR Workshop at ICML 2026

Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models

标准条件上下文学习：评估视觉语言模型中的标准转移适应性

Kaiyun Yang, Ruilin Yang, Zhimin Yao, J. Wang, Wei Ge

机构 * Megvii Technology Inc., Beijing, China（美科科技有限公司，北京，中国） 纠错

AI总结 研究提出标准条件上下文学习（CC-ICL）新设置，模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标，构建CC-Bench基准。实验发现多数模型有边界偏差，简单多标准训练可改善。

Comments Accepted by ICML 2026

Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration

图上的样本选择：用于无损训练加速的统一数据集剪枝框架

Dongyue Wu, Zilin Guo, Xiaoyu Li, Jiajia Liu, Jingdong Chen, Nong Sang, Changxin Gao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出基于图的统一数据集剪枝框架，将数据集建模为加权图，通过最大权重团问题选择样本，并设计贪心算法，在多种剪枝比例下优于现有方法，实现ImageNet-1k上40%以上训练加速且不损失精度。

Comments ICML 2026

Pseudospectral Bounds for Transient Amplification in Coupled Gradient Descent

耦合梯度下降中瞬态放大的伪谱界

Ahanaf Hasan Ariq

机构 * Ideal School and College（理想学校和学院） 纠错

AI总结 针对耦合梯度下降中块三角雅可比矩阵的非正态性导致的瞬态放大，提出尖锐的伪谱理论，给出Kreiss常数的上界与匹配极小极大下界，并导出随机耦合下降的有限步迭代复杂度界。

Comments 15 pages, 3 tables. Accepted at the ICML 2026 HiLD Workshop (4th Workshop on High-dimensional Learning Dynamics) as a poster

Welfare-Optimal Classification with Accuracy Auctions

基于准确性拍卖的福利最优分类

Bana Sadi, Eden Saig, Nir Rosenfeld

AI总结 提出一种结合真实性拍卖的学习算法，在用户对准确性估值私有的情况下优化社会福利，并给出高效计算分配和价格的方法。

Comments ICML 2026

Private and Stable Test-Time Adaptation with Differential Privacy

具有差分隐私的私有且稳定的测试时自适应

Zefeng Li, Qiaoyue Tang, Mathias Lecuyer, Evan Shelhamer

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出将多种测试时自适应方法转化为差分隐私形式，通过逐样本梯度裁剪和高斯噪声保护测试数据隐私，在ImageNet-C上实现隐私与精度的平衡，并发现裁剪机制能提升连续自适应的准确性和稳定性。

Comments ICML 2026. Code: https://github.com/van-hammerheads/private-stable-tta

Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning

按需查看：多模态推理中视觉证据获取的认知调度框架

Yang Zhang, Xiaoshuai Sun, Rui Zhao, Wujin Sun, Yidong Chen, Jiayi Ji, Qian Chen, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception（多媒体可信感知实验室） ； Efficient Computing, Ministry of Education of China, Xiamen University, 361005, P.R. China（教育部高效计算实验室，厦门大学，361005，中国） ； Sino-Russian ResearchCenter for Digital Economy（中俄数字经济研究中心） ； Institute of Artificial Intelligence, Xiamen University, China（人工智能研究院，厦门大学，中国） ； School of Informatics, Xiamen University, China（信息学院，厦门大学，中国） ； School of Information Engineering, Xiamen Ocean Vocational College, Xiamen 361102, China（信息工程学院，厦门海洋职业技术学院，厦门361102，中国） 纠错

AI总结 提出CSMR框架，通过语言模型控制何时调用独立视觉感知模块获取任务相关视觉证据，在零样本设置下多个基准上优于基线方法。

Comments Accepted at ICML 2026

BuildArena: A Physics-Aligned Interactive Benchmark of LLMs for Engineering Construction

BuildArena: 一个对齐物理的LLM交互基准，用于工程建造

Tian Xia, Tianrun Gao, Wenhao Deng, Long Wei, Xiaowei Qian, Chenglei Yu, Tailin Wu

机构 * Tian Xia（夏天） ； Tianrun Gao（高天run） ； Wenhao Deng（邓文浩） ； Long Wei（韦龙） ； Xiaowei Qian（钱小伟） ； Chenglei Yu（于成磊） ； Tailin Wu（吴太林） 纠错

AI总结 本研究提出BuildArena，一个首个对齐物理的LLM交互基准，用于语言驱动的工程建造，通过可扩展的任务设计策略和3D空间几何计算库，评估九个前沿LLM在语言驱动和物理基础的自动化建造中的能力。

Comments ICML 2026, 36 pages, 12 figures

Visual Implicit Autoregressive Modeling

基于隐式平衡层的视觉隐式自回归建模

Pengfei Jiang, Jixiang Luo, Luxi Lin, Zhaohong Huang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院） 纠错

AI总结 本文提出VIAR模型，通过隐式平衡层和可调节的计算控制，在保持生成质量的同时降低内存和提升效率，优于现有自回归基线和扩散模型。

Comments ICML 2026

CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas

CoopEval：社会困境中合作维持机制与LLM代理的基准测试

Emanuel Tewolde, Xiao Zhang, David Guzman Piedrahita, Vincent Conitzer, Zhijing Jin

机构 * Carnegie Mellon University ； Foundations of Cooperative AI Lab (FOCAL) ； Jinesis Lab, University of Toronto \& Vector Institute ； ETH Z\" u rich ； Max Planck Institute for Intelligent Systems, T\" u bingen, Germany 纠错

AI总结 研究探讨了社会困境中合作维持机制与LLM代理的交互效果，发现重复游戏和声誉系统最有效，但合作效果随对手变化而下降，且在进化压力下更有效。

Comments Published paper at the International Conference on Machine Learning (ICML) 2026. 65 pages, 38 Figures, 8 Tables, 17 Listings

On the Ability of Transformers to Verify Plans

Transformer 在验证计划能力上的表现

Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

机构 * Saarland University（萨尔兰大学） ； Australian National University（澳大利亚国立大学） ； University of Toulouse / LAAS-CNRS（图卢兹大学 / LAAS-CNRS） 纠错

AI总结 研究分析了解码器-only模型验证计划的能力，提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力，发现某些经典规划领域中Transformer能有效学习验证长计划。

Comments Accepted at ICML 2026

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

Generative Inverse Design with Abstention via Diagonal Flow Matching

基于对角流匹配的生成反向设计与退避

Miguel de Campos, Werner Krebs, Hanno Gottschalk

机构 * Institute of Mathematics, TU Berlin（柏林技术大学数学研究所） 纠错

AI总结 本文提出Diagonal Flow Matching方法，通过零锚定策略解决反向设计中坐标排列和缩放敏感问题，提升反向设计精度，并引入两个不确定性度量以实现候选选择、可靠预测退避和分布外检测。

Comments 23 pages, ICML 2026 camera-ready version

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

带重放的语言生成：模型崩溃的学习理论视角

Giorgio Racca, Michal Valko, Amartya Sanyal

机构 * University of Copenhagen（哥本哈根大学） ； Isara Labs（Isara实验室） 纠错

AI总结 研究随着前沿大语言模型训练对数据需求增加，生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架，引入重放对手，刻画重放何时限制生成。

Comments Accepted to ICML 2026

SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

电子表格竞技场：在大型语言模型生成电子表格工作簿中分解偏好

Srivatsa Kundurthy, Clara Na, Michael Handley, Zach Kirshner, Chen Bo Calvin Zhang, Manasi Sharma, Emma Strubell, John Ling

AI总结 研究端到端电子表格生成任务，介绍SpreadsheetArena平台通过大型语言模型生成的工作簿的盲选成对偏好投票评估模型，指出该任务挑战机遇，发布数据集以助进一步研究。

Comments 35 pages. ICML 2026

Local Constrained Bayesian Optimization

局部约束贝叶斯优化

Jing Jingzhe, Fan Zheyi, Szu Hui Ng, Qingpei Hu

机构 * Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore（新加坡国立大学工业系统工程与管理系，新加坡） 纠错

AI总结 针对高维约束问题的贝叶斯优化面临挑战，提出局部约束贝叶斯优化框架。利用约束惩罚替代函数的可微景观，在局部下降与探索间交替，理论证明其收敛率，实验表明优于现有基线。

Comments 28 pages, 7 figures, accepted at ICML 2026

TT-Sparse: Learning Sparse Rule Models with Differentiable Truth Tables

TT-Sparse：使用可微真值表学习稀疏规则模型

Hans Farrell Soegeng, Sarthak Ketanbhai Modi, Thomas Peyrin

AI总结 为解决可解释机器学习中学习兼具高性能与低复杂度规则集的难题，引入TT-Sparse，利用可微真值表学习稀疏有效连接，提出新软TopK算子，能高效计算并提取可解释规则，性能优于现有方法。

Comments to appear in the proceedings of ICML 2026

ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning

ARLArena：用于稳定智能体强化学习的统一框架

Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 研究针对智能体强化学习不稳定问题，提出ARLArena框架。先构建测试平台，将策略梯度分解为四个维度分析，据此提出稳定的智能体策略优化方法SAMPO，实现稳定训练与良好性能。

Comments To appear at ICML 2026