ICML

Understand and Accelerate Memory Processing Pipeline for Large Language Model Inference

理解并加速大型语言模型推理的内存处理流水线

Zifan He, Rui Ma, Yizhou Sun, Jason Cong

AI总结 本文通过将稀疏注意力、检索增强生成和压缩上下文内存等优化统一为四步内存处理流水线，识别出22%-97%的内存处理开销，并提出使用GPU-FPGA异构系统加速该流水线，实现最高2.2倍加速和4.7倍能效提升。

Comments Accepted by ICML 2026. Code: https://github.com/OswaldHe/HeteroLLM

RADAR: Redundancy-Aware Diffusion for Multi-Agent Communication Structure Generation

RADAR：面向多智能体通信结构生成的冗余感知扩散方法

Zhen Zhang, Wanjing Zhou, Juncheng Li, Hao Fei, Jun Wen, Wei Ji

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出一种基于条件离散图扩散模型的冗余感知生成框架RADAR，通过逐步生成通信拓扑并利用图有效尺寸引导，在六项基准上实现更高准确率、更低令牌消耗和更强鲁棒性。

Comments Accepted by ICML 2026 (fix typos)

Learning-Augmented Scalable Linear Assignment Problem Optimization via Neural Dual Warm-Starts

学习增强的可扩展线性分配问题优化：基于神经对偶热启动

Ilay Yavlovich, Jad Agbaria, Muhamed Mhamed, Nir Weinberger, Jose Yallouz

机构 * Department of Electrical and Computer Engineering, Technion -- Israel Institute of Technology, Haifa, Israel（电气与计算机工程系，技术学院——以色列理工学院，海法，以色列） 纠错

AI总结 提出一种学习增强框架，通过预测对偶变量热启动精确求解器，并设计轻量级行独立架构RowDualNet避免O(N^2)内存瓶颈，实现可扩展的神经热启动，在保持最优性的同时获得超过2倍加速。

Comments Accepted to ICML 2026. 23 pages, 18 figures

Exploring and Exploiting Stability in Latent Flow Matching

探索和利用潜流匹配中的稳定性

Rania Briq, Michael Kamp, Ohad Fried, Sarel Cohen, Stefan Kesselheim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文证明潜流匹配模型对数据缩减和模型容量收缩具有鲁棒性，并利用这种稳定性提出更高效的训练和推理算法，包括数据节省和超过两倍的推理加速。

Comments Accepted at ICML 2026

Adaptive Querying with AI Persona Priors

基于AI人格先验的自适应查询

Kaizheng Wang, Yuhang Wu, Assaf Zeevi

机构 * Department of Industrial Engineering and Operations Research and Data Science Institute, Columbia University（工业工程与运筹学系及数据科学研究所，哥伦比亚大学） ； Decision, Risk, and Operations Division, Columbia Business School（决策、风险与运营部门，哥伦比亚商学院） 纠错

AI总结 提出一种基于AI人格诱导的潜变量模型，利用大语言模型生成响应分布，实现高效贝叶斯设计，用于在有限查询预算下学习用户相关量。

Comments ICML 2026

Mesh Field Theory: Port-Hamiltonian Formulation of Mesh-Based Physics

网格场理论：基于网格的物理的端口-哈密顿形式化

Satoshi Noguchi, Yoshinobu Kawahara

机构 * University of Tokyo（东京大学） 纠错

AI总结 提出网格场理论（MeshFT）及其神经实现MeshFT-Net，通过端口-哈密顿形式化分离物理的拓扑与度量结构，实现近零能量漂移和强物理保真度。

Comments 29 pages, 7 figures, 15 tables. Accepted to ICML 2026

Consistent Diffusion Language Models

一致性扩散语言模型

Hasan Amin, Yuan Gao, Yaser Souri, Subhojit Som, Ming Yin, Rajiv Khanna, Xia Song

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出多路径离散一致性（MPDC）原则，通过训练去噪器在随机桥上的路径不变性，实现单阶段训练的一致性扩散语言模型（CDLM），在文本生成中达到最先进性能。

Comments ICML 2026

Mean Flow Policy Optimization

平均流策略优化

Xiaoyi Dong, Xi Sheryl Zhang, Jian Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出使用平均流模型作为策略表示，通过最大熵强化学习框架进行软策略迭代，以提升在线强化学习中训练和推理效率，实验表明性能与扩散模型基线相当或更优且时间显著减少。

Comments ICML 2026

Process Reward Agents for Steering Knowledge-Intensive Reasoning

过程奖励智能体：引导知识密集型推理

Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor

机构 * University of Michigan（密歇根大学） 纠错

AI总结 提出过程奖励智能体（PRA），通过在线、分步奖励指导冻结策略模型进行搜索式解码，在医疗推理基准上取得新最优结果，并泛化至不同规模模型。

Comments Accepted to ICML 2026

U-Cast: A Surprisingly Simple and Efficient Frontier Probabilistic AI Weather Forecaster

U-Cast：一种惊人简单且高效的边界概率AI天气预报器

Salva Rühling Cachay, Duncan Watson-Parris, Rose Yu

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 提出基于标准U-Net骨架的概率天气预报模型U-Cast，通过确定性预训练和短时概率微调，以不到1/10的计算成本匹配或超越GenCast和IFS ENS的预报技能。

Comments ICML 2026. Our code is available at: https://github.com/Rose-STL-Lab/u-cast

A Direct Approach for Handling Contextual Bandits with Latent State Dynamics

处理具有隐状态动态的上下文赌博机的直接方法

Zhen Li, Gilles Stoltz

AI总结 本文提出一种直接方法处理隐马尔可夫链驱动的线性上下文赌博机，通过简化模型归约到标准线性上下文赌博机，并扩展理论分析以考虑HMM参数估计，同时针对更复杂的隐状态依赖模型引入周期性参数更新算法。

Journal ref ICML 2026 - Forty-Third International Conference on Machine Learning, Jul 2026, Seoul, South Korea, France

CalM: A Self-Supervised Foundation Model for Population Dynamics in Calcium Imaging Data

CalM：一种用于钙成像数据中群体动力学的自监督基础模型

Xinhong Xu, Yimeng Zhang, Qichen Qian, Yuanlong Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出自监督基础模型CalM，通过双轴自回归Transformer和高效分词器，在钙成像数据上预训练后，可迁移至神经群体动力学预测和行为解码等下游任务，并取得竞争性或更优性能。

Comments ICML accepted version

Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing

幻觉是空间最优性的结果：成员测试的率失真定理

Anxin Guo, Jingwei Li

机构 * Computer Science Department, Northwestern University（西北大学计算机科学系） ； Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系） 纠错

AI总结 通过将幻觉形式化为成员测试问题，建立率失真定理，证明在有限容量下信息论最优策略必然导致对某些非事实的高置信度，从而产生幻觉。

Comments ICML 2026

MineDraft: A Framework for Batch Parallel Speculative Decoding

MineDraft: 批量并行推测解码框架

Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究院） ； Toyota Motor Corporation（丰田公司） 纠错

AI总结 提出MineDraft框架，通过批量并行设计将草稿生成与验证阶段重叠，显著提升推测解码的吞吐量和端到端延迟。

Comments Accepted at ICML 2026

A Hypertoroidal Covering for Perfect Color Equivariance

完美颜色等变的超环面覆盖

Yulong Yang, Zhikun Xu, Yaojun Li, Christine Allen-Blanchette

AI总结 提出一种通过将区间值提升到圆上的双覆盖来构建真正等变的颜色等变架构，解决了先前方法中近似饱和度和亮度为1D平移带来的伪影问题，在细粒度分类和医学成像等任务上提升了性能。

Comments Accept to the 43rd International Conference on Machine Learning (ICML 2026)

DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs

DAPD: 面向扩散LLM的基于注意力的依赖感知并行解码

Bumjun Kim, Dongjae Jeon, Moongyu Jeon, Albert No

机构 * KAIST（韩国科学技术院） 纠错

AI总结 提出一种无需训练的并行解码方法DAPD，利用自注意力构建掩码标记的依赖图，通过选择独立集并行解码，避免强耦合标记同时更新，提升了扩散LLM的精度-步数权衡。

Comments Accepted at ICML 2026

On Information Self-Locking in Reinforcement Learning for Active Reasoning of LLM agents

强化学习中信息自锁现象及其在LLM智能体主动推理中的应用

Deyu Zou, Yongqiang Chen, Fan Feng, Mufei Li, Pan Li, Yu Gong, James Cheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对LLM智能体在主动推理中因强化学习导致的信息自锁问题，提出基于优势重加权的方法AREW，通过方向性批评重新分配轨迹信用，显著提升智能体性能。

Comments Accepted by ICML 2026

Training-Free Coverless Multi-Image Steganography with Access Control

免训练的无载体多图像隐写术与访问控制

Minyeol Bae, Si-Hyeon Lee

机构 * Department of Computer Science, Seoul National University（首尔国立大学计算机科学系） 纠错

AI总结 提出MIDAS框架，通过潜在级融合实现免训练的多图像隐写与用户特定访问控制，引入随机基机制抑制残差结构信息，并理论分析信息泄露。

Comments Accepted (Poster) at ICML 2026

DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention

DyLLM: 基于显著性标记选择与部分注意力的高效扩散LLM推理

Younjoo Lee, Seungkyun Dan, Junghoo Lee, Jaiyoung Park, Jung Ho Ahn

机构 * University of Seoul（首尔大学） 纠错

AI总结 针对扩散语言模型迭代去噪计算昂贵的问题，提出DyLLM框架，通过仅计算显著标记的注意力与前馈操作，实现无需训练的加速推理，在保持精度的同时吞吐量提升高达9.6倍。

Comments 21 pages, 10 figures, 7 tables, accepted at ICML 2026

SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning

SmartThinker: 渐进式思维链长度校准以实现高效的大语言模型推理

Chenzhi Hu, Qinzhe Hu, Yuhang Xu, Junyi Chen, Ruijie Wang, Shengzhong Liu, Jianxin Li, Fan Wu, Guihai Chen

机构 * Tsinghua University（清华大学） 纠错

AI总结 针对大型推理模型输出冗余问题，提出基于GRPO的渐进式CoT长度校准方法SmartThinker，通过动态估计最优长度和调节长度奖励系数，在压缩响应长度同时提升准确率。

Comments Accepted by ICML 2026, 18 pages, 13 figures

Vision Language Models Cannot Reason About Physical Transformation

视觉语言模型无法推理物理变换

Dezhi Luo, Yijiang Li, Maijunxian Wang, Tianwei Zhao, Bingyang Wang, Siheng Wang, Pinyuan Feng, Pooyan Rahmanzadehgervi, Ziqiao Ma, Hokin Deng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文通过构建ConservationBench基准，评估112个视觉语言模型在物理守恒任务上的表现，发现模型在动态场景中无法维持物理属性的变换不变性。

Comments Accepted by ICML 2026

WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching

WorldCache: 通过异构令牌缓存免费加速世界模型

Weilun Feng, Guoxin Fan, Haotong Qin, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Dingrui Wang, Longlong Liao, Michele Magno, Yongjun Xu, Chuanguang Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对扩散世界模型中令牌异质性和非均匀时间动态导致的推理慢问题，提出基于曲率引导的异构令牌预测和混沌优先自适应跳过的缓存框架WorldCache，实现高达3.7倍加速并保持98%的推出质量。

Comments Accepted by ICML 2026

One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Reward Models

一个接一个的偏差：语言奖励模型中的机械奖励塑造与持续偏差

Daniel Fein, Max Lamparth, Violet Xiang, Mykel J. Kochenderfer, Nick Haber

机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过系统测量五个高质量奖励模型中的偏差，发现长度、谄媚、过度自信等持续问题，并提出一种简单的后处理干预方法（机械奖励塑造）来减轻低复杂度偏差。

Comments ICML 2026 Camera-ready

Concept Heterogeneity-aware Representation Steering

概念异质性感知表示引导

Laziz U. Abdullaev, Noelle Y. L. Wong, Ryan T. Z. Lee, Shiqi Jiang, Khoi N. M. Nguyen, Tan M. Nguyen

AI总结 针对大语言模型表示非均匀导致全局引导脆弱的问题，提出基于最优传输的输入依赖引导方法CHaRS，通过高斯混合模型和离散最优传输实现更有效的行为控制。

Journal ref ICML 2026

Constitutional Black-Box Monitoring for Scheming in LLM Agents

LLM Agent 中阴谋行为的宪法黑盒监控

Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 研究使用基于宪法黑盒的监控器，通过仅观察外部输入和输出检测LLM Agent的阴谋行为，并在合成数据上优化后泛化到更真实环境。

Comments Accepted at ICML 2026. Camera-ready version

You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models

你不需要所有注意力：文本到图像扩散模型中的外科记忆缓解

Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

AI总结 提出GUARD框架，通过吸引-排斥动力学调整去噪过程，结合交叉注意力衰减机制，在不损害图像质量的前提下有效缓解文本到图像扩散模型中的记忆问题。

Comments Accepted at ICML 2026

LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

LK损失：用于推测解码的直接接受率优化

Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

AI总结 针对推测解码中标准KL散度训练不能最大化接受率的问题，提出LK损失直接优化接受率，实验表明在多种架构和模型上一致提升接受指标。

Comments ICML 2026

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

SWE-rebench V2: 大规模语言无关的SWE任务集合

Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Alexander Golubev

AI总结 提出语言无关的自动化流水线SWE-rebench V2，用于大规模收集可执行的软件工程任务并构建RL训练环境，产出涵盖20种语言、3617个仓库的32079个任务数据集。

Comments ICML 2026

Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models

微调不忘上下文学习：线性注意力模型的理论分析

Chungpa Lee, Jy-yong Sohn, Kangwook Lee

机构 * KAIST（韩国科学技术院） 纠错

AI总结 本文通过线性注意力模型理论分析，揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件，提出仅更新值矩阵可保持上下文学习能力。

Journal ref International Conference on Machine Learning (ICML) 2026

LLM4Cov: Execution-Aware Agentic Learning for High-coverage Testbench Generation

LLM4Cov：面向高覆盖率测试生成的执行感知智能体学习

Hejia Zhang, Zhongming Yu, Chia-Tung Ho, Haoxing Ren, Brucek Khailany, Jishen Zhao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出LLM4Cov离线智能体学习框架，通过执行验证数据策展、策略感知数据合成和最差状态优先采样，在硬件验证中实现高覆盖率测试生成，4B参数模型在CVDP-ECov上达到69.2%通过率和90.4%平均覆盖率。

Comments ICML'26 Camera Ready version