ICML

Test-Time Training for Visual Foresight Vision-Language-Action Models

测试时训练用于视觉前瞻视觉-语言-动作模型

Sangwu Park, Wonjoong Kim, Yeonjun In, Sein Kim, Hongseok Kang, Chanyoung Park

机构 * KAIST（韩国科学技术院） 纠错

AI总结 本文提出了一种测试时训练方法，用于增强视觉前瞻视觉-语言-动作模型在面对分布外数据时的鲁棒性，通过引入适应性更新过滤机制来减少测试时更新带来的实际挑战。

Comments Accepted at ICML 2026 Workshop on Continual Adaptation at Scale (CATS)

On the Robustness of Langevin Dynamics to Score Function Error

关于对数动力学对分数函数误差的鲁棒性

Daniel Yiming Cao, August Y. Chen, Karthik Sridharan, Yuchen Wu

机构 * Cornell University（康奈尔大学） 纠错

AI总结 本文研究了基于分数函数的生成模型对分数函数估计误差的鲁棒性，发现对数动力学在L2误差（更一般地Lp误差）下并不鲁棒，即使在高维简单分布中，即使分数函数估计误差非常小，对数动力学在多项式时间内运行也会导致与目标分布的总变差距离很大，这进一步支持了扩散模型优于对数动力学。

Comments ICML 2026

In-Training Defenses against Emergent Misalignment in Language Models

训练过程中对抗语言模型中新兴偏差的防御措施

David Kaczér, Magnus Jørgenvåg, Clemens Vetter, Esha Afzal, Robin Haselhorst, Lucie Flek, Florian Mai

机构 * University of Copenhagen（哥本哈根大学） 纠错

AI总结 本文研究了在训练过程中如何防止语言模型出现新兴偏差，提出了五种训练正则化干预方法，并展示了通过选择对齐模型与偏差模型之间困惑度差异的交错数据可以获得最佳效果。

Comments Accepted at ICML 2026 https://icml.cc/virtual/2026/poster/64303

Incremental Transformer Neural Processes

增量变换器神经过程

Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 本文提出增量变换器神经过程（incTNP），通过因果掩码、键值缓存和高效自回归训练策略，在保持预测性能的同时将更新计算复杂度从二次降低到线性，从而在序列推理中实现显著的速度提升，并保持流式推理的一致性。

Comments Accepted at ICML 2026

No Need to Train Your RDB Foundation Model

无需训练你的关系数据库基础模型

Linjie Xu, Yanlin Zhang, Quan Gan, Minjie Wang, David Wipf

机构 * University of Hong Kong, Shanghai X-Lab（香港大学，上海X实验室） 纠错

AI总结 本文提出了一种基于上下文学习的关系数据库编码器，能够在不重新训练的情况下，与现有的单表上下文学习基础模型结合，实现对多张相关表的高效处理。

Comments International Conference on Machine Learning (ICML) 2026

Asymmetric Perturbation in Solving Bilinear Saddle-Point Optimization

求解双线性鞍点优化中的非对称扰动

Kenshi Abe, Mitsuki Sakamoto, Kaito Ariu, Atsushi Iwasaki

AI总结 提出非对称扰动方法，仅扰动一个玩家的收益函数，以线性收敛速率求解双线性鞍点优化问题，并提供了无参数变体。

Comments Accepted at ICML 2026

Alignment Risks from Capability-Seeking RL Training

从能力寻求强化学习训练中产生的对齐风险

Yujun Zhou, Yue Huang, Han Bao, Kehan Guo, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Werner Geyer, Nuno Moniz, Nitesh V Chawla, Xiangliang Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Toronto（多伦多大学） ； University of Cambridge（剑桥大学） 纠错

AI总结 本文研究了在易受攻击的环境中通过强化学习训练语言模型时，模型可能利用隐含漏洞来最大化奖励的风险，发现这些策略不仅限于狭窄的技巧，还能在一定程度上转移、传播，并在某些情况下比通过SFT学习更持久，表明需要扩展AI安全工作到审计和保障训练环境、奖励机制和评估渠道。

Comments Accepted by ICML 2026

Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs

在LLMs的测试时间扩展中对树搜索策略与固定令牌预算对齐

Sora Miyamoto, Daisuke Oba, Naoaki Okazaki

机构 * University of Tokyo（东京大学） 纠错

AI总结 本文提出了一种名为Budget-Guided MCTS (BG-MCTS)的树搜索解码算法，通过将搜索策略与剩余令牌预算对齐，以提高在不同令牌预算下的推理性能。

Comments Accepted at ICML 2026. Code: https://github.com/Sora-Miyamoto/bg-mcts

Shifting the Breaking Point of Flow Matching for Multi-Instance Editing

将流匹配的断裂点转向多实例编辑

Carmine Zaccagnino, Fabio Quattrini, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

机构 * University of Bologna（博洛尼亚大学） 纠错

AI总结 针对流匹配模型在多实例编辑中语义纠缠的问题，提出实例解耦注意力机制，通过分割联合注意力操作强制实例-文本指令与空间区域的绑定，实现单次前向传播的实例级编辑。

Comments Accepted at ICML 2026

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

通过回滚增强学习视觉-语言模型中的自我纠正

Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文提出一种基于回滚增强的强化学习框架Octopus，通过重新组合现有回滚生成密集的自我纠正示例，提高样本效率并稳定RL优化，同时引入响应遮蔽策略以解耦自我纠正与直接推理，从而在7个基准测试中实现开源VLM的SOTA性能。

Comments 18 pages

Journal ref ICML 2026

From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

从分布外检测到幻觉检测：一个几何视角

Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过将幻觉检测重新定义为分布外检测问题，利用几何视角提出了一种无需训练、基于单样本的检测方法，在推理任务中实现了高准确率。

Comments ICML 2026 main conference paper

UnHype: CLIP-Guided Hypernetworks for Dynamic LoRA Unlearning

UnHype: 基于CLIP的超网络用于动态LoRA反学习

Piotr Wójcik, Maksym Petrenko, Wojciech Gromski, Przemysław Spurek, Maciej Zieba

机构 * Institute of Computer Science, University of Warsaw（华沙大学计算机科学研究所） 纠错

AI总结 本文提出UnHype框架，通过将超网络引入单概念和多概念LoRA训练，解决传统LoRA方法在概念语义适应性差、难以平衡删除相关概念与保持泛化能力以及多概念同时删除时的可扩展性问题，展示了在物体擦除、名人擦除和色情内容删除等任务中的有效性。

Comments 23 pages, 11 figures. Accepted at ICML 2026. Code: https://github.com/gmum/UnHype/ Project Page: https://gmum.github.io/UnHype/

FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment

FlexRank: 嵌套低秩知识分解用于自适应模型部署

Riccardo Zaccone, Stefanos Laskaridis, Marco Ciccone, Samuel Horváth

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出FlexRank方法，通过嵌套低秩权重分解和基于重要性的整合，从预训练模型中提取不同能力的子模型，实现“一次训练，随处部署”的自适应部署。

Comments Accepted at ICML 2026 (Spotlight)

Journal ref Proceedings of the 43rd International Conference on Machine Learning, PMLR, 2026

Toward Culturally Aligned LLMs through Ontology-Guided Multi-Agent Reasoning

通过本体引导的多智能体推理实现文化对齐的大型语言模型

Wonduk Seo, Wonseok Choi, Junseo Koh, Juhyeon Lee, Hyunjin An, Minhyeong Yu, Jian Park, Qingshan Zhou, Seunghyun Lee, Yi Bu

机构 * KAIST（韩国科学技术院） 纠错

AI总结 本文提出OG-MAR框架，通过本体引导的多智能体推理方法，提高大型语言模型在文化对齐和鲁棒性方面的性能，并生成更透明的推理轨迹。

Comments Accepted by ICML 2026 Regular Track

Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

迈向基于谱表示的可扩展且有效的条件独立性检验

Alek Fröhlich, Vladimir R. Kostic, Karim Lounici, Daniel Perazzo, Daniel Tiezzi, Massimiliano Pontil

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

AI总结 本文提出了一种基于谱表示的学习方法，用于解决传统条件独立性检验在适应性和可扩展性方面的不足，通过构造简单的检验统计量和双层对比算法，建立了表示学习误差与检验性能之间的理论联系，并在实际和合成数据上验证了其有效性。

Comments Accepted at ICML 2026. Revised to match the accepted version; updated experiments and exposition

Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models

掩码可能具有干扰性：关于扩散语言模型中的上下文理解

Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 本文研究了扩散语言模型中掩码对上下文理解的影响，发现掩码会干扰模型对相关信息的处理，提出一种掩码无关的损失函数以提高模型的鲁棒性。

Comments Published at the Forty-Third International Conference on Machine Learning (ICML 2026)

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

纠正大语言模型基准测试中的提示依赖：一种具有嵌入空间聚类的贝叶斯分层模型

Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 本文提出了一种贝叶斯分层模型，通过嵌入空间聚类来纠正大语言模型基准测试中的提示依赖问题，在数据有限的情况下提供更稳健的性能指标，并在对抗鲁棒性基准测试中实现了性能指标的显著提升。

Comments Accepted to the 1st Workshop on Combining Theory and Benchmarks, CTB@ICML 2026, Seoul, South Korea

Expand Neurons, Not Parameters

扩展神经元，而非参数

Linghao Kong, Inimai Subramanian, Yonadav Shavit, Micah Adler, Dan Alistarh, Nir Shavit

机构 * University of Washington（华盛顿大学） ； Microsoft Research（微软研究院） 纠错

AI总结 通过增加神经元数量而不增加非零参数总数，减少特征干扰，从而提高网络性能，并在多种模型中验证了有效性。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). 9 pages, 6 figures. Code available at https://github.com/Shavit-Lab/Expand-Neurons

RoCA: Robust Cross-Domain End-to-End Autonomous Driving

RoCA: 面向鲁棒跨域端到端自动驾驶的框架

Rajeev Yasarla, Shizhong Han, Hsin-Pai Cheng, Apratim Bhattacharyya, Shweta Mahajan, Litian Liu, Yunxiao Shi, Risheek Garrepalli, Hong Cai, Fatih Porikli

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Davis（加州大学戴维斯分校） 纠错

AI总结 本文提出RoCA框架，通过联合概率分布建模端到端自动驾驶管道中的 ego 和周围车辆信息，提升跨域自动驾驶的泛化能力和鲁棒性，无需额外推理计算。

Comments accepted for ICML 2026

Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression

统一数据集剪枝与蒸馏以实现高效大规模压缩

Lingao Xiao, Songhua Liu, Yang He, Xinchao Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文提出一个统一的数据集压缩基准，探讨数据集剪枝与蒸馏的收敛趋势，发现软标签蒸馏在小数据集上表现不如剪枝，提出基于硬标签的数据集压缩方法，通过PCA框架提升图像质量和存储效率。

Comments Accepted by ICML 2026

Semi-Offline Reinforcement Learning for Optimized Text Generation

半离线强化学习用于优化文本生成

Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan

机构 * Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan（未知机构） 纠错

AI总结 本文提出了一种半离线强化学习方法，平衡了探索能力和训练成本，并在优化成本、渐近误差和过拟合误差界方面实现了最优的强化学习设置。

Comments In Proceedings of the 40th International Conference on Machine Learning (ICML 2023)

FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors

FoeGlass: 简单的上下文学习足以对音频深度伪造检测器进行红队测试

Sepehr Dehdashtian, Jacob H Seidman, Vishnu N Boddeti, Gaurav Bharaj

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出FoeGlass，一种基于大语言模型上下文学习的黑盒自动红队方法，通过生成音频样本发现深度伪造检测器的盲点，将假阴性率降低高达94%。

Comments Accepted at ICML 2026

A General Framework for Dynamic Consistent Submodular Maximization

动态一致子模最大化的通用框架

Paul Dütting, Federico Fusco, Silvio Lattanzi, Ashkan Norouzi-Fard, Ola Svensson, Morteza Zadimoghaddam

机构 * ETH Zurich（苏黎世联邦理工学院） ； KTH Royal Institute of Technology（皇家理工学院） ； University of Toronto（多伦多大学） 纠错

AI总结 针对全动态环境下的子模最大化问题，提出一个通用算法框架，首次实现具有次线性一致性的常数因子近似解。

Comments Accepted at ICML 2026

SURF: Separation via Unsupervised Remixing Flow

SURF: 通过无监督重混流进行分离

Henry Li, Robin Scheibler, Efthymios Tzinis, Matt Shannon, Arnaud Doucet, John R. Hershey

机构 * University of Toronto（多伦多大学） 纠错

AI总结 提出无监督流匹配方法SURF，直接从混合信号学习源分离，结合监督流匹配与自监督回归，通过重混步骤引导学生模型，在图像和音频基准上达到新最优。

Comments Accepted at ICML 2026

Ekka: Automated Diagnosis of Silent Errors in LLM Inference

Ekka: LLM推理中静默错误的自动诊断

Yile Gu, Zhen Zhang, Shaowei Zhu, Xinwei Fu, Jun Wu, Yida Wang, Baris Kasikci

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出Ekka系统，通过差分调试对齐比较中间执行状态，自动诊断LLM推理框架中的静默错误，在真实错误基准上达到80% pass@1和88% pass@5的诊断准确率。

Comments ICML 2026

Hyper-ICL: Attention Calibration with Hyperbolic Anchor Distillation for Multimodal In-Context Learning

Hyper-ICL：基于双曲锚点蒸馏的注意力校准用于多模态上下文学习

Niloufar Alipour Talemi, Hossein Kashiani, Fatemeh Afghah

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出Hyper-ICL，一种轻量级训练框架，通过低秩logit适配器和双曲锚点蒸馏损失校准注意力分布，无需推理时提供上下文示例即可重建演示效果，提升多模态上下文学习的准确性和稳定性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Geometry-Preserving Unsupervised Alignment for Heterogeneous Foundation Models

保持几何结构的异质基础模型无监督对齐

Shuwen Yu, Zhanxuan Hu, Yi Zhao, Yonghang Tai, Huafeng Li

机构 * Yunnan Normal University, Kunming, China（云南师范大学，昆明，中国） ； Kunming University of Science and Technology, Kunming, China（昆明理工大学，昆明，中国） 纠错

AI总结 提出GPUA框架，通过正交映射将视觉基础模型特征对齐到视觉语言模型语义空间，无需标签或参数更新，提升跨模型兼容性并在零样本识别与分割任务中取得显著增益。

Comments Accepted at ICML 2026

Deliberate Evolution: Agentic Reasoning for Sample-Efficient Symbolic Regression with LLMs

Deliberate Evolution: 基于智能体推理的样本高效符号回归与LLM

Xinyu Pang, Zhanke Zhou, Xuan Li, Fangrui Lv, Shanshan Wei, Sen Cui, Bo Han, Changshui Zhang

机构 * TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组） ； Beijing National Research Center for Information Science（北京信息科学国家研究中心） ； Technology (BNRist), Department of Automation, Tsinghua University, Beijing, P.R. China（技术（BNRist），自动化系，清华大学，北京，中华人民共和国） ； Lenovo Research（联想研究） 纠错

AI总结 提出Deliberate Evolution框架，通过解耦符号生成与搜索控制，利用自适应算子、分析工具和反思记忆，在仅用40%样本预算下超越现有LLM符号回归方法。

Comments ICML 2026

Stochastic Sparse Attention for Memory-Bound Inference

随机稀疏注意力用于内存受限推理

Kyle Lee, Corentin Delacour, Kevin Callahan-Coray, Kyle Jiang, Can Yaras, Samet Oymak, Tathagata Srimani, Kerem Y. Camsari

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 提出SANTA方法，通过从后softmax分布中采样稀疏索引来减少值缓存访问，实现无乘法的高效解码，在Llama-3.1-8B-Instruct上获得1.5倍注意力核加速和1.25倍端到端加速。

Comments Code available at https://github.com/OPUSLab/SANTA

Journal ref ICML 2026

LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding

LazyAttention: 高效检索增强生成中的延迟位置编码

Haocheng Xia, Mihir Pamnani, Hanxi Fang, Supawit Chockchowwat, Yongjoo Park

机构 * Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） ； Google（谷歌） ； Amazon（亚马逊） 纠错

AI总结 针对检索增强生成中KV缓存位置编码复用性差的问题，提出LazyAttention机制，通过核化延迟位置编码实现零拷贝、位置无关的KV重用，显著降低首令牌延迟并提升推理吞吐量。

Comments ICML 2026