ICML

Old Habits Die Hard: How Conversational History Geometrically Traps LLMs

旧习惯难改：对话历史如何几何学地困住大语言模型

Adi Simhi, Fazl Barez, Martin Tutek, Yonatan Belinkov, Shay B. Cohen

机构 * Technion - Israel Institute of Technology（技术ion-以色列理工学院） ； University of Oxford（牛津大学） ； University of Zagreb, FER（Zagreb大学，FER） ； Kempner Institute, Harvard University（Kempner研究所，哈佛大学） ； University of Edinburgh（爱丁堡大学） 纠错

AI总结 研究探讨对话历史如何通过几何陷阱影响大语言模型的后续表现，提出History-Echoes框架从概率和几何两个角度分析对话历史偏差，并揭示行为持续性在潜在空间中的几何陷阱。

Comments Accepted to ICML 2026

Embodied Task Planning via Graph-Informed Action Generation with Large Language Models

通过大型语言模型的图引导动作生成进行具身任务规划

Xiang Li, Ning Yan, Masood Mortazavi

机构 * Purdue University（普渡大学） ； Futurewei Technologies（未来科技） 纠错

AI总结 本文提出GiG框架，通过图神经网络编码环境状态并构建动作连接执行轨迹图，结合有限前瞻性模块提升具身代理的规划能力，在三个具身规划基准测试中取得显著性能提升。

Comments Accepted by ICML 2026

Forget-It-All: Multi-Concept Machine Unlearning via Concept-Aware Neuron Masking

Forget-It-All: 通过概念感知神经元掩码实现多概念机器去学习

Kaiyuan Deng, Bo Hui, Gen Li, Jie Ji, Minghai Qin, Geng Yuan, Xiaolong Ma

机构 * The University of Arizona（亚利桑那大学） ； The University of Tulsa（塔尔萨大学） ； Clemson University（克莱姆森大学） ； Western Digital Corporation（西部数据公司） ； University of Georgia（佐治亚大学） 纠错

AI总结 该研究提出Forget-It-All框架，通过利用模型稀疏性，解决多概念去学习问题，有效提升去学习效果并保持生成质量。

Comments Accepted to ICML 2026

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

TPV: Parameter Perturbations Through the Lens of Test Prediction Variance

TPV：通过测试预测方差的透镜进行参数扰动分析

Devansh Arpit

机构 * Modelable AI（可建模人工智能） 纠错

AI总结 本文引入测试预测方差（TPV）作为分析训练后鲁棒性的统一框架，通过研究参数扰动对模型输出的一阶敏感性，揭示了SGD噪声、标签噪声、量化和剪枝等机制的统一视角，并提出了基于TPV的剪枝准则和模型选择方法。

Comments ICML 2026

Sparse Autoencoders are Topic Models

稀疏自编码器是主题模型

Leander Girrbach, Zeynep Akata

机构 * Technical University of Munich (TUM), Munich Center for Machine Learning (MCML), Helmholtz Munich（慕尼黑技术大学（TUM）、慕尼黑机器学习中心（MCML）、海德堡-慕尼黑研究所） 纠错

AI总结 本文提出将稀疏自编码器（SAEs）视为主题模型的新视角，通过构建连续主题模型（CTM）来解释嵌入空间，并推导出SAE的目标作为最大后验估计器，从而揭示SAE特征是主题性组件而非可调节方向。

Comments ICML 2026

Toward Robust Multilingual Adaptation of LLMs for Low-Resource Languages

迈向低资源语言LLM鲁棒多语言适应

Haolin Li, Haipeng Zhang, Mang Li, Yaohua Wang, Lijie Wen, Yu Zhang, Biqing Huang

机构 * Department of Automation, Tsinghua University, Beijing, China（清华大学自动化系） ； Alibaba International Digital Commerce Group, Beijing, China（阿里巴巴国际数字 commerce 集团） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院） 纠错

AI总结 本文提出LiRA框架，通过轻量级微调实现低资源语言LLM的鲁棒多语言适应，结合Arca和LaSR组件提升跨语言语义一致性与表示稳定性。

Comments Accepted by ICML 2026

CooT: Learning to Coordinate In-Context with Coordination Transformers

CooT: 通过协调转换器学习协调上下文

Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun

机构 * Graduate Institute of Communication Engineering, National Taiwan University (NTU)（国立台湾大学通信工程研究所） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立台湾大学人工智能研究中心） ； University of Utah（犹他大学） 纠错

AI总结 本研究提出CooT框架，通过上下文学习实现实时合作伙伴适应，解决了多智能体系统中协调不熟悉合作伙伴的挑战，其核心方法是通过观察学习对齐动作与合作伙伴意图，主要贡献是实现了在多样合作伙伴行为下的泛化能力。

Comments ICML 2026

Mirror Mean-Field Langevin Dynamics

镜像均场 Langevin 动力学

Anming Gu, Juno Kim

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UC Berkeley（伯克利大学） 纠错

AI总结 本文提出镜像均场 Langevin 动力学（MMFLD），用于优化受限在 $\mathbb{R}^d$ 子集上的概率测度，并通过统一的对数 Sobolev 不等式获得连续 MMFLD 的线性收敛性保证，以及其时间-粒子离散化版本的统一时间传播混沌结果。

Comments ICML 2026

What is the long-run distribution of stochastic gradient descent? A large deviations analysis

小批量梯度下降的长期分布是什么？一种大偏差分析

Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

机构 * Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，法国国家信息与自动化技术研究院，格勒诺布尔理工大学，LJK研究所） ； Institut de Mathématiques de Toulouse, Université de Toulouse, CNRS, UPS（图卢兹数学研究所，图卢兹大学，法国国家科学研究中心，普罗旺斯大学） 纠错

AI总结 本文研究了在一般非凸问题中随机梯度下降（SGD）的长期分布。通过基于大偏差理论和随机扰动动力系统的方法，作者发现SGD的长期分布类似于热力学平衡态的玻尔兹曼-盖布斯分布，其中温度等于方法的步长大小，能量水平由问题的目标函数和噪声统计决定。研究还发现，在长期中，(a)问题的临界区域比任何非临界区域被访问的次数指数级更多；(b)SGD的迭代结果在问题的最低能量状态上指数级集中（该状态不总是对应于目标函数的全局最小值）；(c)所有其他临界点的连通分量被访问的频率与它们的能量水平呈指数比例关系；最后，(d)任何局部极大值或鞍点的连通分量都被局部最小值的连通分量所主导，后者被访问的次数指数级更多。

Comments 71 pages, 3 figures; presented in ICML 2024

Position: Age Estimation Models Do Not Process Biometric Data

位置：年龄估计模型不处理生物特征数据

Nikita Marshalkin

机构 * Sumsub GmbH, Berlin, Germany（Sumsub公司，柏林，德国） 纠错

AI总结 本文研究了年龄估计模型是否处理生物特征数据，通过实验表明这些模型无法达到身份识别阈值，因此不涉及身份识别，呼吁研究者和监管机构提高透明度。

Comments 11 pages, 3 figures, 3 tables. Accepted as a position paper at the 43rd International Conference on Machine Learning (ICML 2026)

Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

传递性与循环性：动态大语言模型对齐的显式偏好分解

Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳校区） 纠错

AI总结 本文提出Hybrid Reward-Cyclic模型，通过博弈论分解显式分离传递性和循环性偏好，结合动态自我博弈优化方法提升大语言模型对齐效果，实验证明其在混合传递-循环设置中具有结构优势和更高的准确率。

Comments Accepted by ICML 2026

Beyond Detection: A Structure-Aware Framework for Scene Text Tracking

超越检测：一种结构感知的场景文本跟踪框架

Chenmin Yu, Liu Yu, Daiqing Wu, Gengluo Li, Zeyu Chen, Yu Zhou

机构 * VCIP \& TMCC \& DISSec, College of Computer Science \& College of Cryptology ； Cyber Science, Nankai University ； Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 纠错

AI总结 本文提出了一种结构感知的场景文本跟踪框架SymTrack，针对场景文本跟踪中的几何失真、视觉模糊和结构细节敏感性等挑战，通过双分支设计和自适应推理引擎实现了高效的文本跟踪，提升了视频文本处理的能力。

Comments Accepted at ICML 2026. Code is available at: [https://github.com/EdisonYCM/SymTrack]

Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems

超越模型准备：公共系统中人工智能部署的机构准备

Erika Fille Legara, Elmo Domino Jose, Paula Joy Martinez

AI总结 本文提出了一种评估公共系统中人工智能部署准备性的框架，重点在于机构层面的准备而非模型本身，通过两个实际案例展示了机构准备不足导致部署受阻的问题。

Comments 9 pages, 2 figures, 2 tables. Accepted at the 2nd Workshop on Technical AI Governance Research (TAIGR) at ICML 2026, Seoul, South Korea

The Geometry of Projection Heads: Conditioning, Invariance, and Collapse

投影头的几何学：条件性、不变性与坍缩

Faris Chaudhry

机构 * Department of Computing, Imperial College London, United Kingdom（伦敦帝国学院计算机系，英国） 纠错

AI总结 本文提出了一种投影头的几何理论，通过将投影头建模为可训练的黎曼度量来研究自监督学习中的条件性、不变性和坍缩问题，揭示了投影头在不同深度下的适应能力和稳定性。

Comments Accepted at ICML 2026. 29 pages, 8 figures, 7 tables

New Wide-Net-Casting Jailbreak Attacks Risk Large Models

针对大模型的新型宽网投射劫持攻击风险

Qiuchi Xiang, Haoxuan Qu, Hossein Rahmani, Jun Liu

机构 * Lancaster University（兰卡斯特大学） 纠错

AI总结 本文提出了一种新的宽网投射劫持攻击场景，分析了在攻击者可以查询多个大模型而非单个模型时所暴露的安全风险，并开发了一种针对该场景的新型劫持方法，展示了其在无额外保护措施时高达100%的成功率。

Comments Accepted at ICML 2026; project page at https://zzlz233.github.io/Wide-net-casting/

Differentiable Optimization Layers for Guaranteed Fairness in Deep Learning

可微优化层用于深度学习中的保证公平性

David Troxell, Noah Roemer, Guido Montúfar

机构 * Department of Statistics \& Data Science, University of California, Los Angeles, USA ； Department of Mathematics, University of California, Los Angeles, USA ； Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany 纠错

AI总结 本文提出了一种称为'公平性层'的可微优化层，该层可确保在神经网络中集成时满足所选的输出平等性概念，并介绍了一个在线对偶推理算法，为流式预测提供可证明的公平性保证，即使使用任意小的批量大小。

Comments To be published in International Conference on Machine Learning (ICML), 2026

Scientific Logicality Enriched Methodology for LLM Reasoning: A Practice in Physics

具有科学逻辑性的方法论：LLM推理的实践：物理学

Zhaoxin Yu, Nan Xu, Kun Chen, Jiahao Zhao, Lei Wang, Wenji Mao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； Beijing Wenge Technology Co., Ltd, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

AI总结 本文提出了一种增强科学逻辑性的方法论，旨在提升LLM在科学推理中的逻辑正确性与任务表现，通过物理学中的多样逻辑结构和形式化进行实践验证。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

D$^2$Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning

D$^2$Evo: 双重难度感知的自进化方法用于数据高效的强化学习

Ru Zhang, Renda Li, Ziyu Ma, Weijie Qiu, Chongyang Tao, Yong Wang, Xiangxiang Chu

机构 * Zhejiang University（浙江大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） 纠错

AI总结 本文提出D$^2$Evo方法，通过双重难度感知的自进化机制，解决强化学习中有效数据稀缺和动态难度变化的问题，从而在数学推理基准上以少于2K真实数学样本实现优于现有方法的性能。

Comments Accepted by ICML 2026. First two authors contributed equally

Generalizable and Actionable Parts Pose Estimation with Symmetry Annotation-Free Learning Strategy

具有对称标注自由学习策略的通用且可操作的部件姿态估计

Wenxiao Chen, Xueyu Yuan, Liu Liu, Di Wu, Dan Guo

机构 * Hefei University of Technology, Hefei, Anhui, China（合肥工业大学） ； University of Science and Technology of China, Hefei, Anhui, China（中国科学技术大学） 纠错

AI总结 本文提出了一种无需对称标注的通用且可操作的部件姿态估计框架SAFAG，通过分步细化两阶段框架和自监督学习策略解决对称预测问题，提升了在数据匮乏场景下的姿态估计性能和鲁棒性。

Comments Accepted as a poster at the Forty-third International Conference on Machine Learning (ICML 2026)

A Fourier perspective on the learning dynamics of neural networks: from sample complexities to mechanistic insights

从样本复杂性到机理洞察的神经网络学习动态的傅里叶视角

Fabiola Ricci, Claudia Merger, Sebastian Goldt

机构 * SISSA（国际理论物理中心） 纠错

AI总结 本文从傅里叶视角研究神经网络学习动态，揭示了自然图像的近似平移不变性和功率谱特性，展示了简单神经网络在图像分类任务中先依赖幅度信息再利用相位信息的学习过程，并证明了在高维输入下仅基于相位信息的分类任务的难度，以及功率谱如何加速相位信息学习。

Journal ref ICML 2026

SE-GA: Memory-Augmented Self-Evolution for GUI Agents

SE-GA：基于记忆的自进化GUI代理

Shilong Jin, Lanjun Wang, Zhuosheng Zhang

机构 * College of Intelligence and Computing, Tianjin University, Tianjin, China（天津大学智能与计算学院） ； School of New Media and Communication, Tianjin University, Tianjin, China（天津大学新媒体与传播学院） ； School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院） 纠错

AI总结 本文提出SE-GA框架，通过整合分层记忆结构和迭代自我改进机制，解决GUI代理在多步骤任务中因上下文窗口受限和静态策略无法适应动态环境的问题，实验表明其在多个基准测试中均达到领先性能。

Comments Accepted by ICML 2026

Reasoning Can Be Restored by Correcting a Few Decision Tokens

通过纠正少量决策标记来恢复推理能力

Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

AI总结 本文研究了基础模型在生成过程中推理优势的稀疏性，提出了一种基于分歧指导的标记干预方法，在少量干预下显著恢复甚至超越了同规模推理模型的性能。

Comments Accepted at ICML 2026

The Unlearnability Phenomenon in RLVR for Language Models

在语言模型中RLVR的不可学习现象

Yulin Chen, He He, Chen Zhao

机构 * New York University（纽约大学） 纠错

AI总结 本文研究了RLVR在提升大语言模型推理能力中的学习动态，发现即使存在正确回放，某些难例仍无法学习，揭示了当前RL方法在推理任务中的根本限制。

Comments Accepted to ICML 2026

Convex Dataset Valuation for Post-Training

训练后凸集估值

Siqi Zeng, Christopher Jung, Rui Li, Zhe Kang, Ming Li, Nima Noorshams, Zhigang Wang, Fuchun Peng, Han Zhao, Xue Feng

机构 * Department of Computer Science, University of Illinois Urbana-Chamapign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Meta, Menlo Park, CA, USA（Meta） 纠错

AI总结 本文研究了在训练后利用凸集估值选择辅助数据集以提升大语言模型性能，提出基于核均值匹配的凸集估值方法，有效解决数据冗余问题，实验表明其在低计算开销下表现优于现有方法。

Comments Published as a conference paper at ICML '26. 30 pages, 8 figures

UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models

UB-SMoE：面向资源自适应联邦微调的通用平衡稀疏专家混合模型

Van-Tuan Tran, Hong-Hanh Nguyen-Le, Marco Ruffini, Merim Dzaferagic

机构 * School of Computer Science and Statistics, Trinity College Dublin, Ireland（特里尼蒂学院都柏林分校计算机科学与统计学学院） ； School of Computer Science, University College Dublin, Ireland（都柏林大学学院计算机科学学院） 纠错

AI总结 本文提出UB-SMoE，通过动态调节路由和通用伪梯度解决异构联邦学习中专家利用率失衡和Top-K路由非可微问题，实现低资源客户端的计算节省与性能提升。

Comments ICML 2026

A Call to Lagrangian Action: Learning Population Mechanics from Temporal Snapshots

对拉格朗日作用的呼吁：从时间快照中学习群体动力学

Vincent Guan, Lazar Atanackovic, Kirill Neklyudov

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Broad Institute of MIT（MIT-哈佛Broad研究所） ； University of Alberta（阿尔伯塔大学） ； Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所） ； Mila - Quebec AI Institute（魁北克AI研究所） 纠错

AI总结 本文提出通过时间快照学习群体动力学的新方法，基于拉格朗日作用和韦瑟斯特拉格梯度流，提出WLM算法能预测和插值未见边际，并在多种动态中表现优异。

Comments Accepted at ICML 2026 (spotlight)

CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers

CoCoReviewBench：面向AI审稿人完整性和正确性的基准测试

Hexuan Deng, Xiaopeng Ke, Yichen Li, Ruina Hu, Dehao Huang, Derek F. Wong, Yue Wang, Xuebo Liu, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Zhongguancun Academy, Beijing, China（中关村学院） ； Faculty of Computing, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学计算机学院） ； Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学计算机科学与工程系） ； NLP²CT Lab, Department of Computer and Information Science, University of Macau, China（澳门大学自然语言处理实验室） 纠错

AI总结 本文提出CoCoReviewBench，通过构建领域特定的基准子集和专家注释，提升AI审稿人评估的完整性和正确性，分析显示AI审稿人仍存在正确性不足和幻觉问题，强调推理模型的优越性。

Comments Accepted by ICML 2026

Manifold-Aligned Guided Integrated Gradients for Reliable Feature Attribution

面向流形的引导集成梯度用于可靠特征归因

Soyeon Kim, Seongwoo Lim, Kyowoon Lee, Jaesik Choi

机构 * Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（金 Jaechul人工智能研究生院，韩国科学技术院（KAIST）） 纠错

AI总结 本文提出面向流形的引导集成梯度（MA-GIG），通过在预训练变分自编码器的潜在空间中构建归因路径，减少非流形区域噪声，提升特征归因的可靠性。

Comments 32 pages, 13 figures, 12 tables. Accepted to ICML 2026; includes appendix

GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry

GIST: 通过耦合优化几何进行指令微调的目标数据选择

Guanghui Min, Tianhao Huang, Ke Wan, Chen Chen

机构 * Department of Computer Science, University of Virginia, Charlottesville, USA（弗吉尼亚大学计算机科学系） 纠错

AI总结 本文提出GIST方法，通过子空间对齐替代轴对齐缩放，解决参数高效微调中参数耦合问题，实现更高效的目标数据选择。

Comments ICML 2026; 27 pages, 8 figures, 11 tables

Spherical Steering: Geometry-Aware Activation Rotation for Language Models

球面操控：面向语言模型的几何感知激活旋转

Zejia You, Chunyuan Deng, Hanjie Chen

机构 * Rice University（里士大学） ； Tufts University（塔夫茨大学） 纠错

AI总结 本文提出球面操控方法，通过激活旋转而非加法实现无训练的推理控制，有效避免隐藏状态幅度变化，提升模型在多项选择基准上的表现，同时保持开放生成能力。

Comments ICML 2026