ICML

The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity

注意力陷阱的结构起源：方差差异、超级神经元和维度不均等

Siquan Li, Kaiqi Jiang, Jiacheng Sun, Tianyang Hu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Huawei Foundation Model Department（华为基础模型部门） 纠错

AI总结 本文揭示了大语言模型中注意力陷阱现象的结构成因，通过分析自注意力机制中的方差差异和前馈网络中超级神经元的激活，证明了维度不均等导致注意力陷阱的形成，并提出head-wise RMSNorm架构改进以稳定值聚合。

Comments Accepted to ICML 2026

Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models

一层够吗？理解表格基础模型的推理动态

Amir Rezaei Balef, Mykhailo Koshil, Katharina Eggensperger

机构 * TU Dortmund University（杜伊斯堡-埃森大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所） ； University of Tübingen（图宾根大学） 纠错

AI总结 研究分析了表格基础模型的分层动态，揭示了推理过程中的不同阶段和潜在空间动态，设计了参数减少的单层模型以验证发现。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Second-Order Bilevel Optimization with Accelerated Convergence Rates

二阶双层优化与加速收敛率

Sheng Yang, Chengchang Liu, Lesi Chen, John C. S. Lui

AI总结 本文提出完全二阶双层近似方法FSBA，实现非凸强凸双层优化的加速收敛率，并引入懒惰变种LFSBA提升计算效率，同时应用于非凸强凹最小化最大优化，提出LMCN方法。

Comments This paper is accepted by ICML 26

Human-AI Co-Evolution and Epistemic Collapse: A Dynamical Systems Perspective

人类与人工智能的共演与知识崩溃：一种动态系统视角

Xuening Wu, Yanlan Kang, Qianya Xu, Kexuan Xie, Jiaqi Mi, Honggang Wang, Yubin Liu, Zeping Chen

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

AI总结 本文从动态系统视角探讨人类与语言模型的共演及知识崩溃问题，提出人类与模型形成反馈闭环的耦合系统，通过三变量模型揭示共进化增强、脆弱均衡和退化收敛三种动态模式。

Comments 5 pages, 3 figures, ICML EIML Workshop submitted

FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs

FAB：一种用于分布式双层优化的首次-order AB基梯度算法 over 时间变化有向图

Yaoshuai Ma, Xiao Wang, Wei Yao, Jin Zhang

AI总结 本文提出一种首次-order分布式梯度算法，结合Push-Pull通信策略和价值函数惩罚法，解决时间变化有向图上的分布式双层优化问题，并建立非渐近收敛性。

Comments Accepted at ICML 2026

Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval

重新审视不确定性：关于部分相关视频检索的证据学习

Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

AI总结 本文提出Holmes框架，通过多粒度跨模态证据聚合量化和建模不确定性，解决视频检索中因查询简短与视频内容丰富带来的语义模糊问题。

Comments Accepted by ICML 2026. 16 pages, 6 figures, 3 tables

Plug-and-Play Label Map Diffusion for Universal Goal-Oriented Navigation

即插即用标签地图扩散用于通用目标导向导航

Zhixuan Shen, Yijie Zeng, Shengxiang Luo, Tianrui Li, Haonan Luo

机构 * School of Computing and Artificial Intelligence（计算与人工智能学院） 纠错

AI总结 本文提出PLMD方法，通过扩散模型生成未知区域的障碍和语义标签，实现部分观测环境下的目标定位，同时提升导航策略的语义地图整合能力，实验表明其在三个目标导向导航任务中表现优异。

Comments 21 pages, 10 figures, Extended Version of accepted ICML 2026 Paper

CAMEL: Confidence-Gated Reflection for Reward Modeling

CAMEL：基于置信度的反思机制用于奖励建模

Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

机构 * National University of Singapore（新加坡国立大学） 纠错

AI总结 CAMEL通过置信度门控机制实现轻量级偏好决策，并选择性地对低置信度实例进行反思，采用反事实前缀增强的强化学习训练，提升了奖励建模的准确性和效率。

Comments ICML 2026

Multimodal Fact-Level Attribution for Verifiable Reasoning

多模态事实级归因用于可验证推理

David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出MuRGAt基准，用于评估多模态事实归因能力，要求模型在复杂推理中生成明确推理和精确引用，揭示强模型在正确推理下仍易产生幻觉，且增加推理深度或结构化归因会降低准确性。

Comments Accepted to ICML 2026. Code and data are available at https://github.com/meetdavidwan/murgat

Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation

对话式非验证学习：通过元评估自我进化的大型语言模型

Yuan Sui, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） 纠错

AI总结 本文提出CoNL框架，通过多智能体自我对弈实现生成、评估与元评估的统一，利用批评质量提升解决方案来改进模型，无需外部评委或真实标签。

Comments Accepted by ICML'26

AI Cap-and-Trade: Efficiency Incentives for Accessibility and Sustainability

AI配额交易：为可及性和可持续性提升效率激励

Marco Bornstein, Amrit Singh Bedi

机构 * Independent Researcher（独立研究者） ； University of Central Florida（佛罗里达中央大学） 纠错

AI总结 本文提出通过市场机制激励AI效率，减少排放并为学术界和中小企业创造机会，倡导实施AI配额交易制度。

Comments 22 pages, 2 figures. Accepted as a position paper at ICML 2026

KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls

KORE：通过知识导向控制增强大型多模态模型的知识注入

Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li

机构 * University of Science ； State Key Laboratory of General Artificial Intelligence, BIGAI ； Xiamen University ； Northeast Forestry University ； Beijing Institute of Technology ； Ludwig Maximilian University of Munich ； The University of Sydney ； C-FAIR\&school of software, Shandong University ； State Key Lab. for Novel Software Technology, Nanjing University, P.R. China 纠错

AI总结 KORE通过知识导向的增强和约束，提升大型多模态模型的知识注入能力，同时保留旧知识。方法利用协方差矩阵和投影初始化，有效减少灾难性遗忘。

Comments ICML 2026, Project Page: https://kore-lmm.github.io/

HEDP: A Hybrid Energy-Distance Prompt-based Framework for Domain Incremental Learning

HEDP：一种基于能量-距离提示的领域增量学习混合框架

Yu Feng, Zhen Tian, Haoran Luo, Xie Yu, Diancheng Cheng, Haoyue Zheng, Shuai Lyu, Ping Zong, Lianyuan Li, Xin Ge, Yifan Zhu

机构 * China Mobile Research Institute, China（中国移动研究院） ； Beihang University, China（北京航空航天大学） ； Beijing University of Posts and Telecommunications, China（北京邮电大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

AI总结 HEDP提出一种混合能量-距离提示框架，通过能量正则化损失和混合能量-距离加权机制提升领域分离性和适应性，在多个基准上实现2.57%的准确率提升，有效缓解灾难性遗忘。

Comments 13 pages, 6 figures, Accepted by ICML 2026

Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning

分解大型语言模型的基本能力：在多任务指令微调中缓解跨任务干扰

Bing Wang, Ximing Li, Changchun Li, Jinjin Chi, Gang Niu, Masashi Sugiyama

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering, Ministry of Education, Jilin University（吉林大学符号计算与知识工程重点实验室） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心） ； Graduate School of Frontier Sciences, University of Tokyo（东京大学前沿科学研究生院） 纠错

AI总结 本文通过实验揭示现有方法仍存在跨任务干扰问题，提出BADIT方法将LLM参数分解为正交的高奇异值LoRA专家，通过球形聚类保持正交性，实验证明其在多任务指令微调中优于现有方法。

Comments Accepted by ICML 2026. 25 pages, 13 figures. Code: https://github.com/wangbing1416/BADIT

Large Vision-Language Models Get Lost in Attention

大视觉-语言模型在注意力中迷失

Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

机构 * School of Cyberspace Security, Beijing University of Posts（信息安全学院，北京邮电大学） ； State Key Laboratory of Networking and Switching Technology, Beijing University of Posts（网络与交换技术国家重点实验室，北京邮电大学） ； School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts（计算机科学学院（国家试点软件工程学院），北京邮电大学） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（信息工程研究所，中国科学院北京研究院） 纠错

AI总结 研究揭示大视觉-语言模型中注意力与前馈网络的作用差异，提出基于信息论和几何的统一框架，发现注意力模块存在冗余问题。

Comments 25 pages, 10 figures. Accepted by ICML 2026

MUSE: Resolving Manifold Misalignment in Visual Tokenization via Topological Orthogonality

MUSE：通过拓扑正交性解决视觉标记化中的流形偏移

Panqi Yang, Haodong Jing, Jiahao Chao, Tingyan Xiang, Li Lin, Yao Hu, Yang Luo, Yongqiang Ma

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence,National Engineering Research Center of Visual Information and Applications,and Institute of Artificial Intelligence and Robotics, Xi'an Jiao Tong University（人机混合增强智能国家重点实验室、视觉信息与应用国家工程研究中心、人工智能与机器人研究院、西安交通大学） ； State Key Laboratory of Human-Machine Hybrid Augmented Intelligence,National Engineering Research Center of Visual Information（人机混合增强智能国家重点实验室、视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence（人工智能研究院） ； Robotics, Xi'an Jiao Tong University（机器人，西安交通大学） 纠错

AI总结 MUSE通过拓扑正交性解决视觉标记化中的流形偏移问题，实现高保真像素重建与语义抽象的平衡，提升生成质量和线性探测性能。

Comments 21 pages,Accepted by ICML 2026 main track

Position: agentic AI orchestration should be Bayes-consistent

位置：代理AI协调应具有贝叶斯一致性

Theodore Papamarkou, Pierre Alquier, Matthias Bauer, Wray Buntine, Andrew Davison, Gintare Karolina Dziugaite, Maurizio Filippone, Andrew Y. K. Foong, Vincent Fortuin, Dimitris Fouskakis, Jes Frellsen, Eyke Hüllermeier, Theofanis Karaletsos, Mohammad Emtiyaz Khan, Nikita Kotelevskii, Salem Lahlou, Yingzhen Li, Fang Liu, Clare Lyle, Thomas Möllenhoff, Konstantina Palla, Maxim Panov, Yusuf Sale, Kajetan Schweighofer, Artem Shelmanov, Siddharth Swaroop, Martin Trapp, Willem Waegeman, Andrew Gordon Wilson, Alexey Zaytsev

机构 * ESSEC Business School（ESSEC商学院） ； VinUniversity（文大学） ； Imperial College London（伦敦帝国理工学院） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Technical University of Denmark（丹麦技术大学） ； Pyramidal Inc.（Pyramidal公司） ； University of Notre Dame（诺特大学） ； Cognizant AI Lab（Cognizant人工智能实验室） ； University College London（伦敦大学学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； Ghent University（根特大学） ； New York University（纽约大学） 纠错

AI总结 本文探讨了在代理AI系统中，贝叶斯原则在协调层的应用，而非LLM参数，以提升决策一致性和协作效率。

Comments Accepted for publication at ICML 2026

STARE: Step-wise Temporal Alignment and Red-teaming Engine for Multi-modal Toxicity Attack

STARE：分步时间对齐与红队引擎用于多模态毒性攻击

Xutao Mao, Liangjie Zhao, Tao Liu, Xiang Zheng, Hongying Zan, Cong Wang

AI总结 STARE通过分步时间对齐和红队引擎，提升多模态毒性攻击的成功率，揭示优化诱导的相位对齐现象，为安全机制提供理论基础。

Comments ICML 2026

Caracal: Causal Architecture via Spectral Mixing

Caracal：通过频谱混合实现因果架构

Bingzheng Gan, Tianyi Zhang, Yusu Li, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

AI总结 Caracal通过频谱混合替代传统注意力机制，解决长序列建模中的计算和位置编码限制，提供高效可扩展的解决方案。

Comments Accepted by ICML 2026

Mitigating Error Accumulation in Continuous Navigation via Memory-Augmented Kalman Filtering

通过记忆增强的卡尔曼滤波缓解连续导航中的误差累积

Yin Tang, Jiawei Ma, Jinrui Zhang, Alex Jinpeng Wang, Deyu Zhang

机构 * Big Data Institute, Central South University, Changsha, China. Work done while working at CityUHK as a visiting scholar. ； Department of Computer Science \& Institute of Digital Medicine, City University of Hong Kong, Hong Kong, China ； School of Computer Science, Central South University, Changsha, China 纠错

AI总结 本文提出NeuroKalman框架，通过先验预测和似然校正过程缓解连续导航中的状态漂移问题，实验表明其在TravelUAV基准上表现优异。

Comments ICML 2026 Camera Ready

FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models

FRISM：通过子空间级模型融合实现细粒度推理注入用于视觉-语言模型

Chenyu Huang, Peng Ye, Xudong Tan, Jinhan Mu, Shenghe Zheng, Li Shen, Tao Chen

机构 * College of Future Information Technology, Fudan University, Shanghai, China（复旦大学未来信息科技学院，中国） ； Shanghai Innovation Institute, China（上海创新研究院，中国） ； The Chinese University of Hong Kong, China（香港中文大学，中国） ； Harbin Institute of Technology, China（哈尔滨工业大学，中国） ； Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室，中国） ； Sun Yat-Sen University, Shenzhen, China（暨南大学深圳校区，中国） 纠错

AI总结 FRISM通过子空间级模型融合实现细粒度推理注入，有效提升视觉-语言模型的推理能力并保持视觉能力。

Comments Accepted by ICML 2026