ICML

OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization

OPIUM：通过双目标潜在优化减轻引导外部性和过度拒绝

Kavin Aravindan, Arihant Rastogi, Krishak Aneja, Aadi Prasad, Saiyam Jain, Vaishnavi Shivkumar, Ponnurangam Kumaraguru

AI总结 研究激活引导向量存在的外部性问题，提出无训练方法OPIUM，通过表示匹配净化引导向量，在给定参考行为下优化新向量，改善安全与效用权衡，减轻激活引导的有害副作用。

Comments Accepted to the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning (ICML 2026)

Parameter-Free Encoders Remain Viable for RDB Foundation Models

无参数编码器对关系数据库基础模型仍然可行

Linjie Xu, David Wipf

AI总结 研究如何利用关系数据库预测目标列缺失值，对比无参数和参数化编码器，分析标签输入时RDB编码器属性，通过实验验证简单无参数编码器在多基准任务中仍有强大性能。

Comments ICML 2026 Workshop on Foundation Models for Structured Data

Enhancing Membership Inference Attacks on Diffusion Models from a Frequency-Domain Perspective

从频域角度增强扩散模型的成员推理攻击

Puwei Lian, Yujun Cai, Songze Li, Bingkun Bao

机构 * Southeast University（东南大学） ； The University of Queensland（昆士兰大学） ； Hefei University of Technology（合肥工业大学） ； Engineering Research Center of Blockchain Application, Supervision and Management (Southeast University), Ministry of Education（区块链应用、监督与管理工程研究中心（东南大学），教育部） 纠错

AI总结 本文从频域角度揭示扩散模型处理高频信息的缺陷导致成员推理攻击误分类，并提出即插即用的高频滤波模块以提升攻击性能。

Comments Accepted to Forty-Third International Conference on Machine Learning (ICML 2026)

AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching

AG-REPA：音频流匹配中表示对齐的因果层选择

Pengfei Zhang, Tianxin Xie, Minghao Yang, Li Liu

机构 * AI Thrust, Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（人工智能 thrust，信息中心，香港科学与技术大学（广州）） 纠错

AI总结 提出AG-REPA方法，通过前向门控消融量化各层对速度场的因果贡献，实现稀疏层选择和自适应加权对齐，在音频流匹配中优于传统REPA基线。

Comments Accepted to ICML 2026. 17 pages, 4 figures, 12 tables

SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Guardrail for LLM Agent Safety

SafeHarbor：用于LLM智能体安全的分层记忆增强防护栏

Zhe Liu, Zonghao Ying, Wenxin Zhang, Quanchen Zou, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Hao Peng

机构 * School of Cyber Science and Technology, Beihang University, Beijing, China（北京航空航天大学网络安全学院） ； Institute of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能研究院） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； AI Security Lab, Beijing, China（360人工智能安全实验室） 纠错

AI总结 提出SafeHarbor框架，通过分层记忆系统和信息熵自进化机制，在保持高安全拒绝率的同时提升对良性请求的响应能力。

Comments Accepted by ICML 2026

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

从噪声到多样性：在LLM推理中的随机嵌入注入

Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

机构 * Gwangju Institute of Science and Technology（光州科学技术学院） ； Seoul National University（首尔国立大学） ； Microsoft Research（微软研究院） 纠错

AI总结 本文研究了随机软提示（RSPs），通过在输入中添加随机嵌入向量提升推理性能，揭示了注入过程对生成多样性的影响，并在推理和训练中均取得显著效果。

Comments Under review, ICML 2026 Mechanistic Interpretability Workshop (Spotlight)

Towards Disentangled Preference Optimization Dynamics: Suppress the Loser, Preserve the Winner

朝着解耦偏好优化动态：压制失败者，保留胜利者

Wei Chen, Yubing Wu, Junmei Yang, Delu Zeng, Qibin Zhao, John Paisley, Min Chen, Zhou Wang

机构 * South China University of Technology（南方科技大学） ； Columbia University（哥伦比亚大学） ； University of Waterloo（滑铁卢大学） 纠错

AI总结 本文提出奖励校准方法，通过解耦带宽条件实现压制失败者并保留胜利者的优化动态，提升了下游性能。

Journal ref International Conference on Machine Learning(ICML) 2026

Simple Policy Gradients for Reasoning with Diffusion Language Models

为扩散语言模型进行推理的简单策略梯度

Anthony Zhan

机构 * Stanford University（斯坦福大学） 纠错

AI总结 本文提出 AGRPO 算法，通过优化 dLLM 的去噪步骤提升推理性能，实现多个任务上的显著增益。

Comments 19 pages. ICML 2026

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit

使用稀疏自动编码器的可解释嵌入：一种数据分析工具包

Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda

机构 * University of California, Berkeley（加州大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 研究针对大规模文本语料库分析难题，提出用稀疏自动编码器创建SAE嵌入，经四个任务验证其比大语言模型更具性价比、比密集嵌入更可控，通过案例研究展示其在研究模型行为上的作用，是用于非结构化数据分析的通用工具。

Comments ICML 2026. Project page and code: https://interp-embed.com

Student-Centered Distillation Narrows the Agentic Gap Between Small and Large LLMs

以学生为中心的蒸馏缩小了小型和大型语言模型之间的智能差距

Yuanjie Lyu, Chengyu Wang, Jun Huang, Tong Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 研究旨在缩小大小语言模型智能差距，提出SCoRe框架，让学生生成训练轨迹，教师纠正最早错误，经微调与短视距强化学习，提升学生解决问题能力，在12个基准测试中，70亿参数学生模型缩小了与720亿参数教师模型的性能差距

Comments Accepted to ICML 2026. The title has been changed from "From Correction to Mastery: Reinforced Distillation of Large Language Model Agents" to "Student-Centered Distillation Narrows the Agentic Gap Between Small and Large LLMs"; the camera-ready version has been uploaded

Concept Concentration for Faithful Representation Intervention

用于忠实表示干预的概念集中化

Hongzheng Yang, Yongqiang Chen, Zeyu Qin, Tongliang Liu, Chaowei Xiao, Kun Zhang, Bo Han

机构 * SAIC Centre, USYD（SAIC中心） 纠错

AI总结 研究大语言模型表示干预中定位忠实概念的问题，提出概念集中化（COCA）方法，通过重构训练数据简化决策边界，有效降低分布内和分布外越狱成功率，且在常规任务上保持性能。

Comments ICML'26; Hongzheng and Yongqiang contributed equally; project page: https://causalcoat.github.io/coca