ICLR

When Does Verification Pay Off? A Closer Look at LLMs as Solution Verifiers

验证何时有效？对LLM作为解决方案验证器的深入探讨

Jack Lu, Ryan Teehan, Jinran Jin, Mengye Ren

机构 * Agentic Learning AI Lab, New York University（代理学习人工智能实验室，纽约大学） 纠错

AI总结 研究探讨了在何种条件下验证有效，通过分析37个模型在9个基准测试中的表现，发现跨模型家族验证效果优于自验证，且验证收益随模型相似性增加而降低。

Comments Accepted at ICLR 2026 AI with Recursive Self-Improvement workshop

Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers

集成剪枝注意力头用于不确定性感知的高效变压器

Firas Gabetni, Giuseppe Curci, Andrea Pilzer, Subhankar Roy, Elisa Ricci, Gianni Franchi

机构 * U2IS, ENSTA, Institut Polytechnique de Paris（U2IS、ENSTA、巴黎理工学院） ； University of Trento（特伦托大学） ； NVIDIA ； University of Bergamo, Italy（意大利贝拉姆博大学） ； Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会） ； AMIAD, Pôle Recherche, Palaiseau（AMIAD、研究部、帕莱索） 纠错

AI总结 本文提出Hydra Ensembles，通过剪枝注意力头生成多样化成员并融合，实现高效变压器，在保持不确定性量化性能的同时，显著提升推理速度。

Comments ICLR 2026

PriorGuide: Test-Time Prior Adaptation for Simulation-Based Inference

PriorGuide: 基于先验适应的模拟推理测试阶段方法

Yang Yang, Severi Rissanen, Paul E. Chang, Nasrulloh Loka, Daolang Huang, Arno Solin, Markus Heinonen, Luigi Acerbi

机构 * Department of Computer Science, University of Helsinki, Finland（赫尔辛基大学计算机科学系，芬兰） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系） 纠错

AI总结 PriorGuide通过在测试阶段灵活调整训练好的扩散模型先验分布，提升模拟推理的适应性与实用性。

Comments Accepted at ICLR 2026. Camera-ready version. 38 pages, 8 figures

Efficient Autoregressive Inference for Transformer Probabilistic Models

高效变换器概率模型的自回归推断

Conor Hassan, Nasrulloh Loka, Cen-You Li, Daolang Huang, Paul E. Chang, Yang Yang, Francesco Silvestrin, Samuel Kaski, Luigi Acerbi

机构 * Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； Department of Computer Science, University of Helsinki, Finland（芬兰赫尔辛基大学计算机科学系） ； Verda ； Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系） 纠错

AI总结 本文提出一种高效自回归缓冲机制，结合集基和自回归方法，实现多预测联合分布推断，提升采样和密度评估效率，实验显示性能接近全上下文重编码，速度和内存使用更优。

Comments Accepted at ICLR 2026. Camera-ready version. 39 pages, 20 figures

The Alignment Waltz: Jointly Training Agents to Collaborate for Safety

对齐之舞：联合训练代理以安全协作

Jingyu Zhang, Haozhu Wang, Eric Michael Smith, Sid Wang, Amr Sharaf, Mahesh Pasupuleti, Benjamin Van Durme, Daniel Khashabi, Jason Weston, Hongyuan Zhan

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

AI总结 本文提出WaltzRL框架，通过联合训练对话代理和反馈代理，解决LLM在安全与帮助性间的平衡问题，实验表明其有效降低不安全响应和过度拒绝率。

Comments ICLR 2026

Beyond Linear Probes: Dynamic Safety Monitoring for Language Models

超越线性探测：语言模型的动态安全监控

James Oldfield, Philip Torr, Ioannis Patras, Adel Bibi, Fazl Barez

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； University of Oxford（牛津大学） ； WhiteBox ； Martian 纠错

AI总结 本文提出Truncated Polynomial Classifiers (TPCs)，通过动态激活监控提升安全性能，实现灵活的成本控制，在有害提示分类中表现优异且更具可解释性。

Comments ICLR 2026; Minor revisions and clarifications

RepIt: Steering Language Models with Concept-Specific Refusal Vectors

RepIt：通过概念特定拒绝向量引导语言模型

Vincent Siu, Nathan W. Henry, Nicholas Crispino, Yang Liu, Dawn Song, Chenguang Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 RepIt通过隔离语言模型激活中的概念特定表示，揭示当前安全评估的漏洞，展示如何利用少量资源实现针对特定概念的拒绝抑制。

Comments ICLR 2026

BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design

BED-LLM：利用LLM和贝叶斯实验设计进行智能信息收集

Deepro Choudhury, Sinead Williamson, Adam Goliński, Ning Miao, Freddie Bickford Smith, Michael Kirchhof, Yizhe Zhang, Tom Rainforth

机构 * University of Oxford（牛津大学） ； Apple（苹果公司） ； City University of Hong Kong（香港城市大学） ； University of Somewhere（某大学） ； Institute of Something（某研究所） ； Company Ltd（某有限公司） 纠错

AI总结 本文提出了一种基于贝叶斯实验设计框架的通用方法，通过迭代选择最大化信息增益的问题来提升LLM的信息收集能力，展示了BED-LLM在20 Questions游戏中优于传统提示方法的性能。

Comments Published at the International Conference on Learning Representations 2026

Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

监视权重：无监督的细调大语言模型监控与控制

Ziqian Zhong, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型，能高精度检测细调引入的新行为，并在防回火攻击和模型去学习中表现出色。

Comments Published as a conference paper at ICLR 2026

Highly Efficient and Effective LLMs with Multi-Boolean Architectures

高效且有效的多布尔架构大语言模型

Ba-Hien Tran, Van Minh Nguyen

机构 * Huawei Paris Research Center（华为巴黎研究中心） 纠错

AI总结 本文提出多布尔架构框架，通过布尔参数直接微调大语言模型，提升表示能力并降低复杂度，实验显示优于低比特量化和二值化方法。

Comments ICLR 2026 (Main Conference)

RESFL: An Uncertainty-Aware Framework for Responsible Federated Learning by Balancing Privacy, Fairness and Utility

RESFL: 一种通过平衡隐私、公平性和效用来实现负责任的联邦学习的不确定性感知框架

Dawood Wasif, Terrence J. Moore, Jin-Hee Cho

机构 * Virginia Tech（弗吉尼亚理工大学） ； U.S. Army Research Laboratory（美国陆军研究实验室） 纠错

AI总结 RESFL框架通过结合对抗性隐私解耦和不确定性引导的公平性感知聚合，提升联邦学习中隐私与公平性的平衡，实验表明其在自动驾驶场景中提升了检测性能并降低了对抗攻击成功率。

Comments Accepted at ICLR 2026; camera-ready version

You Point, I Learn: Online Adaptation of Interactive Segmentation Models for Handling Distribution Shifts in Medical Imaging

你指我学：用于处理医学影像分布偏移的交互分割模型在线适应

Wentian Xu, Ziyun Liang, Harry Anthony, Yasin Ibrahim, Felix Cohen, Guang Yang, Konstantinos Kamnitsas

机构 * Department of Engineering Science（工程科学系） 纠错

AI总结 本文提出一种交互分割模型在线适应方法，通过增强对点击的响应和伪地面真实处理，提升模型在医学影像分布偏移下的适应能力。

Comments Accepted at ICLR 2026

Revisiting Active Sequential Prediction-Powered Mean Estimation

重新审视主动顺序预测-驱动的均值估计

Maria-Eleni Sfyraki, Jun-Kun Wang

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

AI总结 本文重新审视主动顺序预测驱动的均值估计问题，提出基于不确定性建议和常数概率的混合方案，并通过非渐近分析建立了数据依赖的置信区间界。

Comments Published as a conference paper at ICLR 2026

The implicated scientist: on the role of AI researchers in the development of weapons systems

被牵连的科学家：人工智能研究者在武器系统发展中的作用

Alexandra Volokhova, Alex Hernandez-Garcia

机构 * Université de Montréal（蒙特利尔大学） ； Mila – Quebec AI Institute（魁北克AI研究所） 纠错

AI总结 本文探讨AI研究者在AI赋能武器系统造成伤害中的角色，分析其牵连性并提出通过长期距离的团结来应对技术加剧的不正义。

Comments Presented as an oral talk and a poster at the AI for Peace workshop at ICLR 2026

EAST: Early Action Prediction Sampling Strategy with Token Masking

EAST：基于标记掩码的早期动作预测采样策略

Iva Sović, Ivan Martinović, Marin Oršić

机构 * Faculty of Electrical Engineering and Computing, University of Zagreb（电子工程与计算学院，扎格reb大学） 纠错

AI总结 本文提出EAST框架，通过随机训练策略和标记掩码技术，提升早期动作预测模型在不同观察比例下的泛化能力，并在多个数据集上取得新突破。

Comments Accepted at ICLR 2026

Long-Text-to-Image Generation via Compositional Prompt Decomposition

通过组合提示分解实现长文本到图像生成

Jen-Yuan Huang, Tong Lin, Yilun Du

机构 * Peking University（北京大学） ； Harvard University（哈佛大学） 纠错

AI总结 本文提出PRISM方法，通过轻量模块提取长提示的组成部分，使预训练T2I模型能处理长序列输入，实现对复杂场景的建模，优于基线模型。

Comments Accepted to the Fourteenth International Conference on Learning Representations (ICLR 2026)

DiffuSAM: Diffusion Guided Zero-Shot Object Grounding for Remote Sensing Imagery

DiffuSAM: 基于扩散的零样本目标定位用于遥感影像

Geet Sethi, Panav Shah, Ashutosh Gandhe, Soumitra Darshan Nayak

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） 纠错

AI总结 本文提出DiffuSAM，结合扩散模型与先进分割模型，提升遥感影像目标定位精度，实验显示在Acc@0.5上提升超14%。

Comments Accepted at ICLR 2026 ML4RS Workshop

Does "Do Differentiable Simulators Give Better Policy Gradients?'' Give Better Policy Gradients?

可微模拟器能否提供更好的策略梯度？

Ku Onoda, Paavo Parmas, Manato Yaguchi, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

AI总结 本文探讨可微模拟器在策略梯度方法中的有效性，提出DDCG和IVW-H两种方法，通过切换估计器和控制方差提升鲁棒性与样本效率。

Comments ICLR2026

Journal ref The Fourteenth International Conference on Learning Representations. ICLR 2026

RASP-Tuner: Retrieval-Augmented Soft Prompts for Context-Aware Black-Box Optimization in Non-Stationary Environments

RAPSTuner：基于检索的软提示用于在非平稳环境中具有情境意识的黑盒优化

Enze Pan

机构 * Department of Computer Science, The University of Hong Kong（香港大学计算机科学系） 纠错

AI总结 本文提出RAPSTuner，通过检索相似历史情境来识别模式代理，利用混合专家代理预测短期损失，并在低维提示子空间中进行适应，以减少非平稳环境中黑盒优化的累积遗憾。

Comments Withdraw by ICML and prepare for NeurIPS or ICLR

Latent Fourier Transform

潜在傅里叶变换

Mason Wang, Cheng-Zhi Anna Huang

机构 * CSAIL（计算机科学与人工智能实验室） 纠错

AI总结 本文提出潜在傅里叶变换框架，通过频域控制生成音乐模型，分离音乐模式并保持时尺度特征，提升生成质量与可解释性。

Comments ICLR 2026 Oral

Foundation Model for Cardiac Time Series via Masked Latent Attention

通过掩码潜在注意力的心脏时间序列基础模型

Moritz Vandenhirtz, Samuel Ruipérez-Campillo, Simon Böhi, Sonia Laguna, Irene Cannistraci, Andrea Agostini, Ece Ozkan, Thomas M. Sutter, Julia E. Vogt

机构 * Department of Computer Science, ETH Zurich, Switzerland（苏黎世联邦理工学院计算机科学系，瑞士） ； Department of Biomedical Engineering, University of Basel, Switzerland（巴塞尔大学生物医学工程系，瑞士） 纠错

AI总结 本文提出LAMAE基础模型，通过自监督预训练学习跨导联连接机制，提升ECG表示质量和迁移能力，在预测ICD-10编码上优于独立导联掩码模型和对齐基线。

Comments First two authors are co-first. Last two authors are co-senior

Journal ref ICLR 2026: Workshop on Foundation Models for Science

Pointy - A Lightweight Transformer for Point Cloud Foundation Models

Pointy - 一种轻量级的点云基础模型变压器

Konrad Szafer, Marek Kraft, Dominik Belter

机构 * Institute of Robotics and Machine Intelligence, Poznan University of Technology（机器人与机器智能研究所，波兹南技术大学） 纠错

AI总结 Pointy通过轻量级的点云变压器架构，在仅使用39k点云数据的情况下，超越了使用超过20万样本训练的更大基础模型，展示了精心设计的训练设置和架构的价值。

Comments To appear in the proceedings of ACIVS 2025. An earlier version was presented at the SCI-FM workshop at ICLR 2025

Journal ref In: Blanc-Talon, J., Delmas, P., Takahashi, H., Yasuhiro, M. (eds) Advanced Concepts for Intelligent Vision Systems. ACIVS 2025. Lecture Notes in Computer Science, vol 15656. Springer, Cham

Universal Diffusion-Based Probabilistic Downscaling

通用扩散式概率降尺度

Roberto Molinaro, Niall Siegenheim, Henry Martin, Mark Frey, Niels Poulsen, Philipp Seitz, Marvin Vincent Gabler

AI总结 本文提出一种通用扩散降尺度框架，通过无需特定模型微调将确定性低分辨率天气预报转化为概率高分辨率预测，评估结果显示其在提升空间分辨率和不确定性表示方面具有显著优势。

Comments ICLR 2026 Workshop on AI and Partial Differential Equations

End-to-end Listen, Look, Speak and Act

端到端听、看、说和行动

Siyin Wang, Wenyi Yu, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

AI总结 本文提出ELLSA模型，首个端到端全双工系统，实现视觉、文本、语音和行动的同步感知与生成，支持对话轮替、指令拒绝等复杂交互行为，推动更自然的人工智能发展。

Comments 22 pages, 8 figures

Journal ref ICLR 2026

Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping

构造性失真：通过注意力引导的图像扭曲改进MLLMs

Dwip Dalal, Gautam Vashishtha, Utkarsh Mishra, Jeonghwan Kim, Madhav Kanda, Hyeonjeong Ha, Svetlana Lazebnik, Heng Ji, Unnat Jain

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Skan AI ； Texas A&M University（德克萨斯大学阿姆斯特朗分校） ； University of California, Irvine（加州大学 Irvine 分校） 纠错

AI总结 本文提出AttWarp方法，通过注意力引导的图像扭曲增强MLLMs对细节和空间关系的感知能力，提升准确性和推理能力。

Comments Accepted at ICLR 2026

MeSH: Memory-as-State-Highways for Recursive Transformers

MeSH: 递归变换器的记忆作为状态高速公路

Chengting Yu, Xiaobo Shu, Yadao Wang, Yizhen Zhang, Haoyi Wu, Jiaang Li, Rujiao Long, Ziheng Chen, Yuchi Xu, Wenbo Su, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； ShanghaiTech University（上海科技大学） 纠错

AI总结 本文提出MeSH方案，通过外部化状态管理与轻量级路由解决递归变换器中的计算同质化和信息过载问题，提升模型性能。

Comments Accepted by ICLR 2026

Projected Coupled Diffusion for Test-Time Constrained Joint Generation

投影耦合扩散用于测试时间受限的联合生成

Hao Luan, Yi Xian Goh, See-Kiong Ng, Chun Kai Ling

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Faculty of Computer Science and Information Technology, Universiti Malaya（马来亚大学计算机科学与信息技术学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） 纠错

AI总结 本文提出投影耦合扩散（PCD），一种用于受限联合生成的测试时间框架，通过耦合指导项促进扩散模型协调，并在每个扩散步骤中引入投影步骤以强制硬约束，实验证明其在图像对生成、物体操作和多机器人运动规划中的有效性。

Comments ICLR 2026. OpenReview: https://openreview.net/forum?id=1FEm5JLpvg. Code: https://github.com/EdmundLuan/pcd

On the Predictive Power of Representation Dispersion in Language Models

语言模型中表示分散度的预测能力研究

Yanhong Li, Ming Li, Karen Livescu, Jiawei Zhou

机构 * University of Chicago（芝加哥大学） ； University of Maryland（马里兰大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Stony Brook University（史泰福布鲁克大学） ； Allen Institute for AI（人工智能研究院） 纠错

AI总结 本文探讨了语言模型表示分散度与预测能力的关系，发现分散度越高，困惑度越低，并提出利用分散度进行模型筛选和优化的方法。

Comments ICLR 2026

Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape

Ioannis Bantzis, James B. Simon, Arthur Jacot

机构 * EPFL Lausanne（日内瓦联邦理工学院拉沃斯分校） ； UC Berkeley（伯克利大学） ； Courant Institute, NYU（纽约大学Courant研究所） 纠错

Comments Accepted at ICLR 2026. Camera-ready version

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

ScienceBoard: 评估多模态自主代理在真实科学工作流中的表现

Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Peking University（北京大学） ； Nanjing University（南京大学） ； East China Normal University（华东师范大学） ； Yale University（耶鲁大学） 纠错

AI总结 ScienceBoard通过真实多领域环境和169个高质量任务评估多模态自主代理在科学工作流中的能力，发现现有代理在复杂任务中仅达到15%的成功率，揭示了改进设计原则的必要性。

Comments ICLR 2026 Camera Ready Version