ICLR

Private Rate-Constrained Optimization with Applications to Fair Learning

私有率约束优化及其在公平学习中的应用

Mohammad Yaghini, Tudor Cebere, Michael Menart, Aurélien Bellet, Nicolas Papernot

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

AI总结 针对差分隐私下的率约束优化问题，提出RaCO-DP算法，通过SGDA的拉格朗日形式处理约束，额外隐私代价仅限于每步小批量直方图估计，理论证明收敛，实验在公平约束下帕累托优于现有方法。

Comments ICLR 2026

A Primer on SO(3) Action Representations in Deep Reinforcement Learning

深度强化学习中SO(3)动作表示入门

Martin Schuck, Sherif Samy, Angela P. Schoellig

AI总结 针对SO(3)动作表示在强化学习中的选择问题，系统评估了多种表示在PPO、SAC、TD3算法下的效果，发现切向量表示最可靠。

Comments Published at The Fourteenth International Conference on Learning Representations (ICLR 2026)

PreferThinker: Reasoning-based Personalized Image Preference Assessment

PreferThinker: 基于推理的个性化图像偏好评估

Shengqi Xu, Xinpeng Zhou, Yabo Zhang, Ming Liu, Tao Liang, Tianyu Zhang, Yalong Bai, Zuxuan Wu, Wangmeng Zuo

AI总结 提出预测-评估范式的推理框架，通过用户偏好画像和思维链推理实现个性化图像偏好评估，采用两阶段训练和相似性奖励提升性能。

Comments This paper is accepted by ICLR 2026

Reconstruction Alignment Improves Unified Multimodal Models

重建对齐改进统一多模态模型

Ji Xie, Trevor Darrell, Luke Zettlemoyer, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学） 纠错

AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。

Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026

To View Transform or Not to View Transform: NeRF-based Pre-training Perspective

视图变换还是不视图变换：基于NeRF的预训练视角

Hyeonjun Jeong, Juyeb Shin, Dongsuk Kum

机构 * KAIST（韩国科学技术院） 纠错

AI总结 提出NeRP3D检测器，避免视图变换与NeRF的冲突先验，保留预训练NeRF网络，实现连续3D表示学习，在nuScenes上提升场景重建和检测性能。

Comments The Fourteenth International Conference on Learning Representations (ICLR'26)

Selective Rotary Position Embedding

选择性旋转位置嵌入

Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher

机构 * ELLIS Institute Tübingen（图宾根埃利斯研究所） ； LIONS, EPFL（日内瓦理工学院LIONS实验室） ； University of Freiburg（弗赖堡大学） ； Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Prior Labs（Prior实验室） 纠错

AI总结 本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。

Comments ICLR 2026

Riemann-Bench: A Benchmark for Moonshot Mathematics

Riemann-Bench: 面向登月级数学的基准测试

Suhaas Garre, Erik Knutsen, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

AI总结 提出Riemann-Bench基准，由专家设计研究级数学问题，评估AI系统超越奥数水平的推理能力，结果显示前沿模型得分低于10%。

Comments Accepted to Logical Reasoning of Large Language Models, ICLR 2026

ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs

ParallelBench: 理解扩散大语言模型中并行解码的权衡

Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjae Lee, Yuchen Zeng, Shuibai Zhang, Coleman Hooper, Yuezhou Hu, Hyung Il Koo, Nam Ik Cho, Kangwook Lee

机构 * FuriosaAI ； UW-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； UC Berkeley（加州大学伯克利分校） ； Seoul National University（首尔国立大学） ； KRAFTON ； Ludo Robotics Project（Ludo机器人项目） 纠错

AI总结 针对扩散LLM并行解码导致生成质量下降的问题，通过信息论分析和合成实验揭示其根本限制，并提出首个专门基准ParallelBench，系统评估发现并行解码在现实任务中质量损失严重，且现有策略无法根据任务难度调整并行度。

Comments Accepted at ICLR 2026. Project Page: https://parallelbench.github.io

OFMU: Optimization-Driven Framework for Machine Unlearning

OFMU：面向机器遗忘的优化驱动框架

Sadia Asif, Mohammad Mohammadi Amiri

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） 纠错

AI总结 提出OFMU，一种基于惩罚的双层优化框架，通过层次结构优先遗忘并保持保留性能，在视觉和语言基准上优于现有方法。

Comments Under review at ICLR 2026

Johnson-Lindenstrauss Lemma Guided Network for Efficient 3D Medical Segmentation

Johnson-Lindenstrauss引理引导的高效3D医学分割网络

Jinpeng Lu, Linghan Cai, Yinda Chen, Guo Tang, Songhan Jiang, Haoyuan Shi, Zhiwei Xiong

机构 * University of Science and Technology of China（中国科学技术大学） ； Dresden University of Technology（德累斯顿理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

AI总结 提出VeloxSeg，通过双流CNN-Transformer架构（PWA和JLC）结合格拉姆矩阵空间解耦知识迁移，在低计算预算下实现多模态3D医学图像高效分割，Dice提升26%，GPU吞吐量提升11倍。

Comments 30 pages, 12 figures. Accepted at ICLR 2026

CATCH: Channel-Aware multivariate Time Series Anomaly Detection via Frequency Patching

CATCH: 基于频率分块的信道感知多变量时间序列异常检测

Xingjian Wu, Xiangfei Qiu, Zhengyu Li, Yihang Wang, Jilin Hu, Chenjuan Guo, Hui Xiong, Bin Yang

机构 * East China Normal University（东华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

AI总结 提出CATCH框架，通过频率分块增强细粒度频率特征捕获，并设计通道融合模块（CFM）利用分块掩码和掩码注意力机制，结合双层多目标优化学习信道相关性，在10个真实和12个合成数据集上达到最先进性能。

Comments Accepted by ICLR 2025

From Markov to Laplace: How Mamba In-Context Learns Markov Chains

从马尔可夫到拉普拉斯：Mamba如何通过上下文学习马尔可夫链

Marco Bondaschi, Nived Rajaraman, Xiuying Wei, Kannan Ramchandran, Razvan Pascanu, Caglar Gulcehre, Michael Gastpar, Ashok Vardhan Makkuva

机构 * EPFL（苏黎世联邦理工学院） ； UC Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； Télécom Paris（巴黎电信学院） 纠错

AI总结 本文研究Mamba在马尔可夫链上的上下文学习能力，发现单层Mamba能高效学习最优的拉普拉斯平滑估计器，并理论上揭示了卷积在其中的关键作用。

Comments Oral presentation at ICLR 2026

Mitigating Legibility Tax with Decoupled Prover-Verifier Games

通过解耦证明者-验证者游戏减轻可读性代价

Yegon Kim, Juho Lee

机构 * KAIST（韩国科学技术院） 纠错

AI总结 提出解耦证明者-验证者游戏（DPVG），通过分离正确性与可检查性训练一个翻译器模型，将固定求解器的解转化为可检查形式，在保持答案正确性的同时提高可检查性，解决了可读性代价问题。

Comments ICLR 2026 Workshop Trustworthy AI

Characterizing Brazilian Atlantic Forest Restoration Outcomes with Geospatial AlphaEarth Embeddings

利用地理空间AlphaEarth嵌入表征巴西大西洋森林恢复结果

Alice Heiman

机构 * Department of Computer Science（计算机科学系） 纠错

AI总结 本研究利用AlphaEarth基础模型的卫星嵌入，通过余弦相似度定义参考轨迹嵌入，评估巴西圣保罗1729个恢复点的早期恢复成效，发现不同土地利用类型在嵌入空间中形成聚类，但信号存在噪声。

Comments Presented as a workshop paper at ICLR 2026 Machine Learning for Remote Sensing (ML4RS)

Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs

模型崩溃不是错误，而是大语言模型机器遗忘中的一种特性

Yan Scholten, Sophie Xhonneux, Leo Schwinn, Stephan Günnemann

机构 * Dept. of Computer Science & Munich Data Science Institute, Technical University of Munich（计算机科学系及慕尼黑数据科学研究所，技术大学慕尼黑） ； Mila, Université de Montréal（蒙特利尔大学Mila） 纠错

AI总结 提出部分模型崩溃（PMC）方法，通过故意触发模型在目标数据上的分布崩溃实现遗忘，无需在遗忘目标上优化，有效移除私有信息并保持模型效用。

Comments Accepted at ICLR 2026

Learning Patient-Specific Disease Dynamics with Latent Flow Matching for Longitudinal Imaging Generation

学习患者特异性疾病动态：基于潜在流匹配的纵向影像生成

Hao Chen, Rui Yin, Yifan Chen, Qi Chen, Chao Li

机构 * University of Cambridge（剑桥大学） ； Nanjing First Hospital（南京第一医院） ； Nanjing Medical University（南京医科大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Dundee（邓迪大学） 纠错

AI总结 提出Δ-LFM框架，利用流匹配对齐患者潜在轨迹，通过患者特异性潜在对齐实现单调疾病进展建模，在三个纵向MRI基准上验证了可解释性和性能。

Comments ICLR 2026 accepted

Know Thy Reasoner: Not All Language Models Explore Alike

你的模型多样性，而非方法，决定推理策略

Moulik Choraria, Argyrios Gerogiannis, Anirban Das, Supriyo Chakraborty, Sourya Basu, Sambit Sahu, Lav R. Varshney

机构 * UIUC（伊利诺伊大学香槟分校） ； Capital One 纠错

AI总结 本文提出模型多样性影响推理策略，通过理论框架分析推理不确定性，验证了不同模型在深度精炼和并行采样中的表现差异。

Comments This is a full-length extension of the workshop paper that appeared in the ICLR 2026 Workshop on LLM Reasoning

Does the Data Processing Inequality Reflect Practice? On the Utility of Low-Level Tasks

数据处理不等式是否反映实践？论低级任务的有用性

Roy Turgeman, Tom Tirer

机构 * Faculty of Engineering Bar-Ilan University（巴伊兰大学工程学院） 纠错

AI总结 本文研究低级处理（如去噪、编码）如何提升分类性能，证明在有限样本下存在预处理可提高准确率，并通过实验验证理论趋势。

Comments ICLR 2026 (camera-ready). Code is available at: https://github.com/serveroy/process-before-you-classify

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

低精度Transformer训练失败的原因：对Flash Attention的分析

Haiquan Qiu, Quanming Yao

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； State Key laboratory of Space Network and Communications（空间网络与通信国家重点实验室） 纠错

AI总结 本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因，揭示了相似低秩表示与有偏舍入误差的恶性循环，并通过最小化修改稳定训练。

Comments ICLR 2026

InfoNCE Induces Gaussian Distribution

InfoNCE 诱导高斯分布

Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa

机构 * Technion - Israel Institute of Technology（技术学院-以色列理工学院） 纠错

AI总结 本文证明对比学习中的 InfoNCE 损失函数会使表示学习产生高斯分布结构，通过理论分析和实验验证了这种高斯行为。

Comments Accepted to ICLR 2026, Oral

K-Prism: A Knowledge-Guided and Prompt Integrated Universal Medical Image Segmentation Model

K-Prism: 一种知识引导与提示集成的通用医学图像分割模型

Bangwei Guo, Yunhe Gao, Meng Ye, Difei Gu, Yang Zhou, Leon Axel, Dimitris Metaxas

机构 * Rutgers University（罗格斯大学） ； Stanford University（斯坦福大学） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； New York University（纽约大学） 纠错

AI总结 提出K-Prism统一分割框架，通过双提示表示和混合专家解码器整合语义先验、上下文知识和交互反馈三种知识范式，在18个数据集上实现语义、上下文和交互分割的最优性能。

Journal ref International Conference on Learning Representations (ICLR), 2026

Position: Token Taxes Can Mitigate AI's Economic Risks

立场：代币税可以减轻AI的经济风险

Lucas Irwin, Tung-Yu Wu, Fazl Barez

AI总结 本文提出代币税作为减轻AI经济风险的技术治理方案，利用现有计算治理基础设施强制执行，并规划了研究路线图。

Comments Accepted at the ICLR 2026 Post-AGI Science and Society Workshop (OpenReview: https://openreview.net/forum?id=03tzkncv2c)

DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation

DiffusionBlocks: 通过扩散解释进行分块神经网络训练

Makoto Shing, Masanori Koyama, Takuya Akiba

机构 * Sakana AI ； The University of Tokyo（东京大学） 纠错

AI总结 提出DiffusionBlocks框架，利用残差连接与动力系统的对应关系，将网络转换为去噪过程，通过分数匹配目标实现独立分块训练，在多种Transformer架构上达到与端到端训练相当的性能，同时降低内存需求。

Comments To appear at the 14th International Conference on Learning Representations (ICLR 2026). v4: Fixed typos in experimental details (Appendix E.4)

Unsupervised Learning of Efficient Exploration: Pre-training Adaptive Policies via Self-Imposed Goals

高效探索的无监督学习：通过自我设定目标预训练自适应策略

Octavio Pappalardo

机构 * University College London (UCL)（伦敦大学学院（UCL）） 纠错

AI总结 提出ULEE方法，结合上下文学习器与对抗性目标生成策略，在无监督元学习框架中优化多回合探索与适应，提升零样本和少样本性能。

Comments ICLR 2026; v2 adds link to code: https://github.com/Octavio-Pappalardo/ulee-jax

Journal ref The Fourteenth International Conference on Learning Representations, 2026

From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces

从排序算法到可扩展核：高维排列空间中的贝叶斯优化

Zikai Xie, Linjiang Chen

机构 * State Key Laboratory of Precision and Intelligent Chemistry（精准与智能化学国家重点实验室） 纠错

AI总结 针对高维排列空间贝叶斯优化中表示可扩展性差的问题，提出基于排序算法的核函数框架，其中Mallows核是枚举排序的特例，而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失，在低维性能相当，高维显著提升优化效果与计算效率。

Comments 9 pages, published on ICLR-26

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

刀刃上的学习：多项式神经网络的可辨识性与奇异性

Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

机构 * Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院） 纠错

AI总结 研究以多项式为激活函数的MLP和CNN的函数空间（神经流形），证明MLP参数化几乎处处有限对一，CNN参数化一一对应，并刻画奇异性源于稀疏子网络，解释MLP的稀疏偏好。

Comments Published at ICLR 2026

Self-Evolving Vision-Language Models for Image Quality Assessment via Voting and Ranking

自进化视觉语言模型用于图像质量评估：基于投票与排序

Wen Wen, Tianwu Zhi, Kanglong Fan, Yang Li, Xinge Peng, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

AI总结 提出EvoQuality框架，通过自一致性生成伪标签，利用群体相对策略优化迭代提升VLM的图像质量感知能力，无监督下在多个IQA基准上超越监督方法。

Comments Published as a conference paper at ICLR 2026

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench：评估语言模型中的程序性和多元道德推理，超越结果

Yu Ying Chiu, Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Raphaël Millière, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Conor Downey, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） 纠错

AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。

Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)

Geometry of Lightning Self-Attention: Identifiability and Dimension

闪电自注意力的几何：可识别性与维度

Nathan W. Henry, Giovanni Luca Marchetti, Kathlén Kohn

机构 * University of Toronto（多伦多大学） ； Royal Institute of Technology (KTH)（皇家理工学院（KTH）） 纠错

AI总结 本文利用代数几何工具，分析了无归一化自注意力网络的函数空间几何，给出了深层注意力的可识别性描述并计算了函数空间维度，同时刻画了单层模型的奇异点和边界点，并推测了归一化情形的结果。

Comments Accepted at ICLR 2025

FOCUS on Contamination: Hydrology-Informed Noise-Aware Learning for Geospatial PFAS Mapping

聚焦污染：基于水文信息与噪声感知的地理空间PFAS测绘学习

Jowaria Khan, Alexa Friedman, Sydney Evans, Rachel Klein, Runzi Wang, Katherine E. Manz, Kaley Beins, David Q. Andrews, Elizabeth Bondi-Kelly

机构 * University of Michigan（密歇根大学） ； Environmental Working Group（环保工作组） ； University of California, Davis（加州大学戴维斯分校） 纠错

AI总结 提出FOCUS框架，结合稀疏PFAS观测与水文连通性等环境先验，通过噪声感知损失实现鲁棒训练，在PFAS污染测绘中优于传统方法。

Comments Best Paper Award at ICLR 2026 Machine Learning for Remote Sensing Workshop