ICLR

Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

低精度Transformer训练失败的原因：对Flash Attention的分析

Haiquan Qiu, Quanming Yao

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； State Key laboratory of Space Network and Communications（空间网络与通信国家重点实验室） 纠错

AI总结 本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因，揭示了相似低秩表示与有偏舍入误差的恶性循环，并通过最小化修改稳定训练。

Comments ICLR 2026

InfoNCE Induces Gaussian Distribution

InfoNCE 诱导高斯分布

Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa

机构 * Technion - Israel Institute of Technology（技术学院-以色列理工学院） 纠错

AI总结 本文证明对比学习中的 InfoNCE 损失函数会使表示学习产生高斯分布结构，通过理论分析和实验验证了这种高斯行为。

Comments Accepted to ICLR 2026, Oral

K-Prism: A Knowledge-Guided and Prompt Integrated Universal Medical Image Segmentation Model

K-Prism: 一种知识引导与提示集成的通用医学图像分割模型

Bangwei Guo, Yunhe Gao, Meng Ye, Difei Gu, Yang Zhou, Leon Axel, Dimitris Metaxas

机构 * Rutgers University（罗格斯大学） ； Stanford University（斯坦福大学） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； New York University（纽约大学） 纠错

AI总结 提出K-Prism统一分割框架，通过双提示表示和混合专家解码器整合语义先验、上下文知识和交互反馈三种知识范式，在18个数据集上实现语义、上下文和交互分割的最优性能。

Journal ref International Conference on Learning Representations (ICLR), 2026