JMLR

Architecture Before the Formula: Individuating Neural Architecture Beyond the Composite Map

几何注意力：一种针对Transformer注意力的显式操作语义

Luis F. Rosario Freytes

机构 * University of Michigan（密歇根大学） 纠错

AI总结 几何注意力提出了一种显式操作语义，通过四个独立输入定义注意力层，支持多头、混合核和计划锚等显式领域选择，实现注意力机制的原理性比较与扩展。

Comments 34 pages. Major reconstruction and retitling of the withdrawn previous version. The incorrect non-completability theorem and all dependent claims have been removed. The present version replaces the earlier operator-first development with an analysis of neural-architecture individuation and architecture under composition. Submitted to JMLR

The Matching Principle: When Does a Training Penalty Cover Deployment Shift?

匹配原则：面向干扰鲁棒表示学习的损失函数几何理论

Vishal Rajput

机构 * KU Leuven（根特大学） 纠错

AI总结 提出匹配原则，通过估计任务协方差矩阵并匹配惩罚矩阵的像空间，统一了多种鲁棒性方法，并在线性高斯模型中证明最优性。

Comments 51 pages. Journal-aligned revision of this preprint for JMLR. Title and abstract updated to the even-spread coverage framing. Same author, Matching Principle, and experimental lineage; not a new paper. Under submission at JMLR. Companion: arXiv:2604.21395

The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data

伪标签在高维高斯混合数据上自训练线性分类器中的作用

Takashi Takahashi

AI总结 研究在高维高斯混合数据上自训练线性分类器中伪标签的作用，推导分析迭代ST行为，发现其依迭代次数不同提升泛化，标签不平衡时性能欠佳，提出两种启发式方法提升其性能。

Comments Accepted for publication in the Journal of Machine Learning Research (JMLR). Camera-ready version

Causal Falsification of Digital Twins

数字孪生的因果证伪

Rob Cornish, Muhammad Faaiz Taufiq, Arnaud Doucet, Chris Holmes

AI总结 本研究针对安全关键场景下数字孪生的准确性评估问题，提出仅需独立同分布观测轨迹数据的通用统计因果证伪方法，将其应用于Pulse生理引擎脓毒症建模，采用MIMIC-III数据集验证，可应对数据混杂问题。

Comments Accepted for publication in the Journal of Machine Learning Research (JMLR)

Supervised Learning Has a Geometric Blind Spot

监督学习具有一个必要的几何盲区：理论、后果和最小修复

Vishal Rajput

机构 * KU Leuven（卢森堡大学） 纠错

AI总结 监督学习存在几何盲区，导致对抗训练影响鲁棒性与清洁输入几何。本文通过理论分析揭示其本质，并提出PMH方法有效修复此问题。

Comments 35 pages. v2: JMLR-aligned revision of arXiv:2604.21395; Proposition 6 corrected to minimax (worst-case) anisotropy; title shortened to Supervised Learning Has a Geometric Blind Spot. Under submission at JMLR. Companion: arXiv:2605.22800

Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

探究原点之外齐次神经网络的梯度流动力学

Akshay Kumar, Jarvis Haupt

AI总结 本文研究齐次神经网络逃离原点后的梯度流动力学，刻画首个鞍点，证明特定条件下逃离前的稀疏结构会保留至下一个鞍点。

Comments jmlr-final-version

A neural network approach to learning solutions of a class of elliptic variational inequalities

一类椭圆变分不等式解学习的神经网络方法

Amal Alphonse, Michael Hintermüller, Alexander Kister, Chin Hang Lun, Clemens Sirotenko

AI总结 该研究提出一种弱对抗神经网络方法，将椭圆变分不等式类障碍问题转化为极小极大问题，采用改进的梯度下降上升算法求解，可处理传统方法难以应对的双活性障碍问题。

Comments Accepted in JMLR

Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies

基于机制稀疏性的非参数部分解缠：稀疏动作、干预与稀疏时间依赖关系

Sébastien Lachapelle, Pau Rodríguez López, Yash Sharma, Katie Everett, Rémi Le Priol, Alexandre Lacoste, Simon Lacoste-Julien

AI总结 本研究提出机制稀疏性正则化原理，建立非参数可识别性理论，提出基于变分自编码器的估计方法，实现部分解缠，可利用多节点未知目标干预实现解缠，是CLeaR 2022工作的大幅扩展版。

Comments JMLR 2026. 90 pages

Journal ref Journal of Machine Learning Research. 27(71):1-90, 2026

Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications

关键点引导的最优传输：模型、算法及应用

Xiang Gu, Yucheng Yang, Wei Zeng, Jian Sun, Zongben Xu

AI总结 研究如何利用标注的关键点在最优传输中引导正确匹配，提出KPG-RL模型，在多种传输设置下开发并推导对偶公式，基于深度学习学习传输，开发新策略，应用于多领域并验证有效性。

Comments Accepted by JMLR

Are Flat Minima an Illusion?

平坦极小值是否只是一个幻觉？

Michael Timothy Bennett

机构 * School of Computing（计算学院） ； The Australian National University（澳大利亚国立大学） 纠错

AI总结 本文探讨了平坦极小值对泛化能力的影响，指出弱性才是关键因素，并通过实验验证了弱性与泛化能力的正相关关系。

Comments 27 pages, 1 figure. Major revision adds an affine-invariant joint completion score, PAC-Bayes certificates, a task-alignment theorem, three predeclared 100-network cohorts, a random-label control, and expanded references. Submitted to JMLR

Gradient Span Algorithms Make Predictable Progress in High Dimension

梯度跨度算法在高维中取得可预测进展

Felix Benning, Leif Döring

AI总结 研究梯度跨度算法在高维中的渐近确定性行为，此行为是随机二次函数和自旋玻璃类似结果的泛化，能解释机器学习模型训练的反直觉现象，自动机器学习社区借此避免超参数多次重试。

Journal ref Journal of Machine Learning Research 27, no. 121 (2026): 1-62. https://jmlr.org/papers/v27/25-1651.html

Near-optimal Delta-convex Estimation of Lipschitz Functions

Lipschitz函数的近最优Delta-凸估计

Gábor Balázs

机构 * G&G 纠错

AI总结 本文针对从噪声观测中估计未知Lipschitz函数的问题，提出一种扩展最大仿射方法的算法。通过非线性特征扩展等技术，在随机设计设置下达到极小极大收敛速度。算法集成多种机制，还能适应凸形状受限回归，实验显示其性能优于其他理论方法。

Comments 41 pages, 7 figures

Journal ref Journal of Machine Learning Research, 27(134):1-41, 2026

Hierarchical Causal Models

分层因果模型

Eli N. Weinstein, David M. Blei

AI总结 研究数据分层情境下的因果推断问题，引入分层因果模型，开发图形识别技术与估计策略，通过模拟和实例分析表明分层数据能实现因果识别，解决非分层数据无法解决的问题。

Comments This version cleans up an issue in Prop. 15 in App. E.1. Supplementary code is available at https://github.com/EWeinstein/HCM

Journal ref Journal of Machine Learning Research, 27(37) 1-73, 2026

A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks

部分训练的三层神经网络的泛函空间平均场理论

Zhengdao Chen, Eric Vanden-Eijnden, Joan Bruna

机构 * Google Research（谷歌研究） ； Courant Institute, New York University（纽约大学Courant研究所） 纠错

AI总结 研究部分训练的三层神经网络无穷宽度极限，通过扩展平均场理论，将神经元表示提升到泛函空间，建立泛函梯度流，证明训练损失线性收敛，定义新型函数空间并证明复杂度界，适用于多种缩放选择，展现特征学习。

Comments 67 pages, 12 figures

Journal ref Journal of Machine Learning Research, 27(52):1-67, 2026

Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination

通过逐层特征压缩与判别理解深度表示学习

Peng Wang, Xiao Li, Can Yaras, Zhihui Zhu, Laura Balzano, Wei Hu, Qing Qu

机构 * University of Michigan（密歇根大学） ； Ohio State University（俄亥俄州立大学） 纠错

AI总结 本文通过定义层内压缩和层间判别指标，理论证明深度线性网络在近正交输入和最小范数平衡低秩权重下，特征以几何率压缩、线性率判别，首次定量刻画深度线性网络的分层特征演化，并在非线性网络和迁移学习中验证。

Comments This paper has been accepted for publication in the Journal of Machine Learning Research

Impatient Bandits: Optimizing for the Long-Term Without Delay

不耐烦的赌博机：无需延迟地优化长期目标

Kelly W. Zhang, Thomas Baldwin-McDonald, Kamil Ciosek, Lucas Maystre, Daniel Russo

机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Manchester（曼彻斯特大学） ； Spotify ； Reflection AI ； Columbia University（哥伦比亚大学） 纠错

AI总结 针对推荐系统中长期用户满意度优化问题，提出一种结合贝叶斯滤波的延迟奖励预测模型和赌博机算法，利用短期代理信号加速学习，理论证明遗憾界依赖于渐进反馈价值，在播客推荐A/B测试中显著优于基线方法。

Comments To appear in Journal of Machine Learning (JMLR)

Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions

打破维度诅咒：扩散模型高效学习低维分布

Peng Wang, Huijie Zhang, Zekai Zhang, Siyi Chen, Yi Ma, Qing Qu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出新数学框架，证明扩散模型通过等价于子空间聚类，能以线性于内在维度的样本复杂度学习低维分布，避免维度诅咒。

Comments 37 pages, 8 figures, 2 tables, JMLR publication

Scalable Inference-Time Annealing with Surrogate Likelihood Estimators

可扩展的推理时退火与代理似然估计器

Daniel Peñaherrera, Rishal Aggarwal, David Ryan Koes

机构 * CMU-Pitt PhD Program in Computational Biology Dept. of Computational & Systems Biology, University of Pittsburgh, Pittsburgh, PA 15260, USA（卡内基梅隆大学-匹兹堡联合博士项目 计算生物学部门 计算与系统生物学系，匹兹堡大学，匹兹堡，PA 15260，USA） 纠错

AI总结 提出可扩展推理时退火（SITA）方法，通过基于能量的模型实现快速代理似然，避免昂贵的散度计算，在丙氨酸二肽和三肽上取得最先进性能。

Comments 26 pages, 5 figures, submitted to JMLR 2026

The Sample Complexity of Parameter-Free Stochastic Convex Optimization

无参数随机凸优化的样本复杂度

Jared Lawrence, Ari Kalinsky, Hannah Bradfield, Yair Carmon, Oliver Hinder

机构 * Department of Industrial Engineering, University of Pittsburgh（工业工程系，匹兹堡大学） ； Department of Computer Science, Tel Aviv University（计算机科学系，特拉维夫大学） 纠错

AI总结 研究未知问题参数（如到最优点的距离和Lipschitz常数）下随机凸优化的样本复杂度，提出可靠模型选择方法和正则化方法，实现最优样本复杂度并避免过拟合。

Comments Accepted for publication in JMLR

Investigating the Histogram Loss in Regression

探究回归中的直方图损失

Ehsan Imani, Kai Luedemann, Sam Scholnick-Hughes, Esraa Elelimy, Martha White

机构 * Alberta Machine Intelligence Institute (Amii) and Reinforcement Learning and Artificial Intelligence Laboratory（阿尔伯塔机器智能研究所（Amii）和强化学习与人工智能实验室） ； Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学） ； University of Tübingen（图宾根大学） ； Zuse School ELIZA（祖斯学校ELIZA） 纠错

AI总结 本文通过理论和实验分析，探究直方图损失在回归任务中提升性能的原因，发现其优势源于优化改进而非额外信息建模，并在常见深度学习应用中验证其有效性。

Comments 52 pages

Journal ref JMLR,2026