Singular Fluctuation as Specific Heat in Bayesian Learning
AI总结 本文研究了贝叶斯学习中奇异学习理论中的“奇异波动”这一概念,揭示了其在热力学中的精确解释。作者指出,奇异波动等同于贝叶斯自由能对逆温度的曲率,即对数似然可观测值的方差,因此可视为统计意义上的比热容。这一解释阐明了奇异波动在训练误差与泛化误差关系中的作用,并解释了WAIC在奇异模型中成功的本质原因。研究还通过高斯混合模型和低秩回归验证了奇异波动作为热力学响应系数的行为。
Comments Withdrawn by the author. The main thermodynamic identity in this version incorrectly identifies Watanabe's functional variance with the scalar variance of the total log likelihood. A corrected version will distinguish global heat capacity from the pointwise predictive response trace