JMLR

An Analysis of Posterior Collapse, Parameterization and Initialization in Variational Deep Gaussian Processes

变分深度高斯过程中的后验坍缩、参数化和初始化分析

Francisco Javier Sáez-Maldonado, Juan Maroñas, Daniel Hernández-Lobato

机构 * Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系） ； Universidad de Granada（格拉纳达大学） ； Department of Quantitative Methods（定量方法系） ； CUNEF Universidad Madrid, Spain（CUNEF马德里大学, 西班牙） ； Department of Computer Science and Centro de Investigación Avanzada en Física Fundamental（计算机科学系和先进物理基础研究中心） ； Universidad Autónoma de Madrid（马德里自治大学） 纠错

AI总结 研究变分深度高斯过程的后验坍缩问题，发现线性先验均值函数的优势源于改善初始化时的优化条件，提出零先验均值的替代初始化方法，避免后验坍缩并提升稳定性。

Comments Submitted to the Journal of Machine Learning Research

Deep Network Approximation: Beyond ReLU to Diverse Activation Functions

深度网络近似：超越ReLU到多样化激活函数

Shijun Zhang, Jianfeng Lu, Hongkai Zhao

AI总结 本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。

Comments This arXiv version contains only minor typo corrections and small clarifications to improve readability

Journal ref Journal of Machine Learning Research, 25(35):1--39, 2024