The Tamed Subgradient Unadjusted Langevin Algorithm beyond Convexity
超越凸性的驯服次梯度未校正朗之万算法
机构 * University of Edinburgh(爱丁堡大学) ; National Technical University of Athens(雅典国立技术大学) ; Athena/Archimedes Research Centre(雅典娜/阿基米德研究中心)
AI总结 本文针对非光滑、超线性梯度增长且非凸的目标分布采样问题,提出SG-TULA算法,推导其非渐近收敛界,验证假设并用于GPT-2系列LLM预训练,效果优于AdamW等。
Comments 53 pages