Xi'an Jiaotong University（西安交通大学）

Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning

利用外梯度实现深度学习中有效的锐度感知最小化

Yao Fu, Chunxia Zhang, Junmin Liu, Yihang Jin, Haishan Ye, Yuanao Yang

机构 * SGIT AI Lab, State Grid Corporation of China（国网SGIT人工智能实验室） ； School of Management, Xi’an Jiaotong University（西安交通大学管理学院） ； School of Software, Xi’an Jiaotong University（西安交通大学软件学院） 纠错

AI总结 研究针对深度学习泛化难题，基于SAM提出EISAM优化器，通过两步更新过程提升泛化性能，对扰动半径敏感度降低。实验表明其在测试准确率和训练效率上优于多种优化器，理论分析证实其收紧泛化边界，还提供实用调优指导。