引入自适应学习率调整(对每个参数维护独立的学习率)
使用动量项加速梯度在正确方向上的更新
对动量和自适应学习率的初始偏差进行修正
基于梯度的平方的移动平均估计参数的二阶矩
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题