2. 从优化角度来讲 在分类任务上使用交叉熵而非均方误差的原因主要是: 分类任务上常用的激活函数是sigmoid,如果使用均方误差的话,在使用梯度下降算法更新时,权值w的偏导会含有sigmoid函数导数项(在输出接近0和1时会非常小),导致训练阶段学习速度会变得很慢,而如果用交叉熵的话,权值w的偏导时不含sigmoid函数的导数项的(可以自己推导一下),所以不会出现这个问题。所以在分类任务上,我们一般使用交叉熵。😊
6 2

相关推荐

淬月星辉:专利是什么?至少描述一下吧,然后把什么计算机二级、普通话这种拉低格调的证书删掉,不然hr以为你没东西写
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务