sigmoid函数原理及饱和后梯度消失的问题

发布于:2021-07-28 04:20:19

sigmoid函数原理及饱和后梯度消失的问题
sigmoid函数结构

sigmoid函数,是神经网络中的一种激活函数,其输出范围在(0,1)之间。主要运动于:
1、 作为激活函数,利用输出范围(0,1)与其非线性的特点,常用于在神经网络中间层作为激活函数;
2、在神经网络的最后一层将结果规则化在(0,1)之间。


sigmoid函数饱和带来的问题

1、 梯度消失
一种解决方法是在sigmoid层之前加入Batch Normalization层,即进行批规范化处理(BN),就是对每个神经元的输出进行规范化,使得均值为 0,方差为 1,之后再进入激活函数。但是每一层规范化后,输出就以极大的概率落在靠*中心的区间,这个区域sigmoid的梯度变化很大,也就不存在梯度消失的问题,但是又比较笔直,*似于线性。于是BN引入了新的参数进行学*,对规范化后的输出做一次线性映射,同时对参数进行学*,提高输出落在非线性区间的概率, 使得sigmoid 函数梯度小和线性表达之间做了一个*衡。

相关推荐

最新更新

猜你喜欢