深度学习中常用的几种激活函数
使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。
在不同的神经网络层中，激活函数可以不同
几种常用的激活函数：
note:
1.tanh函数总体上优于sigmoid函数(因为tanh函数值值域在-1,1之间，其均值更接近0)
2.例外：在二分类的问题中，对于输出层，因为𝑦的值是 0 或 1，所以想让𝑦^的数
值介于 0 和 1 之间，而不是在-1 和+1 之间。所以需要使用 sigmoid 激活函数。
如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单
元都选择 Relu 函数。
3.sigmoid 函数和 tanh 函数两者共同的缺点是，在𝑧特别大或者特别小的情况下，导数的
梯度或者函数的斜率会变得特别小，最后就会接近于 0，导致降低梯度下降的速度。
总结：
sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。
tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
ReLu 激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用 ReLu 或者
Leaky Relu