权重初始化

在训练神经网络时，权重随机初始化是很重要的。

对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果你把权重
或者参数都初始化为 0，那么梯度下降将不会起作用。

如果你把权重都初始化为 0，那么由于隐含单元开始计算同一个函数，所有的隐含单元就会对输出单元有同样的影响。
一次迭代后同样的表达式结果仍然是相同的，即隐含单元仍是对称的。通过推导，两次、三次、无论多少次迭代，不管你训练网络多长时间，
隐含单元仍然计算的是同样的函数。因此这种情况下超过 1 个隐含单元也没什么意义，因为他们计算同样的东西。如果你要初始化成 0，
由于所有的隐含单元都是对称的，无论你运行梯度下降多久，他们一直计算同样的函数。这没有任何帮助，因为你想要两个不同
的隐含单元计算不同的函数，这个问题的解决方法就是随机初始化参数。