神经网络中的超参数

神经网络中常见的超参数：
1.隐藏层的大小n^[l](size of hidden layers)
2.学习率 alpha(learning rate)
3.迭代次数(number of iterations)
4.神经网络中的层数L(number of layers L in the neral network)

计算图

一个计算流程图，就是正向或者说从左到右的计算来计算成本函数𝐽，你可能
需要优化的函数，然后反向从右到左计算导数。

参考吴恩达深度学习视频：https://www.bilibili.com/video/BV1FT4y1E74V?p=15&spm_id_from=pageDriver

前向传播和反向传播中使用的cache

the “cache” records values from the forward propagation units and sends it to the backward
propagation units because it is needed to compute the chain rule derivatives.(“cache”记录
来自正向传播单元的值并将其发送到反向传播单元，因为需要链式计算导数。)

sigmoid or tanh？

Sigmoid outputs a value between 0 and 1 which makes it a very good choice for binary classification.
You can classify as 0 if the output is less than 0.5 and classify as 1 if the output is more than 0.5.
It can be done with tanh as well but it is less convenient as the output is between -1 and 1.(Sigmoid
输出的值介于 0 和 1 之间，这使其成为二元分类的一个非常好的选择。 如果输出小于 0.5，则可以将其归类为 0，如果输出
大于 0.5，则归类为 1。 它也可以用 tanh 来完成，但是它不太方便，因为输出在
-1 和 1 之间。)

感知机

点这里查看更多关于感知机的知识！！！

把隐藏层数量当做参数

在搭建深度网络时，不一定非要使用很多隐藏层，在刚开始解决一个新问题时，通常可以从
logistic回归开始，再试试一到两个隐层，把隐藏层数量当做参数、超参数一样去调试，这样
去找比较合适的深度。

刷题笔记

刷题笔记1

刷题笔记2

飞桨推出的深度学习资料一站式获取平台项目

这是飞桨推出的深度学习资料一站式获取平台项目，可以看看有没有符合自己的资料哈~~

飞桨PaddlePaddle

吴恩达课后作业

这是在b站学习吴恩达深度学习课程时发现的课后作业实现，非常详细！！！点赞！！！

链接：吴恩达深度学习课后作业

为什么需要非线性激活函数?

为什么神经网络需要非线性激活函数？如果使用线性激活函数(恒等激励函数)，那么神经网络只是把输入线性组合
再输出。对于深度神经网络来说，如果使用了线性激活函数或者没有使用激活函数，那么无论你的神经网络有多少
层，它做的只是计算线性函数，这样的做法与直接去掉全部隐藏层无异。因此，必须通过非线性激活函数来引入非线性。