DataWhale李宏毅机器学习D6打卡

学习内容：p13深度学习简介
学习地址：https://www.bilibili.com/video/BV1Ht411g7Ef?p=13&vd_source=dd9ab903e79f3a3294d68db810c9eb5c

深度学习发展趋势

深度学习的三个步骤

Step1：神经网络（Neural network）
Step2：模型评估（Goodness of function）
Step3：选择最优函数（Pick best function）

step1 神经网络

神经网络有很多不同的连接方式，这样就会产生不同的结构，在这个神经网络里，我们有很多逻辑回归函数，其中每个逻辑回归函数都有自己的权重和自己的偏差，这些权重和偏差就是参数
而神经元之间的链接方式是手动设计的

1.1 前馈神经网络：

即输入信号进入网络后，信号流动是单向的，其中任意两层之间的链接并没有反馈。

所以一个神经网络如果权重和偏差都知道的话就可以看作一个函数，输入和输出都是一个向量。

对于一个神经网络，如果参数已知，就代表一个function；如果参数未知，只是知道神经元的连接方式，这样的神经网络就是一个函数集（function set），通过给他们不同的参数。

此时的function set是比较大的，是以前回归模型无法包含的函数。

1.2 全链接和前馈的理解

每一层两两链接，因此叫做全链接
由于从后往前传，因此叫前馈

1.3 对deep的理解

deep = many hidden layer
有很多隐藏层
2012 AlexNet：8层
2014 VGG：19层
2014 GoogleNet：22层
2015 Residual Net：152层
101 Taipei：101层

1.4 Matrix Operation

神经网络计算方法：矩阵计算

计算出的【4，-2】丢进sigmoid中，计算最后的结果
可以将神经网络计算变成矩阵的计算

神经网络计算过程——是一种嵌套的矩阵运算，其好处在于可以用GPU加速。

1.5隐藏层的本质

其本质在于通过隐藏层进行特征转换

隐藏层替代了之前的特征工程，但是也相当于一个黑箱操作，把隐藏层的输出当作输入，然后通过一个多分类器softmax进行输出得到最后的y。

1.6举个例子：手写数字识别

输入：256维的数字
输出：属于每个数字的概率，是10维
中间：我们需要自己决定神经网络的结构，由此就可以决定函数集。所以说网络结构是很关键的。
问题们：
1.需要多少层？每层需要多少个神经元
尝试加直觉。机器学习我们需要把特征工程做好，深度学习无须进行特征工程，但是与此同时，又出现了新的问题，就是我们应该怎样设计神经网络模型呢？
2.结构可以自行确定吗？
有很多设计方法可以让机器自动找到神经网络的结构的，比如进化人工神经网络（Evolutionary Artificial Neural Networks）但是这些方法并不是很普及 。
3.我们可以设计网络结构吗？
可以。比如CNN卷积神经网络

step2 ：模型评估

1.1 交叉熵

在神经网络中，我们交叉熵（cross entropy）函数来对y和 hat{y}的损失进行计算

1.2总体损失

通过计算所有训练数据的损失和得到总体损失。
——找function set 可以最小化总体损失——找神经网络的参数使总体损失最小

step3：选择最优函数

方法：梯度下降法
反向传播：计算神经网络损失的最好方法，有很多工具比如：TensorFlow、theano、Pytorch等等

隐藏层越多越好吗？

Not surprise, more parameters, better performance.
是的，层次越深效果越好

如果对于任何一个连续函数，都可以用足够多的隐藏层表示，那么我们为什么还需要deep 学习呢？

这篇好文章是转载于：学新通技术网