非线性函数为神经网络引入了非线性

1、样本及激活函数

 2、不同网络下的输出

（1）全连接网络

 

 （2）非连接网络

 

  3、总结

       从上面可以看出，当使用全连接网络的时候，这个非线性函数经过多次变化后还是x1和x2的线性组合，本质上无论多少层都是线性变换，解决不了非线性问题，但是，如果dropout一些神经元反而相当于引入了非线性，从而最终输出无法表示为x1和x2的线性组合，也就是可以解决非线性问题，当然，如果激活函数是y=x，无论如何变换，或者是全连接、非全连接，最终都是线性的。

这篇好文章是转载于：学新通技术网