1. 非线性：当激活函数是线性的 -> 非线性

3.4.4 激活函数有哪些性质？
2019-11-13 15:53:03 -06:00 · 2019-11-13 15:53:03 -06:00 · 8c7ca0dde5
parent 9da3ab2092
commit 8c7ca0dde5
1 changed files with 1 additions and 1 deletions
--- a/ch03_深度学习基础/第三章_深度学习基础.md
+++ b/ch03_深度学习基础/第三章_深度学习基础.md
@ -493,7 +493,7 @@ $$

 ### 3.4.4 激活函数有哪些性质？

-1. 非线性： 当激活函数是线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即 $ f(x)=x $，就不满足这个性质，而且如果 MLP 使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的；
+1. 非线性： 当激活函数是非线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即 $ f(x)=x $，就不满足这个性质，而且如果 MLP 使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的；
 2. 可微性： 当优化方法是基于梯度的时候，就体现了该性质；
 3. 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数；
 4. $ f(x)≈x $： 当激活函数满足这个性质的时候，如果参数的初始化是随机的较小值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要详细地去设置初始值；