diff --git a/ch03_深度学习基础/第三章_深度学习基础.md b/ch03_深度学习基础/第三章_深度学习基础.md index 7ec2985..7f604ff 100644 --- a/ch03_深度学习基础/第三章_深度学习基础.md +++ b/ch03_深度学习基础/第三章_深度学习基础.md @@ -493,7 +493,7 @@ $$ ### 3.4.4 激活函数有哪些性质? -1. 非线性: 当激活函数是线性的,一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候,即 $ f(x)=x $,就不满足这个性质,而且如果 MLP 使用的是恒等激活函数,那么其实整个网络跟单层神经网络是等价的; +1. 非线性: 当激活函数是非线性的,一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候,即 $ f(x)=x $,就不满足这个性质,而且如果 MLP 使用的是恒等激活函数,那么其实整个网络跟单层神经网络是等价的; 2. 可微性: 当优化方法是基于梯度的时候,就体现了该性质; 3. 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数; 4. $ f(x)≈x $: 当激活函数满足这个性质的时候,如果参数的初始化是随机的较小值,那么神经网络的训练将会很高效;如果不满足这个性质,那么就需要详细地去设置初始值;