修正了文档中数学公式无法显示的问题
This commit is contained in:
parent
c1b4fcd1ca
commit
97a948162d
|
|
@ -47,8 +47,8 @@ $$
|
|||
|
||||
<img src="res/08_sigmoid_function.png" style="zoom:62%;">
|
||||
|
||||
- **特点**:Sigmoid 函数将输入值映射到$\small{(0, 1)}$的范围内,呈现出平滑的 S 型曲线。
|
||||
- **优点**:特别适用于概率预测,因为输出在$\small{(0, 1)}$之间,可以理解为概率值。
|
||||
- **特点**:Sigmoid 函数将输入值映射到 $\small{(0, 1)}$ 的范围内,呈现出平滑的 S 型曲线。
|
||||
- **优点**:特别适用于概率预测,因为输出在 $\small{(0, 1)}$ 之间,可以理解为概率值。
|
||||
- **缺点**:对于较大的正值或负值,梯度会变得很小,导致梯度消失问题,从而影响深层网络的训练。除此以外,由于输出非零中心,这会导致梯度更新不对称,可能使得收敛变慢。
|
||||
|
||||
2. Tanh 函数(双曲正切函数)
|
||||
|
|
@ -59,8 +59,8 @@ $$
|
|||
|
||||
<img src="res/08_tanh_function.png" style="zoom:62%;" />
|
||||
|
||||
- **特点**:Tanh 函数将输入映射到$\small{(-1, 1)}$的范围内,也是 S 型曲线,但中心对称。
|
||||
- **优点**:与 Sigmoid 类似,但输出在$\small{(-1, 1)}$之间,这样的零中心输出使得梯度更新更对称,更适合用于深层网络。
|
||||
- **特点**:Tanh 函数将输入映射到 $\small{(-1, 1)}$ 的范围内,也是 S 型曲线,但中心对称。
|
||||
- **优点**:与 Sigmoid 类似,但输出在 $\small{(-1, 1)}$ 之间,这样的零中心输出使得梯度更新更对称,更适合用于深层网络。
|
||||
- **缺点**:在极值附近,梯度仍会趋向于零,导致梯度消失问题。
|
||||
|
||||
3. ReLU 函数(Rectified Linear Unit)
|
||||
|
|
@ -69,7 +69,7 @@ $$
|
|||
f(x) = max(0, x)
|
||||
$$
|
||||
|
||||
- **特点**:ReLU 将输入小于零的部分设为零,而大于零的部分保持不变,因此其输出范围是$\small{[0, +\infty]}$。
|
||||
- **特点**:ReLU 将输入小于零的部分设为零,而大于零的部分保持不变,因此其输出范围是 $\small{[0, +\infty]}$ 。
|
||||
- **优点**:计算简单,有效避免了梯度消失问题,因此被广泛应用于深层网络。能够保持稀疏性,许多神经元的输出为零,有利于网络简化计算。
|
||||
- **缺点**:当输入为负数时,ReLU 的梯度为零。若输入长期为负数,神经元可能“死亡”并停止更新。
|
||||
|
||||
|
|
@ -79,11 +79,11 @@ $$
|
|||
f(x) = \begin{cases} x & (x \gt 0) \\ {\alpha}x & (x \le 0)\end{cases}
|
||||
$$
|
||||
|
||||
- **特点**:Leaky ReLU 是对 ReLU 的改进,它为输入小于零的部分引入了一个小的负斜率(通常取值$\small{\alpha = 0.01}$),使得梯度不为零。
|
||||
- **特点**:Leaky ReLU 是对 ReLU 的改进,它为输入小于零的部分引入了一个小的负斜率(通常取值 $\small{\alpha = 0.01}$ ),使得梯度不为零。
|
||||
- **优点**:通过允许负值的输出,避免了死神经元问题,使得网络更健壮。
|
||||
- **缺点**:虽然 Leaky ReLU 能缓解死神经元问题,但其负值斜率的选择对网络性能会有一些影响,且对模型的非线性表示能力没有显著提升。
|
||||
|
||||
在一个包含多个层的神经网络中,信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ,按照上面神经元计算公式,有:
|
||||
在一个包含多个层的神经网络中,信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ,按照上面神经元计算公式,有:
|
||||
|
||||
$$
|
||||
\mathbf{a}^{[l]} = f \left( \mathbf{W}^{[l]} \mathbf{a}^{[l-1]} + \mathbf{b}^{[l]} \right)
|
||||
|
|
|
|||
Loading…
Reference in New Issue