修正了文档中数学公式无法显示的问题

This commit is contained in:
jackfrued 2025-02-13 17:27:01 +08:00
parent c1b4fcd1ca
commit 97a948162d
1 changed files with 7 additions and 7 deletions

View File

@ -47,8 +47,8 @@ $$
<img src="res/08_sigmoid_function.png" style="zoom:62%;">
- **特点**Sigmoid 函数将输入值映射到$\small{(0, 1)}$的范围内,呈现出平滑的 S 型曲线。
- **优点**:特别适用于概率预测,因为输出在$\small{(0, 1)}$之间,可以理解为概率值。
- **特点**Sigmoid 函数将输入值映射到 $\small{(0, 1)}$ 的范围内,呈现出平滑的 S 型曲线。
- **优点**:特别适用于概率预测,因为输出在 $\small{(0, 1)}$ 之间,可以理解为概率值。
- **缺点**:对于较大的正值或负值,梯度会变得很小,导致梯度消失问题,从而影响深层网络的训练。除此以外,由于输出非零中心,这会导致梯度更新不对称,可能使得收敛变慢。
2. Tanh 函数(双曲正切函数)
@ -59,8 +59,8 @@ $$
<img src="res/08_tanh_function.png" style="zoom:62%;" />
- **特点**Tanh 函数将输入映射到$\small{(-1, 1)}$的范围内,也是 S 型曲线,但中心对称。
- **优点**:与 Sigmoid 类似,但输出在$\small{(-1, 1)}$之间,这样的零中心输出使得梯度更新更对称,更适合用于深层网络。
- **特点**Tanh 函数将输入映射到 $\small{(-1, 1)}$ 的范围内,也是 S 型曲线,但中心对称。
- **优点**:与 Sigmoid 类似,但输出在 $\small{(-1, 1)}$ 之间,这样的零中心输出使得梯度更新更对称,更适合用于深层网络。
- **缺点**:在极值附近,梯度仍会趋向于零,导致梯度消失问题。
3. ReLU 函数Rectified Linear Unit
@ -69,7 +69,7 @@ $$
f(x) = max(0, x)
$$
- **特点**ReLU 将输入小于零的部分设为零,而大于零的部分保持不变,因此其输出范围是$\small{[0, +\infty]}$。
- **特点**ReLU 将输入小于零的部分设为零,而大于零的部分保持不变,因此其输出范围是 $\small{[0, +\infty]}$
- **优点**:计算简单,有效避免了梯度消失问题,因此被广泛应用于深层网络。能够保持稀疏性,许多神经元的输出为零,有利于网络简化计算。
- **缺点**当输入为负数时ReLU 的梯度为零。若输入长期为负数,神经元可能“死亡”并停止更新。
@ -79,11 +79,11 @@ $$
f(x) = \begin{cases} x & (x \gt 0) \\ {\alpha}x & (x \le 0)\end{cases}
$$
- **特点**Leaky ReLU 是对 ReLU 的改进,它为输入小于零的部分引入了一个小的负斜率(通常取值$\small{\alpha = 0.01}$),使得梯度不为零。
- **特点**Leaky ReLU 是对 ReLU 的改进,它为输入小于零的部分引入了一个小的负斜率(通常取值 $\small{\alpha = 0.01}$ ),使得梯度不为零。
- **优点**:通过允许负值的输出,避免了死神经元问题,使得网络更健壮。
- **缺点**:虽然 Leaky ReLU 能缓解死神经元问题,但其负值斜率的选择对网络性能会有一些影响,且对模型的非线性表示能力没有显著提升。
在一个包含多个层的神经网络中,信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ,按照上面神经元计算公式,有:
在一个包含多个层的神经网络中,信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ,按照上面神经元计算公式,有:
$$
\mathbf{a}^{[l]} = f \left( \mathbf{W}^{[l]} \mathbf{a}^{[l-1]} + \mathbf{b}^{[l]} \right)