From 97a948162d4f8e65c26697ce4827626a621a2e37 Mon Sep 17 00:00:00 2001 From: jackfrued Date: Thu, 13 Feb 2025 17:27:01 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E4=BA=86=E6=96=87=E6=A1=A3?= =?UTF-8?q?=E4=B8=AD=E6=95=B0=E5=AD=A6=E5=85=AC=E5=BC=8F=E6=97=A0=E6=B3=95?= =?UTF-8?q?=E6=98=BE=E7=A4=BA=E7=9A=84=E9=97=AE=E9=A2=98?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Day81-90/88.神经网络模型.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/Day81-90/88.神经网络模型.md b/Day81-90/88.神经网络模型.md index aef8fe2..bdd4e84 100755 --- a/Day81-90/88.神经网络模型.md +++ b/Day81-90/88.神经网络模型.md @@ -47,8 +47,8 @@ $$ -- **特点**：Sigmoid 函数将输入值映射到$\small{(0, 1)}$的范围内，呈现出平滑的 S 型曲线。 -- **优点**：特别适用于概率预测，因为输出在$\small{(0, 1)}$之间，可以理解为概率值。 +- **特点**：Sigmoid 函数将输入值映射到 $\small{(0, 1)}$ 的范围内，呈现出平滑的 S 型曲线。 +- **优点**：特别适用于概率预测，因为输出在 $\small{(0, 1)}$ 之间，可以理解为概率值。 - **缺点**：对于较大的正值或负值，梯度会变得很小，导致梯度消失问题，从而影响深层网络的训练。除此以外，由于输出非零中心，这会导致梯度更新不对称，可能使得收敛变慢。 2. Tanh 函数（双曲正切函数） @@ -59,8 +59,8 @@ $$ -- **特点**：Tanh 函数将输入映射到$\small{(-1, 1)}$的范围内，也是 S 型曲线，但中心对称。 -- **优点**：与 Sigmoid 类似，但输出在$\small{(-1, 1)}$之间，这样的零中心输出使得梯度更新更对称，更适合用于深层网络。 +- **特点**：Tanh 函数将输入映射到 $\small{(-1, 1)}$ 的范围内，也是 S 型曲线，但中心对称。 +- **优点**：与 Sigmoid 类似，但输出在 $\small{(-1, 1)}$ 之间，这样的零中心输出使得梯度更新更对称，更适合用于深层网络。 - **缺点**：在极值附近，梯度仍会趋向于零，导致梯度消失问题。 3. ReLU 函数（Rectified Linear Unit） @@ -69,7 +69,7 @@ $$ f(x) = max(0, x) $$ -- **特点**：ReLU 将输入小于零的部分设为零，而大于零的部分保持不变，因此其输出范围是$\small{[0, +\infty]}$。 +- **特点**：ReLU 将输入小于零的部分设为零，而大于零的部分保持不变，因此其输出范围是 $\small{[0, +\infty]}$ 。 - **优点**：计算简单，有效避免了梯度消失问题，因此被广泛应用于深层网络。能够保持稀疏性，许多神经元的输出为零，有利于网络简化计算。 - **缺点**：当输入为负数时，ReLU 的梯度为零。若输入长期为负数，神经元可能“死亡”并停止更新。 @@ -79,11 +79,11 @@ $$ f(x) = \begin{cases} x & (x \gt 0) \\ {\alpha}x & (x \le 0)\end{cases} $$ -- **特点**：Leaky ReLU 是对 ReLU 的改进，它为输入小于零的部分引入了一个小的负斜率（通常取值$\small{\alpha = 0.01}$），使得梯度不为零。 +- **特点**：Leaky ReLU 是对 ReLU 的改进，它为输入小于零的部分引入了一个小的负斜率（通常取值 $\small{\alpha = 0.01}$ ），使得梯度不为零。 - **优点**：通过允许负值的输出，避免了死神经元问题，使得网络更健壮。 - **缺点**：虽然 Leaky ReLU 能缓解死神经元问题，但其负值斜率的选择对网络性能会有一些影响，且对模型的非线性表示能力没有显著提升。 -在一个包含多个层的神经网络中，信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ，按照上面神经元计算公式，有： +在一个包含多个层的神经网络中，信息会一层一层的进行传递。假设第 $\small{l}$ 层的输出是 $\small{\mathbf{a}^{[l]}}$ ，按照上面神经元计算公式，有： $$ \mathbf{a}^{[l]} = f \left( \mathbf{W}^{[l]} \mathbf{a}^{[l-1]} + \mathbf{b}^{[l]} \right)