修正了部分文档中的笔误
This commit is contained in:
parent
0945f8011f
commit
7a0f4ae22e
|
|
@ -327,7 +327,7 @@ print(f'决定系数: {r2:.4f}')
|
|||
岭回归是在线性回归的基础上引入 $\small{L2}$ 正则化项,目的是防止模型过拟合,尤其是当特征数较多或特征之间存在共线性时。岭回归的损失函数如下所示:
|
||||
|
||||
$$
|
||||
L(\beta) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \lambda \cdot \sum_{j=1}^{n}\beta_{j}^{2}
|
||||
L(\beta) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}}
|
||||
$$
|
||||
|
||||
其中, $\small{L2}$ 正则化项 $\small{\lambda \sum_{j=1}^{n} \beta_{j}^{2}}$ 会惩罚较大的回归系数,相当于缩小了回归系数的大小,但不会使系数为 0(即不会进行特征选择)。可以通过 scikit-learn 库`linear_model`模块的`Ridge`类实现岭回归,代码如下所示。
|
||||
|
|
@ -359,7 +359,7 @@ print(f'决定系数: {r2:.4f}')
|
|||
套索回归引入 $\small{L1}$ 正则化项,不仅防止过拟合,还具有特征选择的功,特别适用于高维数据。套索回归的损失函数如下所示:
|
||||
|
||||
$$
|
||||
L(\mathbf{\beta}) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \lambda \cdot \sum_{j=1}^{n} \lvert \beta_{j} \rvert
|
||||
L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \lambda \cdot \sum_{j=1}^{n}{\lvert \beta_{j} \rvert}
|
||||
$$
|
||||
|
||||
其中, $\small{L1}$ 正则化项 $\small{\lambda \sum_{j=1}^{n} \lvert \beta_{j} \rvert}$ 会将某些不重要的回归系数缩减为 0,从而实现特征选择。可以通过 scikit-learn 库`linear_model`模块的`Lasso`类实现套索回归,代码如下所示。
|
||||
|
|
@ -393,7 +393,7 @@ print(f'决定系数: {r2:.4f}')
|
|||
弹性网络回归结合了岭回归和套索回归的优点,通过同时引入 $\small{L1}$ 和 $\small{L2}$ 正则化项,适用于高维数据且特征之间存在相关的情况,其损失函数如下所示:
|
||||
|
||||
$$
|
||||
L(\mathbf{\beta}) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \alpha \lambda \sum_{j=1}^{n} \lvert \beta_{j} \rvert + (1 - \alpha) \lambda \sum_{j=1}^{n}\beta_{j}^{2}
|
||||
L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \alpha \cdot \lambda \sum_{j=1}^{n}{\lvert \beta_{j} \rvert} + (1 - \alpha) \cdot \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}}
|
||||
$$
|
||||
|
||||
其中, $\small{\alpha}$ 是控制 $\small{L1}$ 和 $\small{L2}$ 正则化的权重比例。
|
||||
|
|
|
|||
Loading…
Reference in New Issue