From 7a0f4ae22e889a9748ad0bc08d0349ecfe917235 Mon Sep 17 00:00:00 2001 From: jackfrued Date: Thu, 13 Feb 2025 16:56:41 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E4=BA=86=E9=83=A8=E5=88=86?= =?UTF-8?q?=E6=96=87=E6=A1=A3=E4=B8=AD=E7=9A=84=E7=AC=94=E8=AF=AF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Day81-90/85.回归模型.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/Day81-90/85.回归模型.md b/Day81-90/85.回归模型.md index 3830c61..2a4d7cf 100755 --- a/Day81-90/85.回归模型.md +++ b/Day81-90/85.回归模型.md @@ -327,7 +327,7 @@ print(f'决定系数: {r2:.4f}') 岭回归是在线性回归的基础上引入 $\small{L2}$ 正则化项，目的是防止模型过拟合，尤其是当特征数较多或特征之间存在共线性时。岭回归的损失函数如下所示： $$ -L(\beta) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \lambda \cdot \sum_{j=1}^{n}\beta_{j}^{2} +L(\beta) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}} $$ 其中， $\small{L2}$ 正则化项 $\small{\lambda \sum_{j=1}^{n} \beta_{j}^{2}}$ 会惩罚较大的回归系数，相当于缩小了回归系数的大小，但不会使系数为 0（即不会进行特征选择）。可以通过 scikit-learn 库`linear_model`模块的`Ridge`类实现岭回归，代码如下所示。 @@ -359,7 +359,7 @@ print(f'决定系数: {r2:.4f}') 套索回归引入 $\small{L1}$ 正则化项，不仅防止过拟合，还具有特征选择的功，特别适用于高维数据。套索回归的损失函数如下所示： $$ -L(\mathbf{\beta}) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \lambda \cdot \sum_{j=1}^{n} \lvert \beta_{j} \rvert +L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \lambda \cdot \sum_{j=1}^{n}{\lvert \beta_{j} \rvert} $$ 其中， $\small{L1}$ 正则化项 $\small{\lambda \sum_{j=1}^{n} \lvert \beta_{j} \rvert}$ 会将某些不重要的回归系数缩减为 0，从而实现特征选择。可以通过 scikit-learn 库`linear_model`模块的`Lasso`类实现套索回归，代码如下所示。 @@ -393,7 +393,7 @@ print(f'决定系数: {r2:.4f}') 弹性网络回归结合了岭回归和套索回归的优点，通过同时引入 $\small{L1}$ 和 $\small{L2}$ 正则化项，适用于高维数据且特征之间存在相关的情况，其损失函数如下所示： $$ -L(\mathbf{\beta}) = \sum_{i=1}^{m}(y_{i} - \hat{y}_{i})^{2} + \alpha \lambda \sum_{j=1}^{n} \lvert \beta_{j} \rvert + (1 - \alpha) \lambda \sum_{j=1}^{n}\beta_{j}^{2} +L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i})^{2}} + \alpha \cdot \lambda \sum_{j=1}^{n}{\lvert \beta_{j} \rvert} + (1 - \alpha) \cdot \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}} $$ 其中， $\small{\alpha}$ 是控制 $\small{L1}$ 和 $\small{L2}$ 正则化的权重比例。