Merge pull request #337 from CoderOverflow/patch-7

2.17.1/2 决策树 内容修订
This commit is contained in:
scutan90 2019-04-11 20:00:22 +08:00 committed by GitHub
commit 3cbb71706a
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 7 additions and 5 deletions

View File

@ -1393,16 +1393,18 @@ $$
## 2.17 决策树
### 2.17.1 决策树的基本原理
决策树(Decision Tree)是一种分而治之的决策过程。一个困难的预测问题,通过树的分支节点,被划分成两个或多个较为简单的子集,从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去(Recursive Partitioning)。随着树的深度不断增加,分支节点的子集越来越小,所需要提的问题数也逐渐简化。当分支节点的深度或者问题的简单程度满足一定的停止规则(Stopping Rule)时, 该分支节点会停止分裂,此为自上而下的停止阈值(Cutoff Threshold)法;有些决策树也使用自下而上的剪枝(Pruning)法。
决策树Decision Tree是一种分而治之的决策过程。一个困难的预测问题通过树的分支节点被划分成两个或多个较为简单的子集从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去Recursive Partitioning。随着树的深度不断增加分支节点的子集越来越小所需要提的问题数也逐渐简化。当分支节点的深度或者问题的简单程度满足一定的停止规则Stopping Rule时, 该分支节点会停止分裂此为自上而下的停止阈值Cutoff Threshold有些决策树也使用自下而上的剪枝Pruning法。
### 2.17.2 决策树的三要素?
一棵决策树的生成过程主要分为以下3个部分:
特征选择:从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准,如何选择特征有着很多不同量化评估标准,从而衍生出不同的决策树算法。
一棵决策树的生成过程主要分为以下3个部分
决策树生成:根据选择的特征评估标准,从上至下递归地生成子节点,直到数据集不可分则决策树停止生长。树结构来说,递归结构是最容易理解的方式
1、特征选择从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准如何选择特征有着很多不同量化评估标准从而衍生出不同的决策树算法
剪枝:决策树容易过拟合,一般来需要剪枝,缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。
2、决策树生成根据选择的特征评估标准从上至下递归地生成子节点直到数据集不可分则决策树停止生长。树结构来说递归结构是最容易理解的方式。
3、剪枝决策树容易过拟合一般来需要剪枝缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。
### 2.17.3 决策树学习基本算法