2.17.5 熵的概念以及理解 内容修订

2.17.5 熵的概念以及理解 内容修订

ch02_机器学习基础/第二章_机器学习基础.md

@@ -1442,13 +1442,12 @@ $$
 
 ### 2.17.5 熵的概念以及理解
 
- 熵：度量随机变量的不确定性。
-
+​	熵：度量随机变量的不确定性。  
 ​	定义：假设随机变量X的可能取值有$x_{1},x_{2},...,x_{n}$，对于每一个可能的取值$x_{i}$，其概率为$P(X=x_{i})=p_{i},i=1,2...,n$。随机变量的熵为：
 $$
 H(X)=-\sum_{i=1}^{n}p_{i}log_{2}p_{i}
 $$
-​       对于样本集合 ，假设样本有k个类别，每个类别的概率为$\frac{|C_{k}|}{|D|}$,其中 ${|C_{k}|}{|D|}$为类别为k的样本个数,$|D|​$为样本总数。样本集合D的熵为：
+​       对于样本集合，假设样本有k个类别，每个类别的概率为$\frac{|C_{k}|}{|D|}$，其中 ${|C_{k}|}{|D|}$为类别为k的样本个数，$|D|​$为样本总数。样本集合D的熵为：
 $$
 H(D)=-\sum_{k=1}^{k}\frac{|C_{k}|}{|D|}log_{2}\frac{|C_{k}|}{|D|}
 $$