白话详解决策树模型之使用信息熵构建决策树

今天，我们来继续分享决策树的相关内容。通过上一篇文章，我们知道了决策树的基本原理就是根据构建的树结构，从上到下，通过if/else的模式找到一条判决路径并最终获得判决结果的过程。

决策树算法中核心的部分就是如何选择一个合适的特征属性进行划分，从而逐步的构造出我们的树形结构。

根据我们选择特征进行划分的量化评估标准的不同，决策树有多种不同的构造算法，上一篇我们介绍了使用Gini（基尼系数）作为分裂标准来构造决策树，我们称这种决策树算法为CART算法。

今天，我们从信息增益角度来进一步探讨一下构造决策树的其他算法。目前，常用的决策树构造算法如下：

首先，在具体探讨之前，我们还是先了解一些基本概念：

什么是信息熵？

信息熵这一概念由克劳德·香农于1948年提出。信息是一个很抽象的概念，假设我们以一篇文章为例，文章的信息量的多少并不完全取决于这篇文章中文字字数的多少，有时候即使很少的内容也可以蕴含很大的信息量。信息熵的提出就是为了解决对信息的量化评估问题的。

信息熵H(X)的计算公式如下：