啃瓜记录又一天

专业是仪器仪表，但是也要和深度学习联合起来学习，以前在做任务的时候用过深度学习，但对理论知识不了解，现在要水文章，还是从头原理看一看吧，仅用作个人记录，不做任何商用。

------------------------------------所有记录均摘抄或收集自互联网或《西瓜书》、《南瓜书》等资料书籍
决策树学习算法

通常条件下，一颗决策树包含一个根节点、若干个内部节点和若干个叶节点；对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含了样本全集。

决策树的生成是一个递归过程。

信息增益

信息熵越小则样本纯度越高。

信息增益：

一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的的纯度提升越大。

信息增益率：

其中代表着属性a的固有值，属性a的可能取值越多，其值会越大。

注：增益率准则对可取值数目较少的属性有所偏好。

基尼指数：

基尼指数反应了从数据集D中随机抽取两个样本，其类别标记不一致的概率，因此基尼指数越小，数据集D的纯度越高。