当前位置：网站首页>啃瓜记录又一天

啃瓜记录又一天

2022-08-02 03:21:00 【＆ Tom】

专业是仪器仪表，但是也要和深度学习联合起来学习，以前在做任务的时候用过深度学习，但对理论知识不了解，现在要水文章，还是从头原理看一看吧，仅用作个人记录，不做任何商用。

------------------------------------所有记录均摘抄或收集自互联网或《西瓜书》、《南瓜书》等资料书籍
决策树学习算法

通常条件下，一颗决策树包含一个根节点、若干个内部节点和若干个叶节点；对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含了样本全集。

决策树的生成是一个递归过程。

信息增益

$Ent(D)= -\sum_{k=1}^{|y|}P_{k}log_{2}P_{k}$

信息熵越小则样本纯度越高。

信息增益：

$Gain（D,a）=Ent(D)-\sum_{v=1}^{V}\frac{|D^{v}|}{|D|}Ent(D^{v})$

一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的的纯度提升越大。

信息增益率：

$Gain(D,a)=\frac{Gain(D,a)}{IV(a)}$

其中 $IV(a)=-\sum_{v=1}^{V}\frac{|D^{v}|}{|D|}$ 代表着属性a的固有值，属性a的可能取值越多，其值会越大。

注：增益率准则对可取值数目较少的属性有所偏好。

基尼指数：

$Gini(D)=\sum_{k=1}^{|v|}\sum_{k^{'}\neq k}^{}p_{k}p_{k^{'}} =1-\sum_{k=1}^{|v|}p_{k}^{2}$

基尼指数反应了从数据集D中随机抽取两个样本，其类别标记不一致的概率，因此基尼指数越小，数据集D的纯度越高。

版权声明
本文为[＆ Tom]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_41660112/article/details/120919636