AI作业ch8

1

•	[决策树] 基于信息增益，对下述数据集进行决策树构建，描述过程
一个关于配眼镜的一个决策分类所需要的数据，数据集包含4属性：
    age
    astigmatism
    trear-prod-rate为输入特征，
    contact-lenses为决策属性。

第一特征

我们可以考虑以下公式
$$G(D,a)=H(D)-\sum _{v=1}^V\frac{|D^v|}{D}H(D^v)$$

$H(D)$在数据确定的时候已经定下来了，所以我们只需要考虑后半部分${\sum }_{v=1}^V\frac{|D^v|}{D}$

先考虑三个特征值

1. 针对年龄

特征值	soft	hard	none	sum
young	1	1	1	3
pre-prebyopic	1	1	3	5
prebyopic	0	1	3	4

通过公式不难得到
$$\begin{array}{rl}age=& -[\frac{3}{12}(\frac{1}{3}lo{g}_2\frac{1}{3}+\frac{1}{3}lo{g}_2\frac{1}{3}+\frac{1}{3}lo{g}_2\frac{1}{3})\\ & +\frac{5}{12}(\frac{1}{5}lo{g}_2\frac{1}{5}+\frac{1}{5}lo{g}_2\frac{1}{5}+\frac{3}{5}lo{g}_2\frac{3}{5})\\ & +\frac{4}{12}(\frac{1}{4}lo{g}_2\frac{1}{4}+\frac{3}{4}lo{g}_2\frac{3}{4})]=1.238\end{array}$$

2. 针对散光

特征值	soft	hard	none	sum
yes	0	3	4	7
no	1	1	3	5

代入公式

$$astigmatism=0.979$$

3. 泪液生成率

特征值	soft	hard	none	sum
reduced	0	0	4	4
normal	2	3	3	8

代入公式

$$tear\_production\_rate=1.041$$

所以我们首先取astigmatism可以让函数最大

第二特征

然后再考虑剩下的特征

首先基于Yes情况下的输入特征

特征值	soft	hard	none	sum
young	0	1	1	2
pre-prebyopic	0	1	2	3
prebyopic	0	1	1	2
reduced	0	0	2	2
normal	0	3	2	5

$$\begin{array}{rl}age=& -[\frac{2}{7}(\frac{1}{2}lo{g}_2\frac{1}{2}+\frac{1}{2}lo{g}_2\frac{1}{2})\\ & +\frac{3}{7}(\frac{1}{3}lo{g}_2\frac{1}{3}+\frac{1}{3}lo{g}_2\frac{1}{3}+\frac{1}{3}lo{g}_2\frac{1}{3})\\ & +\frac{2}{7}(\frac{1}{2}lo{g}_2\frac{1}{2}+\frac{1}{2}lo{g}_2\frac{1}{2})]=0.965\end{array}$$
$$tear\_production\_rate=0.694$$
**取yes的时候选tear
**
基于No的情况

特征值	soft	hard	none	sum
young	1	0	0	1
pre-prebyopic	1	0	1	2
prebyopic	0	0	2	2
reduced	0	0	2	2
normal	2	0	1	3

$$age=0.4$$
$$tear=0.551$$

取no的时候应选择age

可以得到如下的决策树

2.

[线性分类] 推导下述logit function和logistic function等价：
$$p(X)=\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}\frac{p(X)}{1-p(X)}=e^{{\beta }_0+{\beta }_{1}X}$$
换元,令$f(X)=\frac{p(X)}{1-p(X)},\frac{f(X)}{1-f(X)}=p(X)$

$$\begin{array}{rl}\frac{p(X)}{1-p(X)}=f(X)& =\frac{\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}}{1-\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}}\\ & \\ & =\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}-(e^{{\beta }_0+{\beta }_{1}X})}\\ & =e^{{\beta }_0+{\beta }_{1}X}\\ & =\frac{f(X)}{1-f(X)}=p(X)\end{array}$$

综上等价