【ML】李宏毅三：梯度下降＆分类（高斯分布）

等高线的法线垂直于切线，：

每次计算

一次归点，然后根据归点梯度下降；再根据其结果算新的归点，再梯度下降。。。。。

 

在做梯度下降的时候，小心的调learning rate

最好每一个参数都有一个learning rate，推荐使用adagrad 

case：利用过去所有微分值的均方根

 

解释：

只考虑一个参数时：

 考虑多个参数时，以上论述就不一定成立了：

只看w1（蓝色）:a比b离得远，则微分值越大

 只看w2（绿色）:c比d离得远，则微分值越大

但结合起来看就不是了：a的微分值明显比c小，但是a距离原点更远，所以跨参数比较的话，上述就不成立了！

 所以正确做法是：用一次微分值/二次微分值，来算距离最低点的距离 

 是个常数，表示一次微分，来代替二次微分（为了好算）

 

随机梯度下降： 

 用vector来描述一个输入（宝可梦）

极大似然估计：通过结果推算来源的概率

高斯分布 ，假设是个function，每个点都是从高斯分布取样出来的。

每个点离黄色的中心点越近，取样出来的概率就越大

 

 因为每个蓝色点概率独立，所以黄色点sample所有79个蓝色点的概率等于每个想乘

算极大似然值：取平均（因为高斯分布是正态分布）

 

 算出最有可能sample所有蓝点的极大似然之后，开始分类：

水系和普通系分类效果不是很好，正确率只有47%，如果升维呢？

增加属性到7唯 

 

 7维效果仍然不理想，减少两个function的参数

 

共用协方差矩阵后，准确率提高

 

 3步总结：

后验概率：

 

 简化共识：