ML10自学笔记-SVM

SVM（分类问题）

SVM 推导

想要两类之间最大间隔

要计算距离。假设决策边界是这样一个平面，那就是计算这个点到直线的距离。
平面的定义：W^TX=b。W^T为法向量。我们要算的就是dist(x,h),但是直接计算比较麻烦，通常情况下这样计算。
找平面内两个点x^’ 和x^’’，可以将这两个点带入平面公式，两个点组成一个向量，dist这个向量与x^’ 和x^’’组成的向量垂直。如②式子，法向量与平面内任意一个向量垂直。
因为计算直线距离不好计算，所以改为计算两点之间的距离，可以计算X与X^’之间的距离然后在竖直方向做投影就可以得到dist(x,h)，如最后一行的公式。后面一个等号进行化简，将X^’用①公式代入。

数据

y(x_i)是预测值,Y_i是标签值。

目标函数

原来距离为|w^tx+b|，是带着绝对值的，但是之前的决策方程中y(x_i)与y_i的乘积始终是正数，所以在本节的式子中相乘之后可以直接把绝对值去掉。

min后面是要求的距离决策边界最近的点（样本），求出这个距离，max是最大的距离，使得刚刚这个求得的距离最大。目标即什么样的w使得这个目标函数最大。

目标函数求解

实际为求w的最小值。因为求w和w²的最小值是一样的，所以求1/2w²的最小值也是一样的。

使用拉格朗日乘子法求解。

有一个对偶性质。要求最小值，就可以求偏导。

什么样的w，b使得L最小，然后把w,b代回原式子

下一步，求什么样的α_i使得整体最大。通常情况下会把求极大值转化成极小值（加了负号）。

SVM求解实例

括号内点乘是内积。即代入数据。

求解，求偏导。因为所有α_i，都要大于零(约束条件)，但是当对α₂求偏导等于零时，求得的值为复数，所以最值在边界上，令α₁和α₂分别取零。第二种满足，可以根据之前的式子求得α₃.

带回w求解。对于样本点来说，只要α为零了，那他就没有意义了，不会再加入计算，根据之前的图像，x₂就不会算入计算式子了，最终的结果是由边界上的样本构成的，所以x₂非边界上的点不算入计算式子。

软间隔

目标函数也发生了变化。

多加了参数。

核变换

之前是线性的，没有使用Φ(x)函数，只是用了简单的x，

因为映射到高维有时候很难计算，先映射到高维，高维多个数据求内积比较麻烦，但是通过先求内积再映射的方式，先求内积，然后再映射可以达到同样的效果，但是计算复杂度降低。

没有做核函数时，分类不太好（那条实线），使用高斯核函数后分类较好，圈圈。核函数就是将低维不可分，转换为高维可分。