目录

第六章 支持向量机

一、间隔与支持向量

 二、对偶问题

 三、核函数

 四、软间隔与正则化

五、支持向量回归SVR

 六、核方法

---

第六章 支持向量机

支持向量机的目的是找到一个超平面来将不同的类别分开；支持向量回归是回归问题，希望学得一个回归方程y=f(x)使得，f(x)与y尽可能接近。

一、间隔与支持向量

1.分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面。

2.超平面线性方程：

 3.样本点到超平面得距离：

 4.距离超平面最近的训练样本点使得（6.3）等号成立，这样的样本称作支持向量，两个异类支持向量到超平面的距离称作“间隔”：

 5.支持向量机的目的是找到具有最大间隔的划分超平面，支持向量机SVM的基本型：

 二、对偶问题

1.求解SVM的最优解w、b值，可以转化为对偶问题，使用拉格朗日乘子法可得到“对偶问题”：

 拉格朗日乘子法得到的式子可以写成：

 上式转化为对偶问题可得：

 将偏导为零带入拉格朗日式中：

 2.求解对偶问题，需要满足KKT条件：

 3.支持向量机重要性质：模型最终结果只与支持向量有关，大部分训练样本都不需要保留。

 4.求解对偶问题的算法，著名的代表算法SMO:

 5.确定偏移项b:

 三、核函数

1.对于非线性可分的数据，需要将数据映射到更高维度的空间内，从而找到线性可分的超平面。

核函数可以将样本从原始空间映射到一个更高维的特征空间，任意一个核函数都隐式地定义了一个称为“再生核希尔波特空间”的特征空间。

 2.核函数的分类：

线性核；多项式核；高斯核；拉普拉斯核；Sigmoid核

 四、软间隔与正则化

1.为了防止过拟合，允许支持向量机在一些样本上出错，引入软间隔

 2.采用合页损失函数，优化目标为：

 C为惩罚系数，C趋于无穷，不允许样本出错；C为有限值，允许样本出错。

3.带有松弛变量的拉格朗日函数：

 4.软间隔的对偶问题，软间隔支持向量机最终模型仍仅与支持向量有关，采用合页损失函数仍保持了稀疏性

 5.正则化

二范数倾向于w的分量取值尽量均衡，即非零分量个数尽量稠密；

一范数倾向于w的分量取值尽量稀疏，即非零分量个数尽量少。

五、支持向量回归SVR

1.SVR的支持向量仅是训练样本的一部分，其解仍具有稀疏性。

 六、核方法

1.核函数对应的再生核希尔伯特空间；

2.基于核函数的学习方法统称为核方法。

3.如何提高效率，使SVM能适用于大规模数据一直是研究重点。核函数直接决定了支持向量机与核方法的最终性能，但遗憾的是，核函数的选择一直是未决问题。