【机器学习-白板推导系列】学习笔记---支持向量机和主成分分析法

1、学习机器学习算法中的支持向量机和特征提取的主成分分析法

1.1 支持向量机（Support Vector Machine,SVM）

      分类算法支持向量机主要特点有：最大间隔，对偶性，核函数。支持向量机的基本思想是首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求最优分类面，即最大间隔分类面，而这种非线性变换是通过适当的核函数实现的。                                        

图 1 规范化的最优分类面

1.2 主成分分析法（Principal Components Analysis,PCA）

主成分分析用于特征降维，特征过多维度会造成维度灾难。主成分分析法的主要思想是将一组可能线性相关的特征通过正交变换到一组线性无关相互独立的特征，是对原始特征空间的重构，重构的特征均为原特征的线性组合。

而重构特征的两个基本点分别是：最大投影方差（使得重构的特征尽量分散）；这个投影面即为主成分，