集成学习概览

集成学习

Bagging(Bootstrap aggregating)

主要思想：

1. 想要得到泛化性强的集成，每个弱分类器应该尽可能的独立
2. 每个弱分类器抽样不同的训练集，使弱分类器尽可能有较大的的差异
   

Stacking

主要思想：

1. 其预测值将作为训练样本的特征值，最终会得到新的训练样本，然后基于新的训练样本进行训练得到模型，然后得到最终预测结果。
   

Boosting

主要思想：

1. 上一个分类器分错的样本，后续着重加强学习。
   

2. Adboost详解

生成式和判别式

1. 生成式模型：学习每个类别的内在分布，根据分布求出属于该类别的概率。
2. 判别式模型：学习不同类别的边界