生成模型与判别模型的区别与理解

一、判别方法与生成方法

监督学习方法可分为判别方法和生成方法。

判别方法（Discriminative approach）

由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。

生成方法（Generative approach）

由数据学习联合概率密度分布P(X,Y)，然后由P(Y|X)=P(X,Y)/P(X)求出条件概率分布P(Y|X)作为预测的模型，即生成模型。该方法表示了给定输入X与产生输出Y的生成关系。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。在这个过程需要求出训练数据的概率分布P(X)，所以只要在数据样本非常多的时候，得到的P(X)才能很好的描述训练数据真正的分布【比如抛硬币】。生成模型用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下。典型的生成模型有：朴素贝叶斯和隐马尔科夫模型等。

二、判别模型与生成模型

1.从直观可知：

生成模型：源头导向型，关注数据时如何生成的，然后再对一个信号进行分类。（信号输入时，生成模型判断哪个类别最有可能产生这个信号，则这个信号就属于哪个类别。

判别模型：结果导向型，关注类别之间的差别，并不关心样本的数据时怎么生成的，根据样本之间的“分界线"来简单对给定的样本进行分类。

2.从公式上可知：

生成模型：学习时先得到P（X,Y)，根据公式继而得到P（Y|X)；预测时应用最大后验概率法（MAP）得到预测类别Y。

判别模型：直接学习得到P（Y|X)，再利用MAP得到Y；或者直接学习得到一个映射函数Y=F(X）

3.生成模型与判别模型的区别与联系