极大似然估计

一.极大似然估计

通俗定义：已知样本的结果信息，求在哪种模型下，出现这些样本结果的概率最大。极大似然估计法提供了一种用观测数据来评估模型参数的方法。

举例说明：

ex.袋子中有黑白两种球，颜色比例不知，做100次有放回抽样（独立同分布），其中70次为白球，30次为黑球，极大似然估计就可通过样本的抽样结果求得袋子中球的分布模型的参数。

P（样本结果|Model）=P(x1,x2,x3,...,x100|Model)

多个相互独立事件同时发生的概率=每个事件发生概率的乘积，因此，       

上式=P(x1|Model)P(x2|Model)...P(x100|Model)=

p就是要求的模型参数值，不同的p导致P（样本结果|Model）不同，有无数种选择，极大似然估计要选择使P（样本结果|Model）值最大的参数p，将其看作p的函数，则令其导数=0，即可求得使P（样本结果|Model）最大得参数值p。

，求得p=0.7。

二.李航统计学习中：当模型是条件概率分布，损失函数是对数函数时，经验风险最小化就等价于极大似然估计

假设模型条件概率分布为：

最小化经验风险 :

等价于:

 

极大似然估计:

 

将式2取对数后累乘变累加，再求最大值，即为公式1，因此两者等价。