极大似然估计

概率与似然

引用维基百科上对概率与似然的描述

• 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性

• 在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

以上这段话就概括得还是挺抽象了，"概率"和"似然"其实是从不同的角度去看待事件发生的

可能性

。以抛一枚硬币为例子(随机变量是离散型)，样本空间

、对于随机变量

，当

"正"时，观察值

；当

"反"时有观察值

 、 

，有以下分布律(叫概率函数更容易理解吧)

是函数模型，

表示一个具体的样本观察值；

表示模型的参数。

• 如果
  
  
  是已知确定的(均质)，
  
  
  是变量，这个函数叫做概率函数(probability function)，它描述对于出现出面还是反面，其出现的
  可能性
  (
  概率
  )是多少。

• 如果
  
  
  是已知确定的(正面向上)，
  
  
  是变量(未确定硬币的质量分布，不同的分布可能导致硬币更容易正面向上或反面向上)，这个函数叫做
  似然函数
  (likelihood function), 它描述对于不同的质量分布，出现下面向上这种情况
  可能性
  (
  似然
  )是多少。

概率是给定某一参数值，求某一结果的可能性； 似然是给定某一结果，求某一参数值的可能性。

似然函数

似然函数是一种关于统计模型中的

参数的函数

，分别就总体

是离散型分布以及连续型分布的情况说明似然函数的形式,设

是取自总体

的一个样本

设总体

为离散型分布，其分布律为

其中

为未知参数，对给定的样本观察值

，令

若总体为连续分布，其密度函数为

，其中

为未知参数，对给定的样本观察值

(已发生的，确定的)，令

可以看出，似然函数

是未知参数

的函数，它反映了对给定的样本观察值被取到的

可能性

(对于不同的

被取到的可能性不同)，我们所关注的是，什么情况下

最有可能

取到，当似然函数值最大的时候表示可能性达到最大，此时也会对应得到一个具体的参数

，如果用

表示，那么就称

为

的

最大似然估计

，即

最大似然估计是根据已知的样本的结果，反向推测最有可能得到这样结果的模型的参数值。

了解了最大似然估计的意义，下面就是求最大值的数学问题，一般通过求导数来解。

实例计算

首先来约定一个表达式

，它表示：硬币质量分布为

时，此时随机抛一次得到正面向上的概率

如果我们知道硬币是均质的(

)，那么"抛10次得到6次正面向上"的概率约为

0.205

问题：如果在不知道硬币的质量分布

的情况下进行了10次试验，最终也是得到6次正面向上的结果(1,0,1,1,0,0,0,1,1,1)，那么能不能得到硬币的质量分布最可能是怎么样的???

1.找到分布律

抛硬币试验服从二项分布，总体可以看成无限大(无穷无尽地抛下去)，质量分布未知时，出现正面向上的概率为p，则反面向上的概率为1-p,出现下面向上的次数

是二项分布随机变量，其它取值可能是：0，1，2，...，k，...，n；有如下分布律

其中n表示抛n次，k表示得到k次正面向上

2.写出似然函数

3.求导数

对上式取对数得到对似然方程

再对p进行求导

解得

，它的意思是，硬币的质量分布为

时，最有可能出现“抛10次得到6次正面向上”这种结果

如果不使用最大似然估计的解法，把各种质量分布情况下得到“抛10次得到6次正面向上”这种结果的可能性列举出来，可以看到

时最有可能，而出现这种结果且硬币是匀质(

)的可能性为0.205078125

参考

1.《概率论与数理统计》 郝志峰 谢国瑞 汪国强

2. 概率（probability)、似然（likelihood)、极大似然法：http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html)

3. 似然（likelihood）与概率（probability）的区别：http://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/