贝叶斯定律

1.概率理论

先复习一些概率理论。

联合概率：事件 A 和事件 B 同时发生的概率；也叫做乘积法则。

$P(A,B)=P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)$

求和规则：事件 A 和 事件 B不同时发生的概率。

$P(A\cup B)=P(A)+P(B)-P(A\cap B)$

如果 A 和 B 是互相排斥的：

$P(A\cup B)=P(A)+P(B)$

全概率：假如事件 A 的发生可能由多种可能的 事件B 导致。
$$P(A)=\sum _i^{n}P(A|B_i)P(B_i)$$

条件概率：给定事件 B 事件 A 发生的概率。

$$P(A|B)=\frac{P(A,B)}{P(B)}$$

2. 贝叶斯定律

在机器学习中，给定观测的训练数据 B，我们经常感兴趣于求最佳假设空间 A。

最佳的假设空间就是最可能的假设空间，也就是给定训练数据 B，把各种训练数据 B 在假设空间 A 中的先验概率相加。

根据以上定义，求假设空间 A 的概率如下：
$$P(A)=\sum _{n}P(A|B_i)P(B_i)$$
是不是很熟悉？

这其实就是全概率公式，事件 A 的发生可能由数据 $B_1$, $B_2$… …$B_n$
多种原因导致。

对于给定训练数据 B， 求假设空间 A 的概率，贝叶斯定理提供了一个更直接的方法。

贝叶斯定律使用：

• 假设空间 A 的先验概率$P(A)$
• 以及观测数据的先验概率概率$P(B)$
• 给定假设空间 A，观测数据 B 的概率 $P(B|A)$

求给定观测数据 B，求假设空间 A 的概率 $P(A|B)$，也称作后验概率，因为它反映了给定数据 B，对假设空间 A 概率的影响。

与先验概率相反， P(A) 与 B 是独立的。

贝叶斯公式：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

贝叶斯公式的推导也很简单，结合第一部分我们提到的条件概率和联合概率便可求出。

条件概率：
$$P(A|B)=\frac{P(A,B)}{P(B)}$$
联合概率：
$$P(A,B)=P(B|A)P(A)$$

3. 最大后验概率 MAP

有时，给定数据B，想要求假设空间 A 中的最可能的假设称为最大后验概率 MAP（Maximum a Posteriori）。

$$A_{MAP}=argmaxP(A|B)$$

也就是求：

$$=argmax\frac{P(B|A)P(A)}{P(B)}$$

去掉 $P(B)$是因为其与假设 A 是独立的。
$$=argmaxP(B|A)P(A)$$