机器学习相关 概率论重点笔记

A事件发生的概率，记为$P(A)$或$Pr(A)$。

1. 联合概率、条件概率、边缘概率

1.1 联合概率 joint probability

联合概率：指两个事件A，B同时发生的概率。记为$P(A,B)$，或$P(AB)$，或$P(A\cap B)$。

当A,B相互独立时，有$P(AB)=P(A)P(B)$

1.2 条件概率 conditional probability

条件概率：B发生的前提下，A发生的概率。记为$P(A|B)$。
条件概率公式：$P(A|B)=\frac{P(AB)}{P(B)}$
当A,B相互独立时，$P(A|B)=P(A)$，即B发不发生，不影响A。
乘法公式：$P(AB)=P(A|B)P(B)$

1.3 边缘概率 marginal probability

边缘概率：指事件A发生的概率。通常可以用全概率公式(见后面解释)来表示：
$$P(A)=\sum _{i}P(A|B_i)P(B_i)$$

完备事件组

设$S$为试验$E$的样本空间，$B_1,B_2,\cdots ,B_n$为$E$的一组事件。若

• $B_i\cap B_j=\varnothing （i\ne j）$；
• $B_1\cup B_2\cup \cdots \cup B_n=S$

则称$B_1,B_2,\cdots ,B_n$为$E$为样本空间$S$的一个完备事件组（划分）。

全概率定理

$\{B_i\}$为一完备事件组，则对该样本空间中的任意事件A有全概率公式：
$$P(A)=\sum _{i}P(A\cap B_i)=\sum _{i}P(A|B_i)P(B_i)$$
全概率公式的作用：把一个问题分解成多个可能更简单的问题来解决。

贝叶斯公式

是一个求条件概率的公式。
$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{乘法公式替换}{全概率公式替换}=\frac{P(B|A)P(A)}{{\sum }_{A_i}P(B|A_i)P(A_i)}$$

2. 常见函数概念

2.1 概念解释

• PDF：常记为$f_X(t)$。概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。
  常见的连续随机变量分布的PDF函数：均匀分布，指数分布，Gamma分布和正态分布等。

• PMF :也记为$f_X(t)$。概率质量函数（probability mass function), 在概率论中，概率质量函数是离散随机变量在各特定取值上的概率。
  常见的离散随机变量分布的PMF函数：伯努利分布，二项分布，泊松分布。

• CDF : 记为$F_X(t)$。累积分布函数 (cumulative distribution function)，又叫分布函数（distribution function），是概率密度函数的积分，能完整描述一个实随机变量X的概率分布。
  不管是什么类型（连续/离散/其他）的随机变量，都可以定义它的累积分布函数。

2.2 数学表示

PDF：如果$X$是连续型随机变量，概率密度函数PDF定义为$f_X(t)$，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率：
$$Pr(a\le X\le b)={\int }_a^b{f}_X(t)dt$$

PMF:如果$X$是离散型随机变量，则 概率质量函数PMF$f_X(t)$为：
$$f_X(t_i)=Pr(X=t_i)，即X为t_i的概率$$
CDF：累积分布函数
$$F_X(t)=Pr(X\le t)=\{\begin{array}{l}{\int }_{-\infty }^t{f}_X(x)dx，连续型\\ \sum _{x_i\le t}Pr(X=x_i)=\sum _{x_i\le t}{f}_X(x_i)，离散型\end{array}$$
说明:

• PDF的取值本身不是概率，它是一种趋势（密度）只有对连续随机变量的取值进行积分后才是概率，也就是说对于连续值确定它在某一点的概率是没有意义的；
• PMF的取值本身代表该值的概率。

参考：
https://blog.csdn.net/Anne033/article/details/114327608
https://blog.csdn.net/lanchunhui/article/details/52965391