相关性（correlation）

1 皮尔逊相关性

1.1 定义

给定两个随机变量，$X$ 和 $Y$，则 $X$ 和 $Y$ 之间的（皮尔逊）相关性定义为：
$$\text{Corr}(X,Y)=\frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)}\cdot \sqrt{\text{Var}(Y)}},$$
其中 $X,Y\in \mathcal{R}$。

1.2 性质

• $\text{Corr}(X,X)=1$。
• $\text{Corr}(X,Y)=\text{Corr}(Y,X)$。
• $\text{Corr}(aX+b,Y)=\text{sign}(a)\text{Corr}(X,Y)$，对于任意的 $a,b\in \mathcal{R}$。
• $-1\le \text{Corr}(X,Y)\le 1$，当 $\text{Corr}(X,Y)>0$ 时表示正（线性）关系，当 $<0$ 表示负（线性）关系。
• $|\text{Corr}(X,Y)|=1$ 当且仅当 $Y=aX+b$ 时，其中 $a,b\in \mathcal{R},a\ne 0$。
• 如果 $X,Y$ 互相独立，则 $\text{Corr}(X,Y)=0$。
• 如果 $\text{Corr}(X,Y)=0$，不能得出 $X,Y$ 互相独立。
• 如果 $(X,Y)$ 是双变量正态的且 $\text{Corr}(X,Y)=0$，则 $X,Y$ 是相互独立的。

2 协方差

$$\text{Cov}(X,Y)=\sum _{i=1}^n\frac{(X_i-\bar{X})(Y_i-\bar{Y})}{n}=E\left[(X-E[X])(Y-E[Y])\right].$$

3 方差和协方差的关系

$$\text{Var}(X)=E\left[(X-E[X]{)}^2\right]=\text{Cov}(X,X).$$