方差与协方差

协方差矩阵在统计学和机器学习中随处可见，一般而言，可视作方差和协方差两部分组成，即方差构成了对角线上的元素，协方差构成了非对角线上的元素。本文旨在从几何角度介绍我们所熟知的协方差矩阵。

1. 方差和协方差的定义

在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，方差的计算公式如下：

其中，表示样本量，符号表示观测样本的均值，这个定义在初中阶段就已经开始接触了。

在此基础上，协方差的计算公式被定义为:

在公式中，符号和分别表示两个随机变量所对应的观测样本均值，据此，我们发现：方差可视作随机变量关于其自身的协方差 .

百度百科对其的解释如下：

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。

• 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
• 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。