bias、variance介绍

bias、variance介绍

error = bias^2 + variance + noise

误差原因：

• bias反映的是模型在样本上的输出值与真实值之间的误差，即模型本身的精准度，反映算法本身的拟合能力。为系统误差，可以理解为其他学科里面的准确度，即模型输出值的平均值与真实值平均值的符合程度。
• variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性，反映预测结果的波动情况。或者说离散情况，为随机误差和系统误差的综合反映。
• 噪声（偶然误差）
  
  bias表示偏离中心的程度，variance表示结果的波动程度。在实际的预测当中，我们希望模型的数据不但是low bias，而且还是low variance，但是两者之间的trade-off导致这种情况很难发生。

• 欠拟合
  　　当模型的复杂程度过低或者训练数据过少时候，得到的预测模型不能反映出数据之间正确的关系，会产生较高的偏差，即high bias。

• 过拟合
  　　当模型的复杂程度过高或者说过度学习了训练数据中的内在联系，而导致在使用测试集验证的时候误差仍然会很大，但这时候不是由bias引起的，而是由high variance引起的。

参考文献
1、https://www.cnblogs.com/hbwxcw/p/9000136.html
2、吴恩达 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization