TensorFlow2学习笔记：6、过拟合和欠拟合，及其缓解方案

1、什么是过拟合、欠拟合

无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。

• 过拟合
  定义：过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。

  通俗一点地来说过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。

• 欠拟合
  定义：欠拟合是指模型在训练和预测时表现都不好的情况，反映到评估指标上，就是模型在训练集和测试集上的表现都不好。

  欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据。

直观表现，如下图：

回归算法中的三种拟合状态

分类算法中的三种拟合状态

2、过拟合解决方法

• 清洗数据
• 增大训练集
• 采用正则化
• 增大正则化参数

3、欠拟合解决方法

• 清洗数据
• 增大训练集
• 采用正则化
• 增大正则化参数

4、正则化及使用方法

• L1正则化：对所有参数w的绝对值求和。大概率会将很多参数变为0，因此该方法可通过稀疏参数（即减少参数的数量），降低复杂度。
• L2正则化：对所有参数w的平方绝对值求和。使参数接近0 但不为0，因此该方法可通过减小参数值，降低复杂度。减少因数据集中的噪声引起的过拟合。