深度学习汇报（2）

目录

第四章 正则化

第五章 优化器

---

第四章 正则化

通过第四章的学习，我掌握了过拟合的概念与产生的原因、防止过拟合的常用技术。

误差是指学习到的模型在样本上的预测结果与样本的真实结果之间的差。训练误差（经验误差）是模型在训练集上的误差；泛化误差（测试误差）是模型在新样本上的误差。训练误差很大的现象称为欠拟合；训练误差很大，而泛化能力较弱即泛化误差较大的现象称为过拟合。

产生过拟合的原因：1.噪声干扰过大；2.训练样本太少；3.模型复杂度过高。

解决过拟合的方法：1.减少特征维度；2.正则化：数据增加、参数范数惩罚、Dropout、提前终止、随即池化。

正则化是机器学习中非常重要并且非常有效的减少泛化误差的技术，特别是在深度学习模型中，由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合，比较常用的技术包括：数据增强、参数范数惩罚、Dropout、提前终止、随即池化。

数据增强：即增加训练数据样本。防止过拟合最有效的方法是增加训练样本，足够多的数据可以让模型看见尽可能多的例外情况并不断修正自己，从而效果更好。

参数范数惩罚：L2与L1正则。在加入L2正则项之后，每次更新梯度之前，都会先对权重向量进行收缩（乘一个小于1的常数因子），也就是权重衰减。特殊情况下，L1正则化有可能通过足够大的α实现稀疏。

Dropout：在训练过程中，随机地丢弃一部分输入，此时丢弃部分对应的参数不会更新。Dropout类似于是一个集成方法，将所有子网络结果进行合并，通过随机丢弃输入可以得到各种子网络。它的作用有取平均的作用、减少神经元之间复杂的共适应关系、类似于性别在生物进化中的角色。

提前终止：在训练过程中，插入对验证集数据的测试。当发现验证集数据的Loss上升时，提前停止训练。

随即池化：按一定概率随机选取其中一个元素，介于平均池化和最大池化之间，并且受dropout启发，具有更好的正则化效果。

---

第五章 优化器

通过第五章的学习，我掌握了多种梯度下降方法，动量法，Adam等优化器方法，并且了解了如何选择优化器。

全局梯度下降算法采用整个训练集进行计算梯度，一次更新中对整个数据集计算梯度，计算很慢；随机梯度下降算法SGD每次更新时对每个样本进行梯度更新，对于很大的数据集来说，可能会有相似的样本，而SGD一次只进行一次更新，没有冗余，速度快，可以新增样本，缺点是更新频繁，会严重振荡；小批量梯度下降每次利用小批量样本，降低数据更新的方差，利用高度优化的矩阵进行梯度计算。

如果数据稀疏，可选用自适应学习率的优化器（Adagrad、Adadelta、RMSprop、Adam），在梯度变得稀疏时，Adam比RMSprop效果更好。