【深度学习基础知识 - 38】L1正则化和L2正则化的区别

概念

• L1正则化就是在损失函数中加的正则化项为模型参数的L1范数。
• L2正则化就是在损失函数中加的正则化项为模型参数的L2范数。

目的

• 通过在损失函数中增加权重正则化项，可以避免模型变得过于复杂或者说防止模型的参数过大，从而提升模型的泛化性能。

L1正则化和L2正则化的差异

• 加上L1范数容易得到特征的系数解，也就是很多参数为0，加上L2范数得到的特征解比较平滑，但是同样能保证解中接近于0的比较多。从倒数的角度来看，L1范数在零点处有个突变，也就是极小值点，因此很容易优化到这个极值点上。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。