当前位置：网站首页>新手入门深度学习 | 3-6：优化器optimizers

新手入门深度学习 | 3-6：优化器optimizers

2022-07-06 00:34:00 【K同学啊】

优化器是在深度学习反向传播过程中，指引损失函数（目标函数）的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数（目标函数）值不断逼近全局最小。

本来是写了好多东西的，但是感觉讲太多反而会起反效果，

模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。

深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> A

版权声明
本文为[K同学啊]所创，转载请带上原文链接，感谢
https://mtyjkh.blog.csdn.net/article/details/124097632