当前位置:网站首页>新手入门深度学习 | 3-6:优化器optimizers

新手入门深度学习 | 3-6:优化器optimizers

2022-07-06 00:34:00 K同学啊


优化器是在深度学习反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数让损失函数(目标函数)值不断逼近全局最小。

本来是写了好多东西的,但是感觉讲太多反而会起反效果,

模型优化算法的选择直接关系到最终模型的性能。有时候效果不好,未必是特征的问题或者模型设计的问题,很可能就是优化算法的问题。

深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> A

原网站

版权声明
本文为[K同学啊]所创,转载请带上原文链接,感谢
https://mtyjkh.blog.csdn.net/article/details/124097632

随机推荐