torch optimizer小解析

我是按torch 1.11版本写的：

以sgd为例：

里面的maximize = group[‘maximize’]说明了maxmize参数可以分group指定。当然也可以全局使用，并且maxmize是sgd独有的（截至1.11版本）
注意，其他版本的优化器如adam，我没看到maxmize参数。想要执行梯度上升，我想的办法是重写优化器。

注意，self.param_groups是一个列表，是在基类中定义的，sgd里找不到。由上面的图片可知，sgd是按self.param_groups对各个params进行梯度优化（上升或下降）

注意sgd init方法中的defaults变量，这是要给基类init方法的。有关super，可以看看b站一个视频，讲的非常细：

回到基类，注意下图的defaults注释：

后面用了字典的setdefault方法来将全局默认defaults给每个group：