paddlepaddle 20 指数移动平均（ExponentialMovingAverage，EMA）的实现与使用（支持静态图与动态图）

指数移动平均（ExponentialMovingAverage，EMA）是以指数式递减加权的移动平均，每一次更新都对上一次保留的权重按照decay进行衰减。其计算方式为pram_n'=(pram_n'-1)*decay+(1-decay)*pram_n,其中pram_n'为EMA保存的在n步时的权重，pram_n为算法正常计算得出的权重。
EMA是一个不断迭代的运算方式，在第n步时，第k次更新参数被衰减了decay^(n-k)倍。EMA本质就是一种学习率衰减的策略，具体可见博客（https://www.cnblogs.com/sddai/p/14646581.html）中的推导，此外，该作者还实现了pytorch版的EMA。
在paddle2中EMA可分为静态图版和动态图版，静态图版官方已经在paddle2.0中进行实现，下面会进行简单介绍。动态图版需要自行实现，将在本文的第二节实现。在训练模型一开始ema就生效，会使ema_model在测试集的表现极差，因为这个阶段的模型更新较少，其权重的大部分都是刚刚初始化的。建议在训练一定阶段后启用ema。

1、静态图版EMA

官网的介绍 https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/static/ExponentialMovingAverage_cn.html#exponentialmovingaverage

导入 只能用于静态图

from paddle.static import ExponentialMovingAverage

初始化 </