当前位置：网站首页>BN折叠及其量化

BN折叠及其量化

2022-07-06 08:51:00 【cyz0202】

本文介绍量化过程中的BN折叠；

以下图片引用自 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

BN折叠

首先介绍BN折叠；BN折叠源自 BN模块在训练阶段和推断阶段的实现差异；

如下图所示：以conv+BN为例，图1为训练阶段的BN，图2为推断阶段的BN

可以证明这样的折叠是合理的，注意图2中的w指的是卷积核；

$\\ O_f=\gamma * \frac{\sum(W * I) + b_{conv} - \mu}{\sigma} + b_{bn} \\ O_f=\sum( \frac{\gamma}{\sigma}*W*I) + \frac{\gamma}{\sigma}*(b_{conv} - \mu) + b_{bn} \\ => W' = \frac{\gamma}{\sigma}*W \\ => b'_{conv} = \frac{\gamma}{\sigma}*(b_{conv} - \mu) + b_{bn} \\ => b'_{conv} = \frac{\gamma}{\sigma}*(- \mu) + b_{bn} = b_{bn}- \frac{\gamma\mu}{\sigma} \space\ \space\ \space\ if \space\ \space\ b_{conv} == 0$