Fusion de la conversion et de la normalisation des lots

Calcul théorique

En coursCNNConfiguration standard des éléments de base de la couche de convolution：Conv + BN +ReLU Trois sous - modules.Mais en fait, dans la phase de raisonnement du réseau,Vous pouvezBNLes opérations de la couche sont fusionnées enConvEn couches,Réduire la quantité de calcul,Accélérer le raisonnement.Essentiellement, les paramètres du noyau de convolution ont été modifiés,Sans augmentationConvEn même temps que le calcul de la couche,J'ai oublié.BNCalcul de la couche.La formule est dérivée comme suit:.

convParamètres de la couche

BNParamètres de la couche

Supposons que l'entrée soitx,Etx->Conv->BNLa sortie de：

Faire une simple déformation de formule：

Mise en œuvre du Code

Dans la pratique, Il faut d'abord localiser. convEtbnEmplacement, Remplacer ou supprimer selon le cas BNCouche. Dans ce mode de réalisation , Diviser la Bibliothèque de modèles en Open Source https://github.com/qubvel/segmentation_models.pytorch Expériences de fusion pour des cas ,C'est exact.BN Les couches ont été remplacées .

class Conv2dReLU(nn.Sequential):
    def __init__(
            self,
            in_channels,
            out_channels,
            kernel_size,
            padding=0,
            stride=1,
            use_batchnorm=True,
    ):

        if use_batchnorm == "inplace" and InPlaceABN is None:
            raise RuntimeError(
                "In order to use `use_batchnorm='inplace'` inplace_abn package must be installed. "
                + "To install see: https://github.com/mapillary/inplace_abn"
            )

        conv = nn.Conv2d(
            in_channels,
            out_channels,
            kernel_size,
            stride=stride,
            padding=padding,
            bias=not (use_batchnorm),
        )
        relu = nn.ReLU(inplace=True)

        if use_batchnorm == "inplace":
            bn = InPlaceABN(out_channels, activation="leaky_relu", activation_param=0.0)
            relu = nn.Identity()

        elif use_batchnorm and use_batchnorm != "inplace":
            bn = nn.BatchNorm2d(out_channels)

        else:
            bn = nn.Identity()

        super(Conv2dReLU, self).__init__(conv, bn, relu)

from turtle import forward
from torch.fx.experimental.optimization import fuse
import torch
import torch.nn as nn
import time

import segmentation_models_pytorch.base.modules as md

from utils.torchUtils import fuse_conv_and_bn


def fuseModel(model):  # fuse model Conv2d() + BatchNorm2d() layers
    for m in model.modules():
        if isinstance(m, (md.Conv2dReLU)) and isinstance(m[1], (nn.BatchNorm2d)):
            m[0] = fuse_conv_and_bn(m[0], m[1])  # update conv
            m[1] = nn.Identity()
            count += 1
    return model