转置卷积相关

卷积可以理解为压缩，转置卷积为解压缩。

重新排列输入和核

前言

卷积不会增大输出的高和宽，要么不变，要么减小。
转置卷积可以增大输出的高和宽，实现过程如下图所示。

思想

输入里的每一个元素与卷积核中的元素相乘，以2X2输入为例，相乘后会得到四个矩阵，让这四个矩阵相加就是输出。
输出可由以下公式得到：

K表示kernel，Y为输出，X为输入

代码实现

import torch
from torch import nn
from d2l import torch as d2l
def trans_conv(X,K):
    h,w = K.shape
    Y = torch.zeros((X.shape[0]+h-1,X.shape[1]+w-1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i:i+h,j:j+w] += X[i,j]*K
    return Y
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)

我们也可以调用pytorch中的API来实现，具体代码如下：

X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2) #批量大小，通道数，输入长，宽
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2,bias=False)
tconv.weight.data = K
tconv(X)

步幅，填充，多通道

填充

常规卷积将填充应用在输入上，转置卷积则应用在输出上。当将高和宽两侧的填充数指定为1时，转置卷积的输出中将删除第一和最后的行与列。
当padding=0时，输出为：

当padding=1时，输出为：

把最外面的一行和一列删掉了。
代码实现如下：

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

步幅

转置卷积中的步幅与卷积中并无差别，具体实例如下：
当步幅为1时：

当步幅为2时：

多通道

对于多个输入和输出通道，转置卷积与常规卷积以相同方式运作。 假设输入有ci个通道，且转置卷积为每个输入通道分配了一个kh×kw的卷积核张量。 当指定多个输出通道时，每个输出通道将有一个ci×kh×kw的卷积核。

同样，如果我们将X代入卷积层f来输出Y=f(X)，并创建一个与f具有相同的超参数、但输出通道数量是X中通道数的转置卷积层g，那么g(Y)的形状将与X相同。 下面的示例可以解释这一点。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape