理解卷积神经网络中的权值共享

首先介绍单层网络实行的权重共享袁力介绍

简单从共享的角度来说：权重共享即filter的值共享

卷积神经网络两大核心思想：

1.网络局部连接（Local Connectivity）

2.卷积核参数共享（Parameter Sharing）

两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。

下面来用最直观的图示，来阐明两者的作用。

CNN的正确打开方式，如下所示

概括为：一个 的卷积核在图像上扫描，进行特征提取。通常， ， 的卷积核较为常用，如果channels为 [公式] 的话（32,64是较为常用的通道数），那么参数总量为 。

• 不进行parameter sharing

如果不用parameter sharing实现上图的运算，卷积核结构就会变成下图所示

这个是不难发现：卷积核的参数数量与图像像素矩阵的大小保持一致，即

例如：Inception V3的输入图像尺寸是192192的，**如果把第一层3332的卷积核去掉参数共享，那么参数数目就会变成192192*32，约为120万个参数，是原来288个参数的50万倍。**

• 不进行local connectivity
  如果不用局部连接，那当然就是全连接网络了（fully connect），即每个元素单元与隐层的神经原进行全连接，网络结构如下所示。
  

此时参数量变为 ,因为像素矩阵很大，所以也会选择较多的隐含层节点，这时一个单隐层的参数数目通常就超过了1千万个，导致网络很难进行训练。

---

以下是pytorch对多层网络实行的权重共享代码

import torchimport torch.nn as nnimport randomimport matplotlib.pyplot as plt # 绘制loss曲线def plot_curve(data):    fig = plt.figure()    plt.plot(range(len(data)), data, color='blue')    plt.legend(['value'], loc='upper right')    plt.xlabel('step')    plt.ylabel('value')    plt.show()  class DynamicNet(nn.Module):    def __init__(self, D_in, H, D_out):        super(DynamicNet, self).__init__()        self.input_linear = nn.Linear(D_in, H)        self.middle_linear = nn.Linear(H, H)        self.output_linear = nn.Linear(H, D_out)     def forward(self, x):        h_relu = self.input_linear(x).clamp(min=0)        # 重复利用Middle linear模块        for _ in range(random.randint(0, 3)):            h_relu = self.middle_linear(h_relu).clamp(min=0)        y_pred = self.output_linear(h_relu)        return y_pred  # N是批大小；D是输入维度# H是隐藏层维度；D_out是输出维度N, D_in, H, D_out = 64, 1000, 100, 10 # 模拟训练数据x = torch.randn(N, D_in)y = torch.randn(N, D_out) model = DynamicNet(D_in, H, D_out)criterion = nn.MSELoss(reduction='sum')# 用平凡的随机梯度下降训练这个奇怪的模型是困难的，所以我们使用了momentum方法。optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9) loss_list = []for t in range(500):    # 前向传播    y_pred = model(x)    # 计算损失    loss = criterion(y_pred, y)    loss_list.append(loss.item())    # 清零梯度，反向传播，更新权重    optimizer.zero_grad()    loss.backward()    optimizer.step() plot_curve(loss_list)