18.卷积神经网络

卷积

全连接网络在pytorch中也叫做线性层，我们实现的时候linear不包括激活函数的部分，

receptive field感受野

感受视野，与局部有关。例如一个小孩看桌子的时候，他可能会先关注到蛋糕，之后再关注其他东西，即关注局部的一些东西。
卷积神经网络指的是局部相关性，每次关注一小块。

weight sharing权值共享

卷积核在图像上移动时，权值是相同的，不会随着移动而改变。

参数

每一层前面的权值和输出加在一起，算一个层。层与层之间有多少条线，就有多少个参数。
[784,256,256,256,256,10]
784×256+256×256+256×256+256×256+256×10=399872个参数，每个参数用4字节来表示，总共1599488B，大约1.53MB。
按理说对于第一个点，应该有4条线，但是卷积神经网络上它只有2条，也就是只有与它相关的只有2条。

卷积操作

卷积核和输入图对应地方的数相乘后再相加的操作。

为什么叫卷积

求函数x(τ)和h(t-τ)重叠部分的面积，我们可以把卷积核看作x(τ)函数，输入图看作h(τ)函数，最后的输出图看作y(τ)，y是一个二维的，y的横纵坐标分别表示偏移量,代表着卷积核在输入图上的移动量和方向。

锐化sharpen

0	0	0	0	0
0	0	-1	0	0
0	-1	-5	-1	0
0	0	-1	0	0
0	0	0	0	0

模糊blur

0	0	0	0	0
0	0	1	0	0
0	1	1	1	0
0	0	1	0	0
0	0	0	0	0

边缘检测edge detect

0	0	0	0	0
0	0	1	0	0
0	1	-4	1	0
0	0	1	0	0
0	0	0	0	0

卷积神经网络

I(28×28)是输入图函数，k是卷积核，F是输出函数。x的范围是0->26，y的范围也是0->26。
不同kernel，代表不同的观察角度，生成不同的map。

kernel：

input_channels原始通道，黑白1，彩色3
kernel_channels代表几个kernel，例如边缘检测、模糊等。
stride步长，每次移动几格
padding补0，paddin=1，把输入图四周各加一行0，使得输出增大。

multi-kernels：

x：[b,3,28,28]
b可以理解为张数。3是input channels。尺寸是28×28
one k：[3,3,3]
第一个3与input channels一致，一个kernel对input的3个通道进行特征提取。后面是尺寸
multi-k：[16,3,3,3]
16是偏置，每一个kernel都有一个偏置，大小和kernel的数量一致。
bias：[16]
大小和kernel的数量一致
out：[b,16,28,28]
28×28是尺寸，取决于有没有padding。

识别特征时，最开始是观察一些低层的特征，如角度、边缘等。中间一般都是观察一些小的概念，比如形状等。高层的一般观察更高级别的特征。识别特征一层一层的叠加。

实现简单的二维卷积神经网络

推荐：layer实例，会先运行hooks，再运行.forward函数。
不建议直接使用forward函数。

layer=nn.Conv2d(1,3,kernel_size=3,stride=1,padding=0)
x=torch.rand(1,1,28,28)

out=layer.forward(x)
print('out shape:',out.shape)

第一个1是input channel，我们假设只有一张黑白的图片。3是指kernel的数量。
由此可推测kernel为[3,1,3,3]
forward()完成一次卷积的前向运算。

layer=nn.Conv2d(1,3,kernel_size=3,stride=1,padding=1)
x=torch.rand(1,1,28,28)

out=layer.forward(x)
print('out shape:',out.shape)

此时我们进行了padding，输出会比上一个大一些。

layer=nn.Conv2d(1,3,kernel_size=3,stride=2,padding=1)
x=torch.rand(1,1,28,28)

out=layer.forward(x)
print('out shape:',out.shape)

layer=nn.Conv2d(1,3,kernel_size=3,stride=2,padding=1)
x=torch.rand(1,1,28,28)

out=layer(x)
print('out shape:',out.shape)

stride有降维的功能，输出维度变小

layer=nn.Conv2d(1,3,kernel_size=3,stride=2,padding=1)
print('weight:',layer.weight)
print('weight shape:',layer.weight.shape)
print('bias shape:',layer.bias.shape)

直接使用自带工具更新梯度。