深度学习（10-11节）

卷积操作

计算机视觉的例子：

• 图片分类
• 目标检测
• 神经网络实现图片转化迁移

但因为图片的像素高时，每张图片都很是一个很大的维度，如何处理大量的高像素图片呢？这可能就要用到卷积神经网络了。

边缘检测示例

我们通过边缘检测的例子来看卷积操作是如何进行的。

在边缘检测的例子里，卷积核从左到右每列为{1, 1, 1},{0, 0, 0},{-1, -1, -1}。

如图所示，左边是一个6$\times$6的矩阵，中间是一个3$\times$3的卷积核，”*“代表的是卷积操作，但在Python中一般代表乘积的操作，需要注意区分。将卷积核与左边颜色加深的矩阵一一对应相乘后再相加，得到右边绿色的数值。让卷积核在模板上进行移动卷积，可以得到一个4$\times$4的矩阵。假设原图像的维度为m$\times$n，卷积核的大小为a$\times$a，那么得到的矩阵大小为(m-a+1)$\times$(n-a+1)。

对应编程的函数：

python：conv_forward

tensorflow：tf.nn.conv2d

PyTorch：torch.nn.Conv2d

再举个更加明显的例子，如下图：

可以看到很明显的就是，如果左边的图片没有变化，与卷积核进行卷积就会得到0，如果选取的区域图片有变化，那么得到的结果就有正值。上述的过程看一看成如下示意图：

将最左边的变化的部分在最右边得到的结果显现出来。

更多的边缘检测内容

在上节例子中的卷积核可以为我们检测由亮到暗的一个过渡的过程，如果是由暗到亮，那么输出的就是负值。

如果我们把上节检测垂直边缘的卷积核旋转一下，从第一行到第三行分别是{1, 1, 1},{0, 0, 0},{-1, -1, -1}，这就变成了一个水平的边缘检测。

列举几个3$\times$3滤波器：

• Sobel滤波器：第一列到第三列分别为：{1, 2, 1},{0, 0, 0},{-1, -2, -1}。
• Scharr滤波器：第一列到第三列分别为：{3, 10, 3},{0, 0, 0},{-3, -10, -3}。

Padding

在进行卷积的过程中，会发现很容易将图像最边缘的部分给忽略掉。一般的做法是在进行卷积之前，会在周围再填充一层像素，这样m$\times$n的矩阵就变成了(m+2)$\times$(n+2)的矩阵，这样在每层神经网络里进行卷积，不会损失掉边缘的特征。

填充一层就代表padding=1，填充两层代表padding=2…

• Valid卷积，其卷积过程如下：

$$n\times n\ast f\times f\stackrel{nopadding}{\to }(n-f+1)\times (n-f+1)$$

• Same卷积，顾名思义就是卷积前后的大小是相同的，其卷积过程如下：

$$n\times n\ast f\times f\underset{p=\frac{f-1}{2}}{\overset{padding=p}{\to }}n\times nf=2p+1,\mathrm{所}\mathrm{以}\mathrm{我}\mathrm{们}\mathrm{的}f\mathrm{只}\mathrm{取}\mathrm{奇}\mathrm{数}$$

上述过程中所有填充的像素一般使用0来填充！

卷积步长

卷积步长指得是，卷积模板每次移动的距离，一般用英文stride表示。如果步长表示为$s$，那么卷积后的矩阵大小就变了： $$n\times n\ast f\times f\stackrel{padding=p,stride=s}{\to }\lfloor \frac{n+2p-f}{s}+1\rfloor \times \lfloor \frac{n+2p-f}{s}+1\rfloor$$

深度学习的卷积vs数学上的卷积

前面所讲的所有操作都属于深度学习上的卷积，其实这严格意义上来讲不是一种卷积。真正的在数学上的卷积先要对卷积核进行翻转操作，但在深度学习的文献中，我们将直接把深度学习上的伪卷积称为卷积。

三维卷积

我们知道彩色的图像像素矩阵是一个三维矩阵，其中第三个维度为3，代表RGB三个通道。那么如果图像是三维的（假设为6$\times$6$\times$3），那么我们使用的卷积核也应该是三维的（假设为3$\times$3$\times$3），第三个维度与图像的第三个维度是相同的，代表三个通道，但输出图像的结果的形状为4$\times$4$\times$1。

为什么输出的图像是只有一个通道的呢？

可以看一下如下的图来理解：

将三个通道的卷积核看成一个长方体，在三通道图像矩阵上进行滑动得到输出。这样做的好处是可以对不同的通道进行不同的卷积模版设置，参数设置不同，可以得到不同的特征检测器。

为了对一个图像同时进行不同特征的选择，我们可以同时用不同的卷积核对图像做卷积，同时得到不同的输出（每个输出都是单通道的），我们将几个输出堆叠在一起，就形成了多维矩阵。注意有几个卷积核，得到图像输出的第三个维度就有几个。

单层卷积网络

学会了三维卷积之后，其实就可以使用三维卷积来表示单层卷积网络的结构了，下面用一个例子来表示过程： $$input：6\times 6\times 3\to \{\begin{array}{l}\ast 3\times 3\times 3\mathrm{的}\mathrm{卷}\mathrm{积}\mathrm{核}\to \mathrm{二}\mathrm{维}\mathrm{图}\mathrm{像}\mathrm{输}\mathrm{出}{y}_1\to ReLU(y_1+b_1)\ast 3\times 3\times 3\mathrm{的}\mathrm{卷}\mathrm{积}\mathrm{核}\to \mathrm{二}\mathrm{维}\mathrm{图}\mathrm{像}\mathrm{输}\mathrm{出}{y}_2\to ReLU(y_2+b_2)\end{array}\to 4\times 4\times 2\mathrm{这}\mathrm{里}\mathrm{的}2\mathrm{根}\mathrm{据}\mathrm{单}\mathrm{层}\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{的}\mathrm{数}\mathrm{量}\mathrm{进}\mathrm{行}\mathrm{更}\mathrm{改}$$ 和普通的神经网络相比，卷积核相当于普通神经网络中的权重$w$，偏差同样为$b$。一般在使用卷积层时，我们使用$f^{[l]}$来表示第$l$层的卷积核大小；使用$p^{[l]}=padding$代表使用有效填充，也就是same padding，使输入输出前后的图像高度和宽度一致；使用$s^{[l]}$来代表$l$层上的卷积步长；$l$层的输入则变为$n_H^{[l-1]}\times n_W^{[l-1]}\times n_c^{[l-1]}$，$l$层的输出则变为$n_H^{[l]}\times n_W^{[l]}\times n_c^{[l]}$，其中$n_H^{[l]}=\lfloor \frac{n_H^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\rfloor$，$n_W^{[l]}=\lfloor \frac{n_W^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\rfloor$，第$l$层的卷积核的维度为$f^{[l]}\times f^{[l]}\times n_c^{[l-1]}$，第$l$层的激活值$a^{[l]}$的维度为$n_H^{[l]}\times n_W^{[l]}\times n_c^{[l]}$，如果采用批量梯度下降$m$个样本的激活值$A^{[l]}$的维度为$m\times n_H^{[l]}\times n_W^{[l]}\times n_c^{[l]}$，批量梯度下降的$W$的维度为$f^{[l]}\times f^{[l]}\times n_c^{[l-1]}\times n_c^{[l]}$。

简单卷积网络示例

假设一张$39\times 39$的彩色图像，输入一个三层卷积网络，它的卷积过程如下，所有padding方式都采用no padding，卷积步长初始为1：

• 初始：

$$n_H^{[0]}=n_W^{[0]}=39,n_c^{[0]}=3$$

• 第一层卷积核：

$$\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{大}\mathrm{小}\mathrm{为}{f}^{[1]}\times f^{[1]}\times n_c^{[0]},f^{[1]}=3,n_c^{[0]}=3\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{的}\mathrm{数}\mathrm{量}\mathrm{为}{n}_c^{[1]}=10，\mathrm{卷}\mathrm{积}\mathrm{步}\mathrm{长}{s}^{[1]}=1\mathrm{经}\mathrm{过}\mathrm{卷}\mathrm{积}\mathrm{和}\mathrm{激}\mathrm{活}\mathrm{之}\mathrm{后}{a}^{[1]}\mathrm{的}\mathrm{维}\mathrm{度}\mathrm{为}{n}_H^{[1]}\times n_W^{[1]}\times n_c^{[1]}，\mathrm{其}\mathrm{中}{n}_H^{[1]}=\lfloor \frac{n_H^{[0]}+2p^{[1]}-f^{[1]}}{s^{[1]}}+1\rfloor =37,\mathrm{同}\mathrm{理}{n}_W^{[1]}=37,\mathrm{所}\mathrm{以}\mathrm{维}\mathrm{度}\mathrm{为}37\times 37\times 10$$

• 第二层卷积核：

$$\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{大}\mathrm{小}\mathrm{为}{f}^{[2]}\times f^{[2]}\times n_c^{[1]},f^{[2]}=5,n_c^{[1]}=10\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{的}\mathrm{数}\mathrm{量}\mathrm{为}{n}_c^{[2]}=20,\mathrm{卷}\mathrm{积}\mathrm{步}\mathrm{长}{s}^{[2]}=2\mathrm{经}\mathrm{过}\mathrm{卷}\mathrm{积}\mathrm{和}\mathrm{激}\mathrm{活}\mathrm{之}\mathrm{后}{a}^{[2]}\mathrm{的}\mathrm{维}\mathrm{度}\mathrm{为}{n}_H^{[2]}\times n_W^{[2]}\times n_c^{[2]}，\mathrm{其}\mathrm{中}{n}_H^{[2]}=\lfloor \frac{n_H^{[1]}+2p^{[2]}-f^{[2]}}{s^{[2]}}+1\rfloor =17,\mathrm{同}\mathrm{理}{n}_W^{[2]}=17,\mathrm{所}\mathrm{以}\mathrm{维}\mathrm{度}\mathrm{为}17\times 17\times 20$$

• 第三层卷积核：

$$\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{大}\mathrm{小}\mathrm{为}{f}^{[3]}\times f^{[3]}\times n_c^{[2]},f^{[3]}=5,n_c^{[2]}=20\mathrm{卷}\mathrm{积}\mathrm{核}\mathrm{的}\mathrm{数}\mathrm{量}\mathrm{为}{n}_c^{[3]}=40,\mathrm{卷}\mathrm{积}\mathrm{步}\mathrm{长}{s}^{[3]}=2\mathrm{经}\mathrm{过}\mathrm{卷}\mathrm{积}\mathrm{和}\mathrm{激}\mathrm{活}\mathrm{之}\mathrm{后}{a}^{[3]}\mathrm{的}\mathrm{维}\mathrm{度}\mathrm{为}{n}_H^{[3]}\times n_W^{[3]}\times n_c^{[3]}，\mathrm{其}\mathrm{中}{n}_H^{[3]}=\lfloor \frac{n_H^{[2]}+2p^{[3]}-f^{[3]}}{s^{[3]}}+1\rfloor =7,\mathrm{同}\mathrm{理}{n}_W^{[3]}=7,\mathrm{所}\mathrm{以}\mathrm{维}\mathrm{度}\mathrm{为}7\times 7\times 40$$

然后将$a^{[3]}$矩阵中所有的值处理成为一个长向量，并放进logistic层或者softmax层得到预测值。

池化层

• 举一个最大池化层的例子：

如上一个$4\times 4$的矩阵，将其分成4个部分，在每个部分取最大值，得到一个$2\times 2$的矩阵，这就是一个最大池化的例子。

最大池化只有一组超参数，并没有参数需要进行学习。超参数分别为$f=2,s=2$代表如果类似比作卷积核，卷积核的大小为2，卷积步长为2。如果输入的矩阵是3维的，输出也是3维的，比如输入$5\times 5\times 2$,输出也是$3\times 3\times 2$。

• 平均池化：

平均池化的原理和最大池化相同，只是将池化的方式变成了求平均值。

我们在阅读文献时，在计算神经网络使用的层数时，只计算具有参数的层数，只具有超参数的层不参与计算！

对于卷积神经网络的搭建，一般使用别人文章搭建好的超参数来修改，不要自己设置！

一般来说随着卷积神经网络的层数深入，$n_H$和$n_W$会越来越小，$n_c$会原来越大。

常见的卷积神经网络的结构：

conv-pool-conv-pool-FC-FC-FC-softmax

卷积神经网络示例探究

经典网络

• LeNet-5：识别手写数字的经典网络

LeNet-5是针对灰度图片进行训练的。其网络结构如下：

当时早期一般使用平均池化，在现在的版本中，最后输出$\hat{y}$之前会有一个softmax回归层，参数大约为60000个，网络结构较为简单。

• AlexNet

这是针对计算机视觉大赛做的模型，其网络结构如下：

其中图片矩阵的宽和高不变的地方都是因为使用padding填充使得图片的宽高不变。相比LeNet-5网络，该网络的参数大约有6000万个参数。

• VGG-16

网络结构如下：

*注意其中的卷积$\times$2代表使用这个卷积层2次。*可以看到它是一个非常深的网络，总共包含大约1.38亿个参数。

残差网络

• 残差块

残差块是在一个深层的网络内，将前层与比较深的后层建立联系。上图以一个双线性层举例，从最上面的结构变成了下面的结构。

从公式上来说，线性层的公式为： $$z^{[l+1]}=W^{[l+1]}{a}^{[l]}+b^{[l+1]}{a}^{[l+1]}=g(z^{[l+1]})z^{[l+2]}=W^{[l+2]}{a}^{[l+1]}+b^{[l+2]}{a}^{[l+2]}=g(z^{[l+2]})$$ 而残差块则是将最后一个激活函数给修改了，也就是修改了上面的最后一个公式： $$a^{[l+2]}=g(z^{[l+2]}+a^{[l]})$$ 相当于加上了一个前层的激活值进行新的激活，这被称为是一个short cut，如果这种连接跨越了很多层，你可能还能听到一个术语叫skip connection，中文意思叫远跳连接。

我使用深度神经网络进行训练的时候会发现，随着网络深度的提升，训练的错误率会先下降后上升。而残差网络的出现，解决了这一问题，即使100层的网络也不会出现错误率提升的现象。这使得我们在训练深度网络的时候，解决了梯度消失和梯度爆炸的问题。

那么为什么残差网络的做法能够达到这样的效果呢？

$$a^{[l+2]}=g(z^{[l+2]}+a^{[l]})=a(W^{[l+2]}{a}^{[l+1]}+b^{[l+2]}+a^{[l]})\mathrm{假}\mathrm{设}\mathrm{当}\mathrm{到}l+2\mathrm{层}\mathrm{时}，W^{[l+2]}\mathrm{和}{b}^{[l+2]}\mathrm{都}\mathrm{变}\mathrm{成}0，a^{[l+2]}=a^{[l]}\mathrm{相}\mathrm{当}\mathrm{于}\mathrm{在}\mathrm{该}\mathrm{层}\mathrm{时}\mathrm{出}\mathrm{现}\mathrm{了}\mathrm{梯}\mathrm{度}\mathrm{消}\mathrm{失}/\mathrm{梯}\mathrm{度}\mathrm{爆}\mathrm{炸},\mathrm{那}\mathrm{么}\mathrm{此}\mathrm{时}\mathrm{残}\mathrm{差}\mathrm{网}\mathrm{络}，\mathrm{就}\mathrm{可}\mathrm{以}\mathrm{使}\mathrm{网}\mathrm{络}\mathrm{停}\mathrm{止}\mathrm{在}\mathrm{出}\mathrm{现}\mathrm{该}\mathrm{问}\mathrm{题}\mathrm{之}\mathrm{间}。$$

如果$l$层和$l+2$层的维度不同，则需要对公式做一个变形： $$a^{[l+2]}=g(z^{[l+2]}+W_s{a}^{[l]})W_s\mathrm{使}\mathrm{用}\mathrm{来}\mathrm{转}\mathrm{换}\mathrm{维}\mathrm{度}\mathrm{的}，padding\mathrm{用}0\mathrm{来}\mathrm{填}\mathrm{充}。$$

网络中的网络 & $1\times 1$卷积

对于单通道的图片，1$\times$1卷积没什么用。假设你有一张多通道的图片，比如32通道，使用一个1$\times$1$\times$32的卷积核进行卷积，然后应用ReLU激活函数。这样设计的原因和在卷积的每个通道上相当于设计了一个全连接层。

1$\times$1网络的应用场景如下：假设你需要将一个$28\times 28\times 192$的图片转化成为$28\times 28\times 32$的图片，在通常情况下，需要使用padding=same的32个192通道的卷积核实现，但因为padding是有损的。这时候$1\times 1\times 192$的卷积核就派上用场了。

谷歌Inception网络介绍

GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。

inception结构示例如下所示：

首先我们先来举个例子看一下，1$\times$1的卷积网络可以打打降低成本。

假设一个$28\times 28\times 192$的网络直接通过32个$5\times 5$的卷积核进行padding=same的变化，计算成本为$28\times 28\times 32\times 5\times 5\times 192=1.2$亿次乘法运算。

如果我们在中间加若干个$1\times 1\times 192$的卷积核做过渡，假设加了16个卷积核，那么计算成本则变为$28\times 28\times 16\times 192+28\times 28\times 32\times 5\times 5\times 16=1240$万次乘法运算，大约缩减到了$\frac{1}{10}$。

如果对inceotion中的每一个网络都做$1\times 1$的卷积，那么上图中的结构变化成如下结构：

这就是一个完整的inception模块。

迁移学习

我们如何使用别人训练好的权重参数运用到自己的网络中呢？

以ImageNet数据集的网络为例，因为它是一个1000分类的问题，如何运用到我们自己的4分类问题上呢？最好的办法就是将原有的softmax层去掉，设计自己的softmax层。还有就是训练的过程中，那些预先训练好的参数是不参与你后续的训练的：这有两种实现方式，第一种就是通过框架来调整参数，使得前面的参数不参与前向和后向传播；第二种方式就是将x输入，在训练好的参数的计算下，保存输出的结果，用于后续自己的训练。

但如果你的数据集是一个很小的数据集，该如何做呢？

那么我们可能需要只冻结预训练网络的前层网络，构建自己的输出单元，训练后层网络。或者你可以将后层的网络换成自己的网络。

那么如果你的数据集比较大，如何做呢？

我们不需要冻结任何的网络，直接将预训练好的网络当做初始化，修改输出单元，直接进行训练。

数据增强

数据增强的方式如下：

• 垂直镜像对称
• 随机裁剪
• 局部扭曲
• 色彩转化： 会使你的模型对颜色更具鲁棒性。

因为有部分公式可能因为博客插件不支持的原因，完整的笔记请看: https://github.com/caixiongjiang/deep-learning-computer-vision

最后修改于 2022-08-01