卷积神经网络

卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的，一般是由卷积层、池化层和全连接层交叉堆叠而成的前馈神经网络。

为什么需要卷积神经网络?

1. 全连接前馈神经网络权重矩阵的参数非常多，导致训练效率低，且易出现过拟合现象。

2. 全连接前馈神经网络很难提取局部不变特征。

   局部不变特征：尺度缩放、平移、旋转等操作不影响其语义信息。

   

3. 对图片像素的下采样不改变物体的特性（池化层的操作）。

   

   对像素下采样可缩小图片尺寸，减少网络传递的参数，加快模型训练，而且减少了参数可以缓解过拟合问题。

卷积神经网络的结构

卷积神经网络

汇聚层===池化层。

一个卷积块为连续 M 个卷积层和 b 个池化层。一个卷积网络中可以堆叠 N 个连续的卷积块，然后再接着 K 个全连接层。

卷积层

卷积网络的计算

卷积的计算

卷积核每一次平移滑动都是这么算。

卷积计算公式

步长(stride)

就是卷积核移动的时候的步长，上图的步长为1。

零填充（Padding）

Padding

Padding 的作用

1. 保持边界信息，如果没有加padding的话，输入图片最边缘的像素点信息只会被卷积核操作一次，但是图像中间的像素点会被扫描到很多遍，那么就会在一定程度上降低边界信息的参考程度，但是在加入padding之后，在实际处理过程中就会从新的边界进行操作，就从一定程度上解决了这个问题。

2. 可以利用padding对输入尺寸有差异图片进行补齐，使得输入图片尺寸一致。

3. 加入Padding，调整参数可以使得卷积层的输入维度和输出维度一致。

channel

黑白图片是 1 个通道，彩色图片就有 RGB 3 个通道，经过 1 个 3 * 3 * 3 的卷积核生成一个图片，经过 2 个卷积核就会生成 2 个图片，经过 n 个 卷积核就会生成 n 个图片，这生成的 n 个图片也就作为下一个网络操作的 n 个输入通道。

可见，经过卷积操作可以给输入图像升维，可以提取出图像更多的特征；经过不同的卷积核也就可以提取出不同的图像特征。

感受野

在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，就是感受野。

池化层

这名字取得有点高大上，而实际上很简单。

构建的模型的目的是抽取出满足大多数样本特征变化的规律，以预测新的样本。

池化层就是在尽量不影响输入图像特征的前提下减小图像的尺寸。

池化层可以理解为一种特殊的卷积核，以 2 * 2 的池化核为例，跟卷积核一样在原图像上移动计算，抽取出具有代表性的特征值，只不过与卷积的计算方式不同而已。

最大池化

最大池化

平均池化

平均池化

池化的作用

1. 特征不变性（feature invariant）。

2. 特征降维。由于汇合操作的降采样作用，减小了下一层输入大小，进而减小计算量和参数个数。

3. 在一定程度上能防止过拟合的发生。

全连接层

把图像拉平成一维向量

Flatten