卷积神经网络主要有以下三大特征:

1) 局部连接

之前我们呢介绍的前馈神经网络相邻的两层之间,前一层的每一个神经元(或者是输入层的每一个单元)与后一层的每一个神经元都有连接,这种情况称为全连接。全连接网络的一个缺点就是参数太多。假设我们输入神经网络中的是一张三通道的彩色图片,图片大小为 128×128,那么,输入层就有 128×128×3=49150 个单元。

使用全连接神经网络的话,输入层到第一层隐藏层的每一个神经元都有 49150个连接,随着网络层数的增加和每一层中神经元数量的增加,网络中的参数也会急剧增加。大量的参数不仅会拉低神经网络训练的效率,也很容易造成过拟合。

在卷积神经网络中,层与层之间不再是全连接,而是局部连接,具体的实现方法就是卷积操作。

2) 权值共享

在卷积神经网络中,每一层卷积层中都会有一个或者多个卷积核(也称为滤波器)。这些卷积核可以识别图片中某些特定的特征,每个卷积核会去滑动卷积上一层的特征图,在卷积的过程中卷积核的参数是不变且共享的。

这样在训练过程中,与之前的全连接神经网络训练大尺度输入样本时需要大量参数相比,卷积神经网络只需要少得多的参数就可以完成训练。

3) 子采样

子采样层(Subsampling Layer),也称作池化层(Pooling Layer), 作用是对上一卷积层进行聚合,使得上一层卷积层的输入特征图尺寸在经过该子采样层的聚合(即池化)后减小,从而降低特征和参数的数量。子采样层所做的事,其实就是对上一层卷积层进行扫描,每次扫描特定区域,然后计算该区域特征的最大值(最大池化,Maximum Pooling)或者平均值(平均池化,Mean Pooling),作为该区域特征的表示。

以上三个特征使得卷积神经网络具有一定程度上的缩放、平移和旋转不变性,并且相较于全连接神经网络,其网络参数也少了很多。