卷积神经网络（CNN）一、简介卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络1（Convolutional Neural Networks-简称CNN）7863。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络2。他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。随着1986年BP算法以及T-C问题3（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能45。在1998年，他们建立了一个多层人工神经网络，被称为LeNet-55，用于手写数字分类,这是第一个正式的卷积神经网络模型3579。类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。直到2006年，Hinton终于一鸣惊人，在科学上发表文章，使得CNN再度觉醒，并取得长足发展。随后，更多的科研工作者对该网络进行了改进。其中，值得注意的是Krizhevsky等人提出的一个经典的CNN架构，相对于图像分类任务之前的方法，在性能方面表现出了显著的改善2674。他们方法的整体架构，即AlexNet9（也叫ImageNet），与LeNet-5相似，但具有更深的结构。它包括8个学习层（5个卷积与池化层和3个全连接层），前边的几层划分到2个GPU上，（和ImageNet是同一个）并且它在卷积层使用ReLU作为非线性激活函数，在全连接层使用Dropout减少过拟合。该深度网络在ImageNet大赛上夺冠，进一步掀起了CNN学习热潮。一般地，CNN包括两种基本的计算，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。这两种操作形成了CNN的卷积层。此外，卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，即池化层，这种特有的两次特征提取结构减小了特征分辨率。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式地特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。注：红色数字表示相应文献的引用量。二、卷积神经网络 vs神经网络2.1神经网络首先简要介绍下神经网络。神经网络的每个单元如下：其对应的公式如下：hW,bx=fWTx=f(i=13Wixi+b)其中，该单元也可以被称作是Logistic回归模型。当将多个单元组合起来并具有分层结构时，就形成了神经网络模型。下图展示了一个具有一个隐含层的神经网络。其对应的公式如下：比较类似的，可以拓展到有2,3,4,5,个隐含层。神经网络的训练方法也同Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则，专业名称为反向传播。神经网络的权值调整过程如下（BP算法）：计算误差函数 J=xDJx=12k=1Dtk-zk2；误差函数对权系数偏微分的计算对输出层权系数的微分：Jkj=Jnetknetkkj（求导链式法则）输出层第k个神经元的总输入：netk=j=1nHkjyj+k0zk=f(netk)Jnetk=Jzkzknetk=-(tk-zk)f(netk)netkkj=yj令Jnetk=k，可得Jkj=kyj对隐层权系数的微分：Jji=Jnetjnetjji隐含层第j个神经元的总输入：netj=i=1djixi+j0yj=f(netj)Jnetj=Jyjyjnetj=(k=1cJnetknetkyj)yjnetj=(k=1ckkj)f(netj)令Jnetj=j，可得Jji=jxi权系数的更新kjkj-Jkjjiji-Jji根据计算误差修正权值，最终使得误差值J最小，此时就建立好了神经网络模型。卷积神经网络的权值调整过程也多采用BP算法。2.2卷积神经网络目前有许多CNN架构的变体，但它们的基本结构非常相似。CNN的基本体系结构通常由三种层构成，分别是卷积层、池化层和全连接层。卷积层旨在学习输入的特征表示。如图，卷积层由几个特征图（feature maps）组成。一个特征图的每个神经元与它前一层的临近神经元相连，这样的一个邻近区域叫做该神经元在前一层的局部感知野。为了计算一个新的特征图，输入特征图首先与一个学习好的卷积核（也被称为滤波器、特征检测器）做卷积，然后将结果传递给一个非线性激活函数。通过应用不同的卷积核得到新的特征图。注意到，生成一个特征图的核是相同的。（也就是权值共享）这样的一个权值共享模式有几个优点，如可以减少模型的复杂度，使网络更易训练等。激活函数描述CNN的非线性度，对多层网络检测非线性特征十分理想。典型的激活函数有sigmoid、tanh和ReLU。池化层旨在通过降低特征图的分辨率实现空间不变性。它通常位于两个卷积层之间。每个池化层的特征图和它相应的前一卷积层的特征图相连，因此它们的特征图数量相同。典型的池化操作是平均池化和最大池化。通过叠加几个卷积和池化层，我们可以提取更抽象的特征表示。几个卷积和池化层之后，通常有一个或多个全连接层。它们将前一层所有的神经元与当前层的每个神经元相连接，在全连接层不保存空间信息。下面对各层进行详细的分析与介绍：在图像处理中，往往把图像表示为像素的向量，比如一个10001000的图像，可以表示为一个1000000的向量。在上一节中提到的神经网络中，如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为10000001000000=1012，这样就太多了，基本没法训练，所以必需先减少参数加快速度。2.2.1 卷积层（The convolutional layer）1、局部感知卷积神经网络有两种神器可以降低参数数目，第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想，也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的（即这些神经元只响应某些特定区域的刺激）。如下图所示：左图为全连接，右图为局部连接。在上右图中，假如每个神经元只和它前一层邻近的1010个像素值相连，那么权值数据为1000000100个参数，减少为原来的万分之一。而那1010个像素值对应的1010个参数，其实就相当于卷积操作。2、权值共享但其实这样的话参数仍然过多，那么就启动第二级神器，即权值共享。在上面的局部连接中，每个神经元都对应100个参数，一共1000000个神经元，如果这1000000个神经元的100个参数都是相等的，那么参数数目就变为100了。怎么理解权值共享呢？我们可以这100个参数（也就是卷积操作）看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。更直观一些，当从一个大尺寸图像中随机选取一小块，比如说 88 作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个 88 样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从 88 样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。如下图所示，展示了一个33的卷积核在55的图像上做卷积的过程。每个卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件的部分筛选出来。（图片为gif格式）3、多卷积核上面所述只有100个参数时，表明只有1个1010的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。在有多个卷积核时，如下图所示：上图右，不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图像的不同的通道，如下图所示。下图展示了在四个通道上的卷积操作，有两个卷积核，生成两个通道。其中需要注意的是，四个通道上每个通道对应一个卷积核，先将W1忽略，只看W0，那么在W0的某位置(i,j)处的值，是由四个通道上(i,j)处邻近区域的卷积结果相加然后再取激活函数（假设选择tanh函数）值得到的。hij0=tanh(k=03(Wk*(W0*x)ij)+b0)所以，在上图由4个通道卷积得到2个通道的过程中，参数的数目为4222个，其中4表示4个通道，第一个2表示生成2个通道，最后的22表示卷积核大小。2.2.2池化层（The pooling layer）在通过卷积获得了特征 (features) 之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如 softmax 分类器，但这样做面临计算量的挑战。例如：对于一个 9696 像素的图像，假设我们已经学习得到了400个定义在88输入上的特征(即：有400个卷积核)，每一个特征和图像卷积都会得到一个 (96 8 + 1) (96 8 + 1) = 7921 维的卷积特征，由于有 400 个特征，所以每个样例