CNN学习笔记.docx

Convolutional works 卷积神经网络卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 CNNs 是受早期的延时神经网络( TDNN )的影响。延时神经网络通过在时间维度上共享权值降低学习复杂度, 适用于语音和时间序列信号的处理。 CNNs 是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向 BP 算法的训练性能。 CNNs 作为一个深度学习架构提出是为了最小化数据的预处理要求。N 中, 图像的一小部分(局部感受区域)作为层级结构的最低层的输入,信息再依次传输到不同的层,每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征,因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征,例如定向边缘或者角点。 2 )卷积神经网络的网络结构图: 卷积神经网络的概念示范: 输入图像通过和三个可训练的滤波器和可加偏置进行卷积, 滤波过程如图一, 卷积后在 C1 层产生三个特征映射图, 然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个 Sigmoid 函数得到三个 S2 层的特征映射图。这些映射图再进过滤波得到 C3 层。这个层级结构再和 S2 一样产生 S4 。最终,这些像素值被光栅化,并连接成一个向量输入到传统的神经网络,得到输出。一般地, C 层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来; S 层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的 sigmoid 函数作为卷积网络的激活函数,使得特征映射具有位移不变性。此外, 由于一个映射面上的神经元共享权值, 因而减少了网络自由参数的个数,降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层( C- 层) 都紧跟着一个用来求局部平均与二次提取的计算层( S-层), 这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。 3 )关于参数减少与权值共享上面聊到, N 一个牛逼的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数。那究竟是啥的呢? 下图左:如果我们有 1000x1000 像素的图像,有 1 百万个隐层神经元, 那么他们全连接的话(每个隐层神经元都连接图像的每一个像素点),就有 1000x1000x1000000=10^12 个连接,也就是 10^12 个权值参数。然而图像的空间联系是局部的, 就像人是通过一个局部的感受野去感受外界图像一样, 每一个神经元都不需要对全局图像做感受,每个神经元只感受局部的图像区域,然后在更高层,将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样