卷积神经网络cnn.docx

1 、动机卷积神经网络( CNN )是多层感知机( MLP )的一个变种模型,它是从生物学概念中演化而来的。从 Hubel 和 Wiesel 早期对猫的视觉皮层的研究工作,我们知道在视觉皮层存在一种细胞的复杂分布,, 这些细胞对于外界的输入局部是很敏感的, 它们被称为“感受野”(细胞), 它们以某种方法来覆盖整个视觉域。这些细胞就像一些滤波器一样, 它们对输入的图像是局部敏感的,因此能够更好地挖掘出自然图像中的目标的空间关系信息。此外,视觉皮层存在两类相关的细胞, S 细胞( Simple Cell )和 C( Complex Cell ) 细胞。 S 细胞在自身的感受野内最大限度地对图像中类似边缘模式的刺激做出响应,而 C 细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位。视觉皮层作为目前已知的最为强大的视觉系统, 广受关注。学术领域出现了很多基于它的神经启发式模型。比如: NeoCognitron [Fukushima] , HMAX [Serre07] 以及本教程要讨论的重点-5 [LeCun98] 。 2 、Ns 通过加强神经网络中相邻层之间节点的局部连接模式( Local Connectivity Pattern ) 来挖掘自然图像( 中的兴趣目标) 的空间局部关联信息。第m 层隐层的节点与第 m-1 层的节点的局部子集, 并具有空间连续视觉感受野的节点(就是 m-1 层节点中的一部分,这部分节点在 m-1 层都是相邻的)相连。可以用下面的图来表示这种连接。假设, m-1 层为视网膜输入层( 接受自然图像)。根据上图的描述,在 m-1 层上面的 m 层的神经元节点都具有宽度为 3 的感受野, m 层每一个节点连接下面的视网膜层的 3 个相邻的节点。 m+1 层的节点与它下面一层的节点有着相似的连接属性, 所以 m+1 层的节点仍与 m 层中 3 个相邻的节点相连, 但是对于输入层( 视网膜层) 连接数就变多了, 在本图中是 5 。这种结构把训练好的滤波器( corresponding to the input producing the strongest response ) 构建成了一种空间局部模式( 因为每个上层节点都只对感受野中的, 连接的局部的下层节点有响应)。根据上面图, 多层堆积形成了滤波器( 不再是线性的了), 它也变得更具有全局性了( 如包含了一大片的像素空间)。比如,在上图中,第 m+1 层能够对宽度为 5 的非线性特征进行编码(就像素空间而言)。 3 、权值共享 Ns 中, 每一个稀疏滤波器 hi 在整个感受野中是重复叠加的, 这些重复的节点形式了一种特征图( feature map ), 这个特种图可以共享相同的参数,比如相同的权值矩阵和偏置向量。在上图中, 属于同一个特征图的三个隐层节点, 因为需要共享相同颜色的权重, 他们的被限制成相同的。在这里, 梯度下降算法仍然可以用来训练这些共享的参数,只需要在原算法的基础上稍作改动即可。共享权重的梯度可以对共享参数的梯度进行简单的求和得到。为什么对权值共享如此感兴趣呢?无论重复单元在感受野的什么位置,他们都可以检测到特征。此外, 权值共享提供了一种高效的方式来实现这个, 因为这种方式大大减少了需要学习(训练)的参数数目。如果控制好模型的容量, C