CNN基本问题.doc

CNN基本问题.docCNN基本问题
CNN基本问题
1 / 6
CNN基本问题
CNN 基本问题
基本理解
CNN 降低训练参数的 2 大法宝？
局部感受野、权值共享
双曲正切。
如何计算训练的参数和连接？
CNN基本问题
CNN基本问题
2 / 6
CNN基本问题
参数：从图可以看出，这个是用了 6 个 filter ，每个 filter 是
CNN基本问题
CNN基本问题
6 / 6
CNN基本问题
5x5，所以这一层的参数是 6x(5*5+1) ，其实在大部分的代码
实现中，都是直接去掉 bias 的，因为这个对结果没啥影响。
但是本文还是加上了 bias。
连接：经过 convolve 的图变成了 (32-5+1)x(32-5+1)=28*28 ，
有： (5*5+1)*(28*28)*6=122,304 个连接。因为 6 个 feature
map，每个 map 有 28*28 个像素，而每个像素是通过
5*5 大
小的 filter 经过卷积再加上偏置得到的。因此有这么多连接。
Pooling
就是将一块区域直接变成一个像素，不经过卷积核。一般有
2 种，max pooling 和 average ，
减少训练参数。通过卷积后得到图像的特征，这是因为图像
具有一种“静态性”的属性，这也意味着一个图像区域有用
的特征极有可能在另一个区域同样适用。因此对于大图像，
可以用聚合统计，通过 average 或是 max pooling ，可以得到
低得多的维度，同事不容易过拟合。这种聚合操作就是
pooling （池化）
如何计算感受野大小
无 padding 情况：
CNN基本问题
CNN基本问题
4 / 6
CNN基本问题
如果输入是 a?a，filter 是 b?b,那么不加 padding 情况下，就会
CNN基本问题
CNN基本问题
6 / 6
CNN基本问题
卷积后图像变小，变成 (a?b+1)?(a?b+1)，当计算感受野，就是计算这一层的输出的图像的像素点所对应的原图的像素
点的个数。因此，如果我们走极端思想，我们假设经过 N 层的卷积，然后只输出一个像素点。那么就计算这个像素点的感受野。
假设感受野是 X2 大小，然后根据公式，第一层是
(X?f1+1)?(X?f1+1), 因此有：
X?(f1+f2+?+fN)+N=1, 解出 X 即可。
如：Image Super-Resolution Using Deep Convolution Networks, 就是 SRCNN ， SRCNN 没有加入 padding，它使用了三层，分别是 9x9，1x