CNN基本问题.doc

CNN基本问题.docCNN基本问题
CNN基本问题
1/6
CNN基本问题
CNN基本问题
基本理解
CNN降低训练参数的2大法宝？
局部感受野、权值共享
本问题
参数：从图可以看出，这个是用了6个filter，每个filter是
CNN基本问题
CNN基本问题
6/6
CNN基本问题
5x5，所以这一层的参数是6x(5*5+1)，其实在大部分的代码
实现中，都是直接去掉bias的，因为这个对结果没啥影响。
但是本文还是加上了bias。
连接：经过convolve的图变成了(32-5+1)x(32-5+1)=28*28，
有：(5*5+1)*(28*28)*6=122,304个连接。因为6个feature
map，每个map有28*28个像素，而每个像素是通过
5*5大
小的filter经过卷积再加上偏置得到的。因此有这么多连接。
Pooling
就是将一块区域直接变成一个像素，不经过卷积核。一般有
2种，，
减少训练参数。通过卷积后得到图像的特征，这是因为图像
具有一种“静态性”的属性，这也意味着一个图像区域有用
的特征极有可能在另一个区域同样适用。因此对于大图像，
可以用聚合统计，通过average或是maxpooling，可以得到
低得多的维度，同事不容易过拟合。这种聚合操作就是
pooling（池化）
如何计算感受野大小
无padding情况：
CNN基本问题
CNN基本问题
4/6
CNN基本问题
如果输入是a?a，filter是b?b,那么不加padding情况下，就会
CNN基本问题
CNN基本问题
6/6
CNN基本问题
卷积后图像变小，变成(a?b+1)?(a?b+1)，当计算感受野，就是计算这一层的输出的图像的像素点所对应的原图的像素
点的个数。因此，如果我们走极端思想，我们假设经过N层的卷积，然后只输出一个像素点。那么就计算这个像素点的感受野。
假设感受野是X2大小，然后根据公式，第一层是
(X?f1+1)?(X?f1+1),因此有：
X?(f1+f2+?+fN)+N=1,解出X即可。
如：ImageSuper-ResolutionUsingDeepConvolutionNetworks,就是SRCNN，SRCNN没有加入padding，它使用了三层，分别是9x9，1x1和5x5，X?(9+5+1)+3=1,得出X=13,因此原
文说
Onthewhole,theestimationofahighresolutionpixelutilizestheinformationof(9+5?