CNN基本问题2989.doc

CNN基本问题2989
CNN基本问题2989
1/6
CNN基本问题2989
CNN基本问题
基本理解
CNN降低训练参数的2大法宝？
局部感觉野、权值共享
NN基本问题2989
2/6
CNN基本问题2989
参数：从图可以看出，这个是用了6个filter，每个filter是
CNN基本问题2989
CNN基本问题2989
6/6
CNN基本问题2989
5x5，所以这一层的参数是6x(5*5+1)，其实在大部分的代码
实现中，都是直接去掉bias的，因为这个对结果没啥影响。
但是本文仍是加上了bias。
连接：经过convolve的图变成了(32-5+1)x(32-5+1)=28*28，
有：(5*5+1)*(28*28)*6=122,304个连接。因为6个feature
map，每个map有28*28个像素，而每个像素是经过
5*5大
小的filter经过卷积再加上偏置获得的。因此有这么多连接。
Pooling
就是将一块地域直接变成一个像素，不经过卷积核。一般有
2种，，
减少训练参数。经过卷积后获得图像的特点，这是因为图像
拥有一种“静态性”的属性，这也意味着一个图像地域有用
的特点极有可能在另一个地域同样适用。因此对于大图像，
可以用聚合统计，经过average或是maxpooling，可以获得
低得多的维度，同事不容易过拟合。这种聚合操作就是
pooling（池化）
怎样计算感觉野大小
无padding情况：
CNN基本问题2989
CNN基本问题2989
4/6
CNN基本问题2989
如果输入是a?a，filter是b?b,那么不加padding情况下，就会
CNN基本问题2989
CNN基本问题2989
6/6
CNN基本问题2989
卷积后图像变小，变成(a?b+1)?(a?b+1)，当计算感觉野，就是计算这一层的输出的图像的像素点所对应的原图的像素
点的个数。因此，如果我们走极端思想，我们假设经过N层的卷积，然后只输出一个像素点。那么就计算这个像素点的感觉野。
假设感觉野是X2大小，然后根据公式，第一层是
(X?f1+1)?(X?f1+1),因此有：
X?(f1+f2+?+fN)+N=1,解出X即可。
如：ImageSuper-ResolutionUsingDeepConvolutionNetworks,就是SRCNN，SRCNN没有加入padding，它使用了三层，分别是9x9，1x1和5x5，X?(9+5+1)+3=1,得出X=13,因此原
文说
Onthewhole,the