CNN基本问题.doc

该【CNN基本问题 】是由【泰山小桥流水】上传分享，文档一共【6】页，该文档可以免费在线阅读，需要了解更多关于【CNN基本问题 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。CNN基本问题
CNN基本问题
1/6
CNN基本问题
CNN基本问题
基本理解
CNN降低训练参数的2大法宝?
局部感觉野、权值共享
局部感觉野:就是输出图像某个节点(像素点)的响应所对应的最先的输入图像的地区就是感觉野。
权值共享:比方步长为1,假如每挪动一个像素就有一个新的权值对应,那么太夸张了,需要训练的参数爆炸似增添,
比方从32x32的原图到28x28经过convolve的图,假如后者的每一个像素对应前面的一个参数,那参数实在是多。权值
共享就是将每次覆盖地区的图像所赋给的权值都是卷积核
对应的权值。就是说用了这个卷积核,则不论这个卷积核移
到图像的哪个地点上,图像的被覆盖地区的所赋给的权值都
是该卷积核的参数。
啥叫featuremap啊?
同一种滤波器卷积获取的向量组合。一种滤波器提取一种特
征,以下图使用了6种滤波器,进行卷积操作,故有6层feature
map.
C1层用了6个5x5的卷积核,这里的步长为1,所以每个
featuremap是(32-5+1)x(32-5+1)=28x28.
CNN训练的参数是啥啊?
其实就是卷积核!!!自然还有偏置。
比方上边的6个5x5的卷积核的训练参数是
6x(5x5+1),当
然咯,每个卷积核对应的偏置自然是不一样的。
某篇论文的卷积网络表示:
Fw(?I)=Wn?Fn?1(?I)+bn,n=3
Fn(?I)=σ(Wn?Fn?1(?I)+bn),n=1,2
F0(?I)=?I,n=0
能够看出啊,总合三层卷积网络,而后第一层第二层都是直
接将输入的进行卷积,这里的Wn就是权值参数,也就是卷积核。,这里采纳的是双曲正切。
如何计算训练的参数和连结?
CNN基本问题
CNN基本问题
2/6
CNN基本问题
参数:从图能够看出,这个是用了6个filter,每个filter是
CNN基本问题
CNN基本问题
6/6
CNN基本问题
5x5,所以这一层的参数是6x(5*5+1),其实在大多数的代码
实现中,都是直接去掉bias的,由于这个对结果没啥影响。
可是本文还是加上了bias。
连结:经过convolve的图变为了(32-5+1)x(32-5+1)=28*28,
有:(5*5+1)*(28*28)*6=122,304个连结。由于6个feature
map,每个map有28*28个像素,而每个像素是经过
5*5大
小的filter经过卷积再加上偏置获取的。所以有这么多连结。
Pooling
就是将一块地区直接变为一个像素,不经过卷积核。一般有
2种,,
减少训练参数。经过卷积后获取图像的特色,这是由于图像
拥有一种“静态性”的属性,这也意味着一个图像地区实用
的特色极有可能在另一个地区相同合用。所以关于大图像,
能够用聚合统计,经过average或是maxpooling,能够获取
低得多的维度,同事不简单过拟合。这类聚合操作就是
pooling(池化)
如何计算感觉野大小
无padding状况:
CNN基本问题
CNN基本问题
4/6
CNN基本问题
假如输入是a?a,filter是b?b,那么不加padding状况下,就会
CNN基本问题
CNN基本问题
6/6
CNN基本问题
卷积后图像变小,变为(a?b+1)?(a?b+1),当计算感觉野,就是计算这一层的输出的图像的像素点所对应的原图的像素
点的个数。所以,假如我们走极端思想,我们假定经过N层的卷积,而后只输出一个像素点。那么就计算这个像素点的感觉野。
假定感觉野是X2大小,而后依据公式,第一层是
(X?f1+1)?(X?f1+1),所以有:
X?(f1+f2+?+fN)+N=1,解出X即可。
如:ImageSuper-ResolutionUsingDeepConvolutionNetworks,就是SRCNN,SRCNN没有加入padding,它使用了三层,分别是9x9,1x1和5x5,X?(9+5+1)+3=1,得出X=13,所以原
文说
Onthewhole,theestimationofahighresolutionpixelutilizestheinformationof(9+5?1)2=169pixels.
有padding:
额,其实有没有padding都是相同的,不会影响感觉野大小。。
着不用想也知道啊,用的方法同上。由于padding不过增添
CNN基本问题
CNN基本问题
6/6
CNN基本问题
了边沿地区的像素点,可是filter利用的点的个数还是相同的,只可是经过padding后,利用了一些特别的像素点(比
如zerospadding)罢了。
比方在AccurateImageSuper-ResolutionUsingVeryDeepConvolutionNetworks,也就是VDSR中,它有20层的weightlayers,每层都是用3x3的filters,而且有padding的。第一
层的感觉野就是3x3,第二层就是5x5,第D层就是(2D+1)
×(2D+1)。从下边能够推出:
X?(3+3+?+3)D个
+D=1
stride的含义
这个就是下采样参数,自然了conv层,则stride=1;假如是
pooling层,该pooling层的大小是2x2,那么就stride=2了。
其余一些东西
带μ的权值更新方式
一般来说,标准的BP更新是:
CNN基本问题
CNN基本问题
7/6
CNN基本问题
W(t)=W(t?1)?η?E?W
CNN基本问题
CNN基本问题
6/6
CNN基本问题
可是有一种Momentum的更新方式:
w(t+1)=η?Et+1?w+μΔw(t)
这里的μ就是momentum参数。
η就是学习率。
这里的λ就是正规化项regularizationterm,也称为权重衰减项(weightdecay),这个主假如防范过拟合的,就是好多权重变为0,增添稀少性。
附加:三种激活函数的比较图,我感觉我画的还是挺美丽的,所以拿过来-_-//,不会有什么建议吧。。
x=[-3::3];
plot(x,tanh(x),'r',x,1./(1+exp(-x)),'c--',x,max(0,x),'m-.');
legend('Tanh','Sigmoid','ReLu');
gridon;12341234
CNN基本问题
CNN基本问题
9/6
CNN基本问题