基于CNN池化和进化策略的一般神经网络图像分类研究.pdf

该【基于CNN池化和进化策略的一般神经网络图像分类研究 】是由【十二贾氏】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【基于CNN池化和进化策略的一般神经网络图像分类研究 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第11卷 第2期智 能 计 算 机 与 应 用 2021年2月

IntelligentComputerandApplications

文章编号:2095-2163(2021)02-0179-05中图分类号::A
基于CNN池化和进化策略的一般神经网络图像分类研究
高 滔
(上海理工大学管理学院,上海200093)
摘 要:网络的爆炸式发展产生了海量的图像,图像标签的错误和缺失比较常见,图像分类研究很有必要。CNN池化能够
提取到输入矩阵的重要特征,降低数据的维度。进化策略是模仿生物“优胜劣汰”进化方式的一种启发式算法,能快速找
到问题的解。本文基于CNN池化提取一组有正确标签的图像的特征,搭建层数为3的神经网络,进化策略优化初始权重,
通过训练集训练分类模型,通过测试集来验证模型的优劣,并使最终的模型实现对未知类别图像的高效分类。实例验证阶
段收集10类100张犬类图片,按照各研发步骤进行实验,算法结果验证了进化策略优化权重的必要及神经网络模型的高
效。
关键词:CNN池化;进化策略;神经网络;图像分类
Researchongeneralneuralnetwork
imageclassificationbasedonCNNpoolingandevolutionarystrategy
GAOTao
(BusinessSchool,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)
【Abstract】Theexplosivedevelopmentofthenetworkhasproducedalargenumberofimages,andtheerrorsandmissingofimage
labelsaremorecommon,

methodof"survivalofthefittest"ofbiology,,the
paperextractsthefeaturesofasetofimageswithcorrectlabels,buildsaneuralnetworkwiththreelayers,optimizestheinitial
weightsbyevolutionarystrategy,trainstheclassificationmodelthroughthetrainingset,andverifiestheprosandconsofthemodel

stage,100dogpicturesof10categoriesarecollected,
resultsverifythenecessityoftheevolutionstrategytooptimizetheweightandtheefficiencyoftheneuralnetworkmodel.
【Keywords】CNNpooling;evolutionarystrategy;neuralnetwork;imageclassification
已有人开始从事卷积神经网络(Convolutional
0 引 言
NeuralNetwork,CNN)方面的相关研究,也取得了一
随着互联网技术的飞速发展,在对互联网的使些成果,但很难拓展,直到2012年大规模视觉识别
用中也随即产生了海量的图像。目前网页上的很多挑战竞赛CNN取得最好的效果,由此才吸引大量关
图像都没有或没有正确标签,并在缺乏先验知识的注[3]。进化策略是由德国Rechenberg和Schwefe模
情况下,对图像的分类进行识别也仍具有一定难度。拟生物进化的方式提出的算法,与遗传算法不同的
很多时候各关键词也不能链接到正确的图像,即会是其存在外形参数,并认为基因改变无法改变结果
带来一定误导,所以良好的图像分类意义重大。的分布[4]。
人工神经元网络(ArtificialNeuralNetwork,现有的分类技术大多属于监督学习,需要大量
ANN)是模拟生物神经网络,由若干个神经网络组标签数据训练模型[5]。零样本分类是一种跨模态
成的动态系统。其中,里程碑式的成就即是由
学习,当前的热门研究领域之一,其在应用初期的图
Rosenblatt提出的单层感知机模型,Rumelhart等[6-7]
像分类任务现已扩展到了其他方面。卷积神经
人[1]则提出了误差训练传播算法的多层前馈反向
网络在图像分类的应用是当前的主流,取得了众多
传播网络BP网络,Hinton等人[2]又在《Science》发
可观成果[8-10],但在一些领域也受到一些挑战,
文剖析了多隐藏层的优点,至此深度学习的提出就
ResNet-50网络中的Softmax分类器不能够很好地
使得神经网络的研究逐渐成为热点。在上世纪末,
区分提取到的特征[11-12]。目前,卷积神经网络对图
作者简介:高 滔(1994-),男,硕士研究生,主要研究方向:车间调度、智能算法。
收稿日期:2万方数据020-10-16★★★★★★★★★★★★★★★★★
书
180智 能 计 算 机 与 应 用 第11卷
像分类的研究,经常用到的图像去噪方法、 进化策略
文选用的NL-means算法[13],Softmax-Loss在单类进化策略模拟生物进化中的一种启发式算法,
别分类问题中的应用要更多些[14-15]。与遗传算法求解过程相似,也有不同的地方。流程
综上可知,神经网络在图像分类的研究较多,研步骤具体如下:
究成果相当丰富。但大多数都是在特定情况下集中(1)初始解:在解空间初始n个m维解(x1,x2,
在分类模型的选择和参数的优化上,重点就是算法…,xn),并随机生成每个解。每个解对应m维变异
层面的改进。基于此,本文应用CNN的池化提取特强度(s1,s2,…,sm)。
征,进化策略优化初始权重,搭建相关神经网络模型(2)交叉:与遗传算法相似,选取2个父代xi,
并进行训练,最终在具体的实例中验证了模型的效xj,交换某些位置的基因,产生子代xk,不同的是,si,
率。sj也要进行相应操作,产生sk。
(3)变异:对于x,把xm维度上的每一个元素
1 研究方法kk
看作均值u,sk对应的值看作标准差σ,正态产生新
池化接近xk的新解,更新xk,sk按特定情况逐渐变小。
池化类似于过滤,用过滤得到输出代替输入(4)选择:将子代加入父代,计算所有解的目标
(本文中的输入、输出皆是二维矩阵)。相关参数有函数值,根据目标函数对所有解进行排序,淘汰劣
输入x、核kernel、输出y、Padding加零、X宽高分别解,留下优解。
是WX、WH,核的参数有宽W、高H、步长stride,其宽不断重复上述步骤,直到找到满意的解。
高分别是S_width,S_height。池化一般有3种:Max(μ+λ)一ES表示父代DNA个数为μ,每次产
Pooling、MinPooling、MeanPooling,分别表示最生λ个子代,合并后种群里DNA个数是(μ+λ),每
大、最小、均值池化。池化的流程步骤可表述为:次淘汰λ个个体。
对输入X进行加零(Padding=1, 神经网络
零),从左到右,从上到下依次用核去扫描X,步长神经网络也对应着输入X,输出Y,不同的是其
stride控制每次移动的距离,stride有2个参数,分别引入权重W、偏置b和激活函数F(x),激活函数有
控制右移和下移的幅度,核覆盖超过X边界的部分sigmoid(x),softmax(x),relu(x)等等。
补零,依次对核覆盖的区域取最大值、最小值或均值按学习方式,神经网络可分为监督式学习和非
组成输出y。池化的示例如图1所示。由图1可知,监督式学习,两者间的区别是有无标签(目标值)。
核长宽都是2,步长的2个参数都是2。对于分类问题,常用的方法是监督式学习。其大致
步骤就是:初始化W,b,计算模型输出Y,与标签t进
行比较,通过彼此间的差异来调整W和b,并引入学
习率LR表示调整幅度的大小,最终达到训练模型的
效果。通常,损失函数loss(x)可表示两值间差异。
研究中,常见的损失函数有均方差,交叉熵,常用的
算法是梯度反向传播算法。下面就本文用到的函数
及模型给出对应的数学表示:
图1 池化示例
1
Exampleofpoolingsigmoid(x)=,(4)
1+e-x
这里,研究推得的数学公式可写为:x
e1
y=f(x,w,h,padding,stride),(1)cx
∑ec
当padding=0时,输出y的宽width,高height分c=1
ex2
别为:c
softmax(x)=exc,(5)
width=[(WX-W)/S_width]+1,(2)∑c=1
height=[(HX-H)/S_height]+1.(3)…
x
其中,f表示池化类型,[]表示向下取整。ec
c
万方数据exc
∑c=1
第2期高滔:基于CNN池化和进化策略的一般神经网络图像分类研究181
W*X+b, F(x)=None,更新。
Y=(6)
{F(W*X+b), else.
c2 实验及结果分析
loss(x)=∑t*lnY,(7)
c= 数据收集及处理
dloss(x)
W=W-LR*,(8)本文收集了10种犬的图片,分别是:藏獒、哈士
dW
奇、柴犬、贵宾犬、杜宾犬、吉娃娃、边境牧羊犬、萨摩
dloss(x)
b=b-LR*.(9)
db耶犬,英国斗牛犬,金毛寻回犬。每种10张,共100
其中,式(4)和式(5)是本文用到的2个激活函张图片。每张图都是jpg格式,并对每张图的像素
数;式(6)是Y的计算方式;式(7)是交叉熵损失函进行调整,均调整为121×121。对部分图片处理后
数;式(8)和式(9)分别是梯度传递下的权重和偏置的缩影见图2。
图2 部分处理图片缩影
Partialprocessingofimageminiaturization
对于数据处理,研究中拟依次展开的步骤详情Encoding)。编码完成后与前一个矩阵合并,矩阵变
见如下:为100×1610,保存在Excel中。
(1)通过python的图像处理模块把每张图像转(4)复制一份数据,与之前数据合并,变为200×
为灰度图,并通过自定义函数把每张图读为二维矩1600,并随机打乱矩阵的行。读取前面的160行作
阵,因为矩阵上的值在0~255之间,每个矩阵都除为训练集,用作模型的训练,读取最后40行用作为
255,做归一化处理。返回矩阵的行和列,对应图像测试集,用作模型的测试。
的width,height,分别是121,121。现有100个121×处理后的部分数据缩影见图3。
121的矩阵。
(2)对这100个矩阵做maxpool池化处理,核的
W=H=3,步长,S_width=3,S_height=3,padding=0,
由式(2),式(3)知处理后的矩阵行列C=R=
[(121-3)/3]+1=40,变为100个40×40的矩阵。
其池化的工具是tensorflow模块里面的相关函数。
(3)把矩阵变为100个1600×1的矩阵并竖直
合并,变换为100×1600×1的矩阵,降维为100×
1600,其矩阵的每一行就表示一张图片。对矩阵的
图3 部分处理数据缩影
万方数据
每一行的标签进行编码,采用独热编码(One- Partialprocessingofdataminiaturization
182智 能 计 算 机 与 应 用 第11卷
模型搭建
本文搭建的是3层神经网络,第一层是输出层,
第二层是隐藏层,激活函数是sigmoid,第三层输出
层,激活函数是softmax。隐藏层的神经元数采用
Masters(1994),即:
NHN≈(NINP*NOUT)1/2.(10)
输出神经元1600,输出神经元10(10类),隐
藏神经元数NHN≈√1600×10≈126。
隐藏层和输出层的权重矩阵的值都从标准正态
分布中生成,。
其中,隐藏层矩阵是1600×126,输出层矩阵是图4 未考虑进化策略的图片正确率
126×10。损失函数采用交叉熵函数。 Imageaccuracywithoutconsideringevolutionary
strategy
。
进化策略生成初始权重
初始权重相当于寻找满意解的起点,好的初始
权重能使算法收敛更快,运用进化策略对初始权重
进行寻优,算法步骤可简化为2步:
(1)随机初始化多个输出层矩阵权重当作
DNA,也就是问题的多个解,随机初始化多个变异强
度与之对应。
(2)计算多个解下的输出,因为适应度函数(目
标函数)是最值函数,把交叉熵当作适应度函数。
对初始矩阵进行进化策略迭代,寻找最优的权重矩
图5 考虑进化策略的图片正确率
阵。
Imageaccuracyconsideringevolutionarystrategy
初始的500个权重矩阵和对应的变异强度矩阵
都是从标准正态函数中生成。本文初始化500个
DNA,即500个权重矩阵,每次产生200个子代,种
群变为700个DNA,每次淘汰交叉熵大的200个
DNA,经过多次迭代后种群还是500个DNA,最终
输出交叉熵最小的权重矩阵。
算法测试
保持其他神经网络的各参数不变,
的模型搭建,迭代次数都设为1000次,分别输出不
加入进化策略(随机输出层权重矩阵)和加入进化
策略(进化策略找到较好的初始矩阵)的结果。该
图6

率。结果正确的依据就是每次测试集的输出与测试consideredwithevolutionarystrategy
标签在对应位置处的误差在较小的范围内,否则认 由图4~图6可以看出,考虑CNN池化提取图
为不正确。研究得到的实验结果如图4~图6所像特征正确率都较高。结果中,加入进化策略的正
示。3个结果都是多次实验得到较为平均的结果。确率95%,未加入进化策略正确率为85%,学习率
其中,图6是学习率LR=
仿真结果。100%。
万方数据(下转第186页)
186智 能 计 算 机 与 应 用 第11卷
型时段负荷曲线拟合方法[J].可再生能源,2020,38(3):366-[8]
[J].计算机科学,2019,46(z1):52-55.
[4]张攀,高文志,高博,[9]胡红萍,白黄琴,白艳萍,
诊断[J].振动、测试与诊断,2020,40(4):702-[J].中北大学学报(自然科学版),2019,
[5]陈森,(6):481-488.
[J].计算机系统应用,2020,29(8):236-241.[10]黄丽华,
[6]王建昭,马继楠,贾晓宇,[J].化工自动化及仪表,2019,46(8):610-614.
系磁坐标木[J].空间科学学报,2020,40(4):523-530.[11]洪越,[J].
[7]周水华,洪晓,梁昌霞,,2020,12(4):504-509.
计算方法[J].热带海洋学报,2020,39(4):25-33.
(上接第182页)
[3]周飞燕,金林鹏,[J].计算机学
3 结束语报,2017,40(6):1229-1251.
[4][D].合肥:中国科学技术
经由本文研究可以看出,基于CNN池化提取大学,2009.
特征的训练模型都取得较好的结果,加入进化策略[5]LECUNY,BENGIOY,[J].Nature,
对初始权重选择的结果则优于未加入的。这就说2015,521:436-444.
[6]JIZhong,YUYunlong,PANGYanwei,
明,考虑CNN池化和进行策略在一般神经网络是regularizedcross-modalembeddingforzero-shotlearning[J].
可行的,其效果也较好。从图6也可以看出,调整学InformationSciences,2017,378:48-58.
习率能使算法快速收敛,同时表明该问题对学习率[7]XUBaohan,FUYanwei,JIANGYugang,
knowledgetransferinvideoemotionrecognition,attributionand
也比较敏感。summarization[J].IEEETransactionsonAffectiveComputing,
本文也有一些不足:数据量小,搭建的神经网络2018,9:255-270.
层数并不深,若面临更复杂的分类问题,该系统可能[8]赵新秋,贺海龙,杨冬冬,
分类中的应用[J].高技术通讯,2018,28(11):930-936.
无法通过训练得到较好的模型。为此,下一步的研[9]闫河,王鹏,董莺艳,
究展望是:增大数据量,使模型具有普遍性;效果不法[J].计算机应用与软件,2018,35(12):193-198.
好时加大神经网络层数,启用更优秀的激活函数;考[10]常亮,邓小明,周明全,[J].自
动化学报,2016,42(9):1300-1312.
虑对其他参数也同步进行调整,而不能仅仅局限在
[11]程德强,陈亮亮,蔡迎春,
初始权重上。建算法[J].煤炭学报,2018,43(7):2084-2090.
[12]唐文杰,朱家明,-Means的双水平集脑部MR图
参考文献像分割算法[J].计算机科学,2018,45(S2):256-258,277.
[13]张秀玲,周凯旋,魏其珺,
[1]RUMELHARTDE,HINTONGE,[J].小型微型计算机系统,2019,40(10):
representationsbyback-propagatingerrors[J].Nature,1986,2232-2235.
323(6088):533-536.[14]
[2]HINTONGE,[J].医学信息学杂志,2019,40(7):45-49.
dimensionalityofdatawithneuralnetworks[J].Science,2006,31[15]王文成,蒋慧,乔倩,
(5786):3504-[J].农村经济与科技,2019,30(19):60-62.
万方数据