基于深度学习的剪切散斑干涉条纹图滤波方法 林薇.pdf

该【基于深度学习的剪切散斑干涉条纹图滤波方法 林薇 】是由【琪官】上传分享，文档一共【15】页，该文档可以免费在线阅读，需要了解更多关于【基于深度学习的剪切散斑干涉条纹图滤波方法 林薇 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
激光与光电子学进展
Laser&OptoelectronicsProgress
ISSN1006-4125,CN31-1690/TN
《激光与光电子学进展》网络首发论文
题目:基于深度学习的剪切散斑干涉条纹图滤波方法
作者:林薇,崔海华,郑炜,周新房,徐振龙,田威
网络首发日期:2022-07-15
引用格式:林薇,崔海华,郑炜,周新房,徐振龙,
涉条纹图滤波方法[J/OL].激光与光电子学进展.
.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
:.
췸싧쫗랢쪱볤ꎺ2022-07-1518:37:42
췸싧쫗랢뗘횷ꎺ.
基于深度学习的剪切散斑干涉条纹图滤波方法
林薇1,崔海华1,*,郑炜2,周新房2,徐振龙1,田威1
1南京航空航天大学机电学院,南京,211106;
2中航西安飞机工业集团股份有限公司,西安,710089
摘要剪切散斑干涉技术作为一种非接触式的高精度光学全场测量方法,可以对复合材料
内部缺陷进行无损检测,但所得的相位条纹图中包含大量散斑噪声,会对检测结果和精度产
生严重影响。为此,提出了基于无监督图像风格转换模型CycleGAN的相位条纹图滤波方
法,将剪切散斑干涉技术获取的原始噪声相位条纹图通过网络训练转换为理想无噪声条纹
图,从而实现相位条纹图中噪声的滤除。实验结果表明,该方法能够实现噪声的高效滤除,
滤波图像边界清晰、对比显著,且算法运行时间明显优于其他方法,仅需30ms左右便能实
现条纹图的高质量滤波,符合动态无损检测的发展需求,为相位条纹图的噪声滤除提供了新
的思路。
关键词剪切散斑干涉;相位图;深度学习;噪声;图像处理;无损检测
中图分类号O439文献标志码A
PhaseFringePatternsFilteringMethodforShearographyBasedonDeep
Learning
LinWei1,CuiHaihua1,*,ZhengWei2,ZhouXinfang2,XuZhenlong1,TianWei1
1CollegeofMechanical&ElectricalEngineering,NanjingUniversityofAeronautics
andAstronautics,Nanjing,211106;
2AVICXi'anAircraftIndustryGroupCompany,Ltd,Xi'an,710089
AbstractAsanon-contacthigh-precisionopticalfull-fieldmeasurementmethod,
shearographycanbeusedfornon-destructivedetectionofinternaldefectsofcomposite
,thephasefringepatternobtainedcontainsalotofspecklenoise,which
,aphasefringefiltering
methodbasedonunsupervisedimagestyleconversionmodelCycleGANwasproposed,and
theoriginalnoisephasefringeobtainedbyshearographywasconvertedintoanidealnoiseless
fringebynetworktraining,soastoachievenoisefilteringinthephasefringepattern.
Experimentalresultsshowthatthismethodcanachievehigh-efficiencyfilteringofnoisein
areaswherethestripedistributionisrelativelysparse,withclearboundariesandsignificant

methods,onlyabout30mscanachievehighqualityfiltering,meetingthedemandofthe
developmentofdynamicnon-destructivetesting,andprovidesanewideafornoisefilteringof
phasefringepattern.
Keywordsshearography;phasemap;deeplearning;noise;imageprocessing;non-
destructivedetection
基金项目:国家重点研发计划(2019YFB2006100,2019YFB1707501)、江苏省自然科学基金
(BK20191280)、南京航空航天大学研究生开放基金(kfjj20200520)
*E-mail:******@
:.
;;
1引言
剪切散斑干涉技术是运用光学、计算机、数字图像处理等现代技术发展起来的全场无损
检测技术,通过测量物体变形前后的相位信息来获取物体的变形、应变和缺陷信息[1-4]。无
论采用时间相移法还是空间相移法,得到的相位条纹图被包裹在[-π,π]区间内,获取反映真
实变形信息的相位图需要对相位条纹图进行相位解包裹运算。任何测量结果中都存在误差,
剪切散斑干涉相位条纹图中往往存在大量的散斑颗粒噪声,直接影响相位解包裹过程,甚至
[5]
会因噪声过大导致解包裹失败,进而影响物体变形量的测量精度。因此,研究相位条纹图
中散斑噪声的高效、快速滤除方法对于实现剪切散斑干涉的实时、高精度检测尤为重要。
[6]
到目前为止,去除相位条纹图中散斑噪声的模型多种多样。Aebischer和Waldner提出
了多次重复的各向异性正余弦均值滤波器,在有效抑制噪声的同时,很好地保留了所有条纹。
[7]
顾国庆等基于同态滤波原理设计了新的低通滤波器,很好地抑制了高频噪声,提高了散斑
条纹的对比度。王永红等[5]介绍了一种条纹正余弦分解和频域低通滤波相结合的方法,提高
[8]
了滤波精度和速度,将传统方法中10%~40%的灰度损耗降低至1%以下。Stanke等利用
小波变换实现ESPI(电子散斑干涉)的两阶段去噪和相位剖面检测,表明了小波变换对于适
当的噪声抑制和相对精确的相位恢复的有效性。蒋汉阳等[9]结合正弦/余弦滤波技术,提出
了依据条纹方向自动选取滤波窗口大小的自适应滤波方法,有效保护了条纹相位跳变信息。
Xu等[10]构建了一种自适应形状保持的面向偏微分方程(OPDE)模型用于不连续ESPI条纹图
[11]
像去噪,保留了条纹的形状和不连续。Wei等提出了一种基于局部均值的自适应多尺度形
态学滤波器,在降噪和边缘保持方面具有较好的性能,能够实现对变密度条纹图像的降噪处
[12]
理。刘吉等提出基于正余弦分解的自适应全变分去噪方法,与其他方法相比峰值信噪比提
,有效滤除了散斑噪声,完整地保留了边缘纹理信息。
[13-15]
机器学习技术已经被广泛应用于图像去噪领域。基于神经网络的图像去噪算法通过
学习图像的统计特性,借助外部信息来为去噪过程服务,十分适合于高噪声环境下的去噪任
务[16]。相位条纹图中的噪声包含了与仪器校准和实验程序相关的系统误差,由于系统误差不
[17]
能进行统计处理,以高斯噪声来模拟散斑噪声必然具有一定的局限性。而传统的深度学习
去噪模型都需要大量无噪声图像和有噪声图像一一对应的数据集进行样本训练,这对于实际
测量得到的相位条纹图难以实现。本文提出一种在缺乏成对样本的情况下,通过基于深度学
习的图像风格转换来滤除相位条纹图中噪声的方法。将剪切散斑干涉测量获取的包含大量散
斑噪声的相位条纹图作为原始图像“风格”,以理想的无噪声条纹图作为目标图像“风格”,
学习从噪声图像域到理想图像域的映射关系,从而实现相位条纹图滤波。:.
2循环一致性生成对抗网络原理与构建

图像风格转换是一种借助计算机技术来处理图像的色彩、轮廓、线条等信息来改变图像
效果的技术,随着机器学习的发展,使用深度神经网络来进行图像风格转换取得了良好的效
[18][19]
果。Zhu等基于生成对抗网络(GAN)设计了循环一致性生成对抗网络(CycleGAN),
是主要由两个镜像对称的GAN构成的环形网络。其中,GAN的核心思想源自博弈论的二
人零和博弈,通过对抗学习的方式来训练,主要由一个生成器G和一个判别器D构成,生
成器G捕捉真实数据样本的潜在分布,并生成新的数据样本,而判别器D是一个二分类器,
[20]
判别输入是真实数据还是生成的样本。
CycleGAN具有学习数据无监督、数量不大,且不需要配对等优点,在风格转换、对象
变形和季节转换的实验中都表现出独特的优越性,能够实现马和斑马、照片和油画之间的转
[21][22]
换,以及合成孔径雷达图像与光学遥感图像之间的互转,图像去雾等。

本文的目标是学习噪声图像域Xx=N到理想图像域M之间的映射函数,如
ii=1Yy=jj=1
图1所示,模型中包含两个生成器GXY:→和FYX:→。此外,还引入了两个对抗判别
器DX和DY,其中,DX用于区分真实噪声图像x和生成噪声图像Fy(),DY则用于区
分理想条纹图y和滤波图像Gx()。

图1(a)条纹图滤波模型;(b)正向循环一致性损失;(c)逆向循环一致性损失
(a)Fringepatternfilteringmodel;(b)forwardcycle-consistencyloss;(c)backwardcycle-consistencyloss
在该模型中,为匹配对抗训练生成的滤波图像分布到理想条纹图像域,引入对抗性损失
以确保噪声滤除质量。对于生成器GXY:→及其判别器DY,对抗性损失可以表示为:
(1)
GANYYY(GDXYDyDGx,,,loglog1)=+−ypyxpxdatadata()()()((())):.
其中,G用于生成与理想条纹图像域Y中图像相似的滤波图像Gx(),而DY则用于区分生
成的滤波图像Gx()与真正的理想条纹图像y。G试图使其生成的Gx()与y尽可能相似,
而DY的优化目标则是尽可能区分出y和Gx(),用数学公式表示为:
G=argminmax(GDXY(2),,,)
GDYGANY
类似的,为生成器FYX:→引入一个对抗性损失和判别器DX,表示为:
F=argminmax(FDYX3),,,
FDXGANX()
为进一步减少映射函数的不合理空间,防止生成滤波图像的条纹结构与输入的噪声条纹
图产生差异而导致滤波图像失真,学习到的映射函数应满足循环一致性。由于L2范数将误
差平方化,模型误差会比L1范数大的多,因此模型会对这种类型的样本更加敏感,模型就
需要调整来最小化误差,就会导致训练模型的方向偏离目标。鉴于L1范数相比于L2范数
的鲁棒性更好,本模型中选用L1范数损失函数,由此,将循环一致性损失制定为下式所示。
(4)
cyc(GFFGxxGFyy,||||||||)=−+−xpxypydatadata()(())11()(())
综合上述分析,干涉条纹图滤波的总体目标损失函数(GFDD,,,XY)可以表示为:
(GFDDGDXYFDYXGF,,,,,,,,,,)=++(5)()()()
XYGANYGANXcyc
式中的用于控制对抗性损失和循环一致性损失的相对重要性。目标也就是要解决:
**(6)
G,argminmaF=FG,DDXY,x(GF,,,DDXY)

图2基于CycleGAN的条纹图滤波模型结构

本文提出的干涉条纹图滤波方法的总体模型结构如图2所示,模型的总参数量为
11378179,。生成器由编码器、转换器和解码器构成,编码器中
包含3个卷积层、3个归一化层和3个ReLU激活层;转换器由9个残差块构成,其中4个:.
残差块由自适应归一化层指导;解码器则包含2个反卷积层、2个归一化层、2个ReLU激
活层和1个卷积层。
残差块是CycleGAN模型的基本组成单元,是由两个卷积层构成的模块,具有把输入数
据直接添加到输出的特点,在反向传播计算偏导的过程中,式中会多出一项,被称为“残差”。
这一特点为反向传播提供了捷径,能够减轻梯度消失或梯度爆炸的风险,从而优化训练过程,
将原始噪声条纹图的相位分布保留在滤波图像中,确保输出结果不会偏离目标轮廓。
3数据集与模型训练

基于自行搭建的迈克尔逊型剪切散斑干涉系统,采用时间相移技术,分别通过全局热加
载和四周固定中心顶针式加载等两种方式,获取了2075张反映复合材料内部缺陷以及试件
中心微小变形的干涉条纹图。其中,检测对象为12块复合材料层板和蜂窝结构件,缺陷类
型包括不同尺寸和深度的脱粘、分层、夹杂等常见缺陷。采用150W红外灯作为热源对试件
进行热加载,通过改变热加载时间,以及设置不同的剪切量、曝光时间来获取不同条件下的
检测相位条纹图。
由于所采用的相机分辨率为20482448,而网络模型处理的图像大小为256256,若
直接将原始图像拉伸会导致条纹变形失真或者裁剪条纹不完整。综合各方因素,选择人工将
这些包含大量散斑噪声的原始干涉条纹图附有相位信息的区域裁剪为256256像素大小,
得到3673张真实噪声图像用于模型训练。除了调整大小外,不执行任何图像预处理操作(例
如图像滤波、图像增强等等)。

图3理想无噪声条纹图生成步骤示意图

为获取理想无噪声条纹图用于模型训练,如图3所示,采用以下步骤进行图像生成:①.
在平面中生成数量、大小和位置均随机分布的二维高斯核,形成如图3(a)所示的三维模型,
每个模型中的高斯核数量是6以内的随机整数;②.依据剪切散斑干涉测量原理,将模型中:.
(532nm系实验所用激光的波长),从而将三维模型沿
Z轴方向转换为对应的相位值,生成尺寸为500500的理想不含噪声的模拟条纹图;③.将
这些模拟条纹图随机裁剪为256256像素大小。
由于生成的模拟条纹图的条纹分布位置随机,经过随机裁剪之后部分图像中可能出现条
纹分布过少,甚至没有条纹的情况。为降低样本质量对模型训练结果的干扰,选择人工删减
其中条纹分布过少的图像,最终得到3625张理想条纹图像用于模型训练。

根据原始CycleGAN模型采用的稳定模型训练过程的技术,首先,在式(1)中用最小平
[23]
方损失来代替负对数似然目标,从而最小化Pearsonx2差异,使训练过程更稳定,并产生
更高质量的结果,则式(1)变为:
(7)22
LSGANYYY(GDXYDyDGx,,,1)=−+ypyxpxdatadata()(())()(())
[24]
其次,为减少模型振荡,遵循Simonyan和Zisserman的策略,利用生成图像的历史
记录而不是最新生成网络合成的图像来更新判别器DX和DY。设置一个图像缓冲区,用于存
储之前生成的50个图像。
本文实验的开展基于Intel(R)Core(TM)i9-******@,GPU为
NVIDIAGeForceGTX2080Ti,,运行环境为Ubuntu
。图像输入和输出尺寸均设置为256256像素大小,开始训练前,网络将图像进
行随机水平翻转。在模型结构中采用实例归一化,设置判别器PatchGAN的判别区域为
。在实验过程中,设置式(5)中循环一致性损失的正则化强度为。使用Adam[25]
7070=10
优化器对生成器和判别器进行梯度优化,批处理量设置为1;所有网络均从零开始训练,初
,。对照图4和图5所示
不同迭代次数下的损失变化曲线和模型测试效果可以发现,模型滤波效果的好坏无法通过损
失函数的下降与否来进行简单判断,而是需要结合不同迭代次数下的测试效果来选取滤波质
量最佳的模型。
学习率若是过大,可能会使损失函数直接越过全局最优点,而学习率若是过小,损失函
数的变化速度则很慢,会大大增加网络的收敛复杂度,且很容易被困在局部最小值或者鞍点。
、,可以
发现,随着学习率的增大,各个损失函数的收敛性虽然表现出局部的波动性,但整体走势并
未出现明显改变。考虑到本模型滤波效果的好坏还需结合不同迭代次数下的测试效果进行评
判,。:.


图5不同迭代次数所得的模型效果

图6不同学习率下的损失函数变化曲线

4实验验证与分析:.

在正式实验之前,制作模拟噪声条纹图数据集用于本文滤波模型的仿真验证测试。首先
依据理想无噪声条纹图数据集的制作步骤生成新的模拟无噪声条纹图,然后向无噪声条纹图
中添加噪声为方差在[,]区间内随机选取的高斯噪声,最终得到3849张模拟噪声条纹
图用于仿真训练网络测试。
为设置对照实验,本文选取了三种传统的相位条纹图滤波方法作为对比,分别是正余弦
均值滤波方法、条纹正余弦分解和频域滤波结合的方法,以及基于正余弦分解的自适应全变
分滤波方法。其中,正余弦均值滤波采用33大小的窗口,迭代5次;条纹正余弦分解和
频域滤波相结合方法的截止频率为35;基于正余弦分解的自适应全变分滤波设置拉格朗日
乘子=,迭代150次。
图7模拟噪声条纹图的不同算法滤波结果

模拟相位条纹图滤波效果对比如图7所示,三种传统滤波方法都能较好的滤除高斯噪
声,增强条纹对比度,但也存在一些问题:正余弦均值滤波得到的条纹边界呈锯齿状,且边
界模糊,图像质量不佳;条纹正余弦分解和频域滤波结合的方法在条纹密集的区域滤波效果
更好,在条纹稀疏区域会出现条纹不连贯与边界模糊现象;基于正余弦分解的自适应全变分
方法的滤波图像中存在阶梯效应,且在条纹过密区域会出现错误。
由于训练网络数据集的限制,模型对条纹中心的判别出现了错误,导致条纹黑白变化出
现了偏移,但本文方法在最大程度上滤除噪声的同时增强了条纹对比度,保留了条纹边界信
息,且边界分布与走向和理想条纹图高度一致。综合考虑,可以认为该方法高效地识别提取
了噪声条纹图中的边界信息,能够为剪切散斑干涉测量的相位条纹图滤波提供新的思路。
:.
将剪切散斑干涉无损检测获取的包含大量散斑噪声的干涉条纹图作为源图像,将高斯核
函数随机生成的模拟理想条纹图作为目标图像,二者不是一一匹配的。模型训练完成后,选
取五张由剪切散斑干涉无损检测结果裁剪得到的256256大小的相位条纹图,分别用三种
传统的条纹图滤波算法以及本文方法进行对比实验。其中,正余弦均值滤波采用35大小
的窗口,迭代5次;条纹正余弦分解和频域滤波相结合方法对五张条纹图滤波的截止频率分
别为65、70、60、55和65;基于正余弦分解的自适应全变分滤波设置拉格朗日乘子=,
迭代150次。结果如图8所示。
图8原始噪声条纹图及不同算法滤波结果

正余弦均值滤波方法在一定程度上滤除了噪声,并增强了条纹对比度,但同时也在图像
中随机加入了空洞,且条纹边界模糊;条纹正余弦分解与频域滤波结合的方法平滑了条纹边
缘,且额外引入了新的噪点;基于正余弦分解的自适应全变分滤波在很大程度上增强了条纹
对比度,滤除了大量噪声,但图像中存在阶梯效应;本文方法能够实现噪声的高效滤除,滤
波图像中条纹边界清晰,对比显著,条纹分布与噪声图像别无二致。
由于剪切散斑干涉测量的相位条纹图无法获取对应的真实相位,缺乏作为参考的真值,
为实现对各个算法条纹图滤波效果好坏的定量分析,引入两种无需参考的质量评价指标,分
别为散斑抑制指数(I)[26]和改进的边缘保持指数(EPI)[27]。散斑抑制指数的计算方法为:
SSI
(If)(Io)(8)
ISSI=I(I)
(f)o:.
在式(8)中,为图像标准偏差,为均值,If为滤波后的图像,Io为原始噪声图像。散斑
抑制指数越低,表明滤波效果越好。边缘保持指数的计算方法如式(9)所示,其中,为滤
f
波后的图像相位,o为原始噪声图像相位。由于相位具有跳变性,为防止跳变的相位被误当
作边缘处理,提高该指标的可靠性,按照式(10)对相邻像元的相位差进行重新赋值,其中k
为临界值,~。边缘保持指数越大,表明对原始图像的细节信息保持越好。
ffff(ijijijij,1,,,1)−++−+(9)()()()
EPI=(ijijijij,1,,,1)−++−+()()()
oooo
1212−−−,2(10)k
=0,2−−k
12
,对各个算法滤波结果的散斑抑制指数和边
缘保持指数计算结果如图8所示。可以发现,本模型所得滤波图像的散斑抑制指数均低于其
他三种算法,边缘保持指数也均高于算法三,而算法一和二由于滤波后引入了新的空洞和噪
点,导致图像梯度异常增大。综合考量可以认为本模型的滤波效果良好,在一定程度上能够
保持原始图像的细节信息。
表1记录了这些滤波算法的运行时间,可以看到在三种传统滤波方法中,基于正余弦分
解的自适应全变分方法虽然滤波效果更好,但运行时间远远高于另外两种方法。本文方法的
耗时显著优于其他算法,这为实现剪切散斑干涉无损检测的实时测量提供了新的可能。
表1不同滤波算法的运行时间(s)
Table1Runningtimeofdifferentfilteringalgorithms(s)
GroupSin-cosmeanFrequencydomainAdaptivetotalProposedmethod
filteringfilteringvariation







由于剪切散斑干涉无损检测获取的相位条纹图尺寸为20482448,而本文训练的基于
CycleGAN的条纹图滤波网络只能对256256大小的图像进行处理。为实现整幅相位条纹
图中的散斑噪声滤除,需要先将原始条纹图进行裁剪分块,在对每个块滤波处理后拼接成完
整的滤波条纹图。在滤波过程中,每张图像仅依据自身的灰度信息,会忽略相邻区域的条纹
分布情况,直接裁剪拼接可能导致最终滤波结果出现分块甚至条纹错位现象。对此,本文采
取如图9所示的优化策略进行滤波处理:①.以步长step将原始噪声相位图裁剪为若干:.
256256大小图像并用本