基于全卷积神经网络的工件表面检测的研究

摘要院近年来袁深度学习的快速发展引起了机器视觉在工业领域的兴起袁相较于传统物理测量检测方法袁基于深度神经网络的检

测算法有高效率尧无损耗的特点遥为快速检测流水线上工件产品表面形貌的优劣袁本文提出了一种基于全卷积神经网络的检测方法袁实现了工件表面优劣的实时检测算法袁能端对端的输出检测结果遥相较于传统人工检测提升了检测效率及准确率袁实验数据表明袁利用全卷积神经网络所设计的检测算法袁识别精度高达98%袁识别速率相较于人工提升了5倍袁有较强的实际意义遥

关键词院表面形貌曰全卷积神经网络曰深度学习曰机器视觉

0引言工件成型技术可以实现内腔制造，并可完成难度较大的外形制作，因具有制作成本低、工序少、操作灵活等优点，使其在实际生产中受到广泛应用，特别是汽车制造业和航空航天工程。然而在制造的过程中，经常会出现表面具有缺陷的现象，工件表面缺损会使工件的功能受损，同时使用寿命也会降低，更主要的是，使用这些缺陷的工件，可能会给操作者带来伤害。因此，当工件生产完成之后，还需要对工件的形态和性能进行检测。本文在对卷积神经网络进行深入研究之后，提出了利用该方法进行像素点分类，以此来对工件缺陷进行检测的方法。1基于全卷积神经网络渊FCN冤的工件缺陷检测算法工件在铸造的过程中，由于生产工艺，原材料，管理等方面的问题容易产生铸造表面缺陷，工件的缺陷主要包括三种类型：表面划痕、主体不完整及主体原料多余。检测工件缺陷主要包含以下几步：在确定场所及环境中，在垂直灯光照射下，获取包括缺陷以及灰尘颗粒等的噪声分布图，使用已训练好神经网络进行图像检测，判断工件是否为残次品。首先，搭建全卷积神经网络并导入所需检测的图像，输出其特征表示或者特征矩阵（其每个位置对应原图像的相应目标区域）表示；然后，利用FCN比对已知查询的目标图像，获取目标函数的特征表示，并在图像上输入FCN识别工件表面缺陷。最后保存输出结果和缺陷分割图，作为抽验数据。1.1基于全卷积网络的特征表示本文中使用全卷积神经网络分类图像特征，在对本模型的算法进行训练的时候，需要图像及其标签信息。模型分为两个部分：淤全卷积神经网络，主要作用是进行图像特征的学习，并将图像信息转换成矩阵的形式；于损失结构。将第一部分中提取出来的矩阵，输入到损失结构中进行损失函数的计算和优化，进行函数学习后得到模型的参数数据。在完成全卷积神经网络的训练之后，就可以对给定图像进行特征提取和转换处理。若是输入实例目标图像，则首先需要将图像尺寸调整至与输入设定的尺寸一致，而后开要要要始作者简介要操要要作，要要得到图像的特征向量；若是对数据库中已存在院要要陈要要晴（要要1988-要要要要）要要，女要要，要江西人，硕士研究生，助教，主要从

事智能优化及算法研究。

的图像进行检索，当检索目标图片的尺寸比模型设定的输入尺寸小时，则将检索图像放大至与输入尺寸一致，而后进行模型运算处理；当检索图像的尺寸比输入尺寸大时，则不需要进行尺寸变换，直接输入模型进行运算，得出检测图像的特征矩阵。特征矩阵与原图像上的信息一一对应，能够较好的反映图像上的特征信息。1.2网络结构目前在识别方面应用广泛的FCN因输入输出限制，就需输入固定尺寸且输出单个向量，且其全连接层维度的固定，从而忽视了空间上坐标，导致图像的固有特性表达不完全。若将全连接层的特征与其大小一致的特征平面的卷积核进行卷积，如此，可以将原来只接受单一固定尺寸输入的全连接层的网络变为能够接受任何尺寸的输入，并且输出分类映射的全卷积网络；最后，将输出层的输出分类映射上采样至输入图像尺寸，便可以得到网络的预测输出。其中，对特征的上采样操作，事实上可以由卷积核对该特征反卷积操作来完成，这一过程也称作解卷积。因此，可通过对输出分类映射反向依次采用解卷积（卷积层）和双线性插值（最大池化层）的方法便可得到网络的预测输出。640*480本文所使用的数据集为自己制有缺陷图的片灰4500度图张像。数据集，由于数据集包含较正小常且仅工作件图包含为二片5000分类500网张张络，，因此本文所使用的网络为AlexNet神经网络模型，网络结构如图1所示。输入图像经过多次卷积层、池化层以后反卷积实现端对端的输出。图1全卷积神经网络模型

1.3预训练模型的选择针对本文中所使用的图像，并没有一个很好的训练·198·模型进行检测。因此，本文使用两个在其他文章以及实际应用中已经证明能够取到较好效果的训练模型：淤本文采用已经被证明在其他应用中取得很好效果的两个模型作VOC为预主VGG-16要数据训练是进库模行设型，并平均化两个模型的结果。于Pascal语计义的分FCN-Pascal割的数据库模，型虽。Pascal然其底VOC层数据库果，FCN-Pascal相同，但是是像素它级在的语训练义分模割型中，能本够文中取得检很输测好出模的与型效的设VGG-16计是对工件缺陷检测进行图片像素级分析，因此两16个模型并非来说，FCN-Pascal完全独立，FCN-Pascal模型更适合在模型本是文中基使用。，相较这大量模的数据型的传训练递来，获具取有数据的。稳定的参FCN-Pascal数和权值，模因此型已于，我经经VGG-们过仅需进行VGG-16小库的网络模范围。型，修而正是即从可直接VGG-16使用。传递该到网络Pascal不完VOC全独立数据于2实验结果及分析本文利用80%训练集、20%测试集构成的数据集为训练模型来进行实验验证，并对生产线上工件重新进行图片采6700k样后存，240GCPU测试浦，科NVIDIA算法性特固态GTX1060能。实验硬盘；软件6G硬平独件台立平为显台Visual卡为、16GIntelStudioDDR4Core2013内i7以及Caffe-windows。本文通过实验检测了不同的缺陷，并进行了效果分析，并从检测率、误检率、检测时间等方面对比了现在较为流行或者典型的表面缺陷检测算法。工件表面缺陷检测结果为：正常、缺陷、漏检（缺陷检测出正常）、过检（正常检测为缺陷）。本文的计算公式如下：图3形貌扫描图内燃机与配件（2）（3）其中，Rc表示样本检测正确率，Rf表示误检率，N示实际漏检个数，Nc表d表示实际过检个数，N为实际缺陷工件个数。本文将工业生产中常用的自适应阈值法、傅里叶变换频域检测法与本文方法进行了对比实验，结果如表1所示。表1各种算法对比

傅里叶

图形学自适应变换法

检测法

识别法

本文算法

图像质量

识别识别识别识别

率%时间/s率%时间/s率%时间/s率%时间/s包含背景成像质量差

93.189.75.17.280.770.54.35.892.388.94.85.698.297.80.50.5由表1可知，在传统算法中，图形学检测法的识别率较傅里叶变换法及自适应识别法更高，图形学算法识别率明显低于其他算法，且图像质量较差情况下识别率恶化非常严重；傅里叶变换法较其他两种算法识别精度更高，但因傅里叶变换法计算复杂，且需要利用提前设计好的滤波器模板，所以耗时较长，随着检测图样的增大，其时间也越长。由结果可知，本文提出的FCN模型不管在检测率、误检率上均优于前两种算法，且检测时间最少，具有良好的时效性，检测率高达98%。图2为工件检测原图，图3为人工控制表面形貌扫描出的表面缺陷图，图4为神经网络输出缺陷图，可以直观地看出，使用神经网络的处理结果能将缺陷区域直接分割出图4检测系统输出

InternalCombustionEngine&Parts·199·关于DKZ27型电客车客室侧门S826-em20型行程开关的质量分析田飞曰王立群（西安市轨道交通集团有限公司运营分公司，西安710016）

摘要院通过研究行程开关的工作原理尧结构组成尧实际运用中的问题袁结合DKZ27型电客车客室车门采用的S826-em20型行程

开关的相关问题袁分别从行程开关的可靠性尧外观状态尧触发行程配合三个方面进行研究和分析袁总结出DKZ27型电客车在运营检修的各级修程中对S826-em20型行程开关的质量方面进行有效控制的方法袁降低电客车客室车门在实际运营中产生的故障率袁从而保障电客车安全运营遥

关键词院可靠性曰外观状态曰触发行程配合曰安全运营

1行程开关概述1.1行程开关原理行程开关又称为限位开关或置位开关，在实际工作应用中常用于机械设备的行程控制及其限位保护。一般将行程开关直接置于电源之后，当生产机械运动部件的模块撞击行程开关触头时，行程开关触头动作，带动行程开关内部弹簧片动作，从而可以实现电流通断的切换，在常闭常开之间进行转换，进而使电路与电源之间断开或闭合。通过将机械（位移）信号转换为电信号，实现了对机械的运动方向、行程大小的控制和位置保护功能。1.2行程开关类型表1行程开关分类

类别结构复位方式触头性质

种类

直动式、转动式、微动式自动复位、非自动复位有触电式、无触电式

实际运用中根据所需，选择合适的型号，这是非常重要的，不仅要根据额定的电压电流，而且要结合实际电路的电压电流大小，同时实际的安装问题也是重要的考虑来，与表面形貌扫描均有优质缺陷检测结果，而神经网络的处理方法在时间和效率上比人工表面形貌扫描高5倍。因素。1.3行程开关的结构行程开关由以下组成部分：操作头、接触点系统、外壳、滚轮、杠杆、轮轴、复位弹簧、凸轮、撞块、调节螺钉等。安装在静物上的行程开关，滚轮受到运动的机械部件外力撞击时，在杠杆的作用下复位弹簧会进行触电通断的切换，由开关内部触点的开、合状态的改变去控制电路导通和机构的动作。2行程开关在DKZ27型电客车客室车门的运用电客车车门系统中的行程开关是把车门的机械传动转变成电信号并反馈到电客车控制系统门控器单元的一个电器部件。西安地铁二号线采用DKZ27型电客车，DKZ27型电客车客室车门的行程开关采用德国SCHALTBAU（沙尔特宝）进口S826-em20型行程开关。该行程开关在客室车门系统中主要负责辅助门控器对中央锁钩动作、门板动作的信息采集及整车控制总线对所有客室车门关好状态的检测。就DKZ27型电客车客室车门来说，每个车门上均有一个门板锁闭到位行程开关S1和两个门板到位行程开关S2、S3。列车每侧车门所有的S1行程中，将充分利用这些网络结构的优势，优化算法以再次提高工件表面缺陷的检测率和稳定性。参考文献院[1]段雨晗，付跃刚.基于机器视觉的微小零件形貌检测方法[J].长春理工大学学报（自然科学版），2015（4）：22-27.

[2]BradskiGR,KaehlerA.LearningOpenCV.OreillyMedia,2009.

[3]蔡华杰，谢光艺.基于WT-BTC特征和SVM组合分类的场景文本检测算法[J].科学技术与工程，2016，16（33）：98-102.

[4]Jia,Yangqing,Shelhamer,etal.Caffe:ConvolutionalArchitectureforFastFeatureEmbedding.2014:675-678.

[5]FayyazM,SaffarMH,SabokrouM,etal.STFCN:Spatio-TemporalFCNforSemanticVideoSegmentation.2016.

[6]海洁.弱可视环境下像素级多传感器图像自动分割方法研究[J].科学技术与工程，2017，17（12）：200-204.

[7]胡晓彤，董莹莹.基于机器视觉的金属罐内壁缺陷检测[J].天津科技大学学报，2014（3）：63-67.

[8]何金彪.基于机器视觉的罐盖缺陷检测[D].中国计量大学，2016.

图2工件检测原图

3结论本文提出了一种基于FCN网络结构的端对端快速缺陷检测网络，并设计相关检测算法，通过实验和数据分析得到以下结论：淤全卷积神经网络强大的像素分类能力能对缺陷点与非缺陷点进行精确分类；于本文的算法在检测率、误检率以及检测时间上均有明显的优势，在实际中的利用可行性强，实际意义大。目前，在深度学习领域，有很多运用较好且使用，效果良好的网络研究，在后期的研究