基于模板匹配的透明盒缺陷检测

设计了一套将内外打光相结合的打光方案，并采用HACLON软件编写可用于去除边缘效应干扰的算法与缺陷检测算法，从而实现对透明盒缺陷快速、精确的检测。

1 检测系统组成与检测流程

基于模板匹配的透明盒缺陷检测系统需要实现对图像的采集与处理，以及将处理后的结果发送给剔除模块，剔除不合格产品，从而提高产品质量。硬件部分由多个模块组成，主要包括：产品输送模块、图像采集模块、图像处理模块、电器控制模块以及剔除模块。产品首先由输送带运送到图像采集模块，当透明盒触发传感器挡板，气缸伸出挡住透明盒;面光源在高速气缸带动下插入透明盒内部点亮，相机进行拍照;拍照结束后挡板气缸与高速气缸缩回，同时图像处理模块对获取的图像进行处理;当检测出透明盒存在缺陷时，剔除模块对产品進行剔除。硬件结构简图如图1所示。

2 检测算法与软件

本系统采用HALCON图像处理软件对图像进行处理，HALCON是世界公认具有最佳效果的机器视觉处理软件[15]。目前常用的图像处理方法有模板匹配法[16-17]与基于人工神经网络的算法[18-19]，系统采用二值化与模板匹配相结合的方法对采集图像进行处理。

模板匹配主要包括：基于灰度值的匹配、基于形状的匹配与基于组件的匹配。基于形状的匹配一般包括4种情况： 一般形状匹配模板、线性变形匹配模板、局部可变形模板与比例缩放模板。由于本系统属于在线检测，无法保证每次拍摄图片位置不变，因此图像存在小范围的线性变形。根据基于形状模板的特点，选用线性变形匹配模板。

3 基于模板匹配的图像处理

图像处理流程如下：①相机首先在线抓取待检测透明盒图像，筛选出合格产品图像作为透明盒检测的模板图像;②然后画出待检测区域的ROI，建立待检测区域的线性变形匹配模板，对模板进行训练并将其保存在相应文件夹中;③在相机抓取的待检测产品图像中找到与训练模板相匹配的区域，对匹配区域进行比较;④最后去除匹配结果的边缘干扰，进行相应算法处理，判断透明盒是否存在缺陷。图像处理流程如图2所示。

3.1 模板创建与训练

人工选取合格产品并对其进行在线图像采集，筛选效果较好的图像作为模板图像。首先选取一张图像，利用HALCON中的算子gen_rectangle1获取需要检测的ROI字符区域;通过rgb1_to_gray算子将三通道图像转换成单通道图像，再通过create_planar_uncalib_deformable_model与create_variation_model算子创建字符模板;利用find_planar_uncalib_deformable_model从筛选图像中找到与第一张图像匹配度较高的图像，即从find_planar_uncalib_deformable_model中输出参数Score数值较高的图像。由于是在线采集图像，拍摄物品相对位置必然会发生变动，因此需要采用2D仿射变换算子对找到的图像进行位置变换，并将变换后的图像转换成单通道图像，然后通过train_variation_model算子对图像选定的ROI区域进行模板训练;最后通过get_variation_model（：Image，VarImage：ModelID：）获取训练后的模板，并通过write_variation_model将训练得到的模板Image与变化模板VarImage保存到相应文件夹中。与此同时，用convert_image_type（VarImage，VarImage1，‘byte’）将变化后的模板转换成byte类型并加以保存。创建的模板图像与变化模板图像如图3、图4所示。

3.2 透明盒在线检测

產品在流水线生产与运输过程中，通过触发传感器伸出挡板气缸，基本可以实现使相机在同一位置抓取图片。将相机抓取的图片传输到由HALCON和C#编写的图像检测软件中，实现对透明盒缺陷的检测。

首先从保存模板的文件夹中获取训练好的模板，将相机抓取的图像转换成单通道图像，采用find_planar_uncalib_deformable_model（Image ： ： ModelID， AngleStart， AngleExtent， ScaleRMin， ScaleRMax， ScaleCMin， ScaleCMax， MinScore， NumMatches， MaxOverlap， NumLevels， Greediness， ParamName， ParamValue ： HomMat2D， Score）算子找到与模板匹配的区域。算子中的MinScore、Greediness即最小匹配度及贪婪度的值，可根据实际需要进行设置，其值域为[0，1]。MinScore、Greediness的值越大，图像与模板匹配速度越快，但容易漏掉与模板匹配度不高的图像。如果可预期图像永远不被遮挡，MinScore可设置高达0.8甚至0.9，在多数情况下，可变形模型的贪婪性多为0.9。算子中的NumLevels即图像金字塔层级，图像金字塔是图像多尺度表达的一种，是一种以多分辨率解释图像、有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列、分辨率逐步降低，且来源于同一原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层层图像比喻成金字塔，层级越高，则图像越小，分辨率越低[20-21]。因此，可通过选择NumLevels的大小确定图像分辨率，NumLevels越大，图像分辨率越低，图形与模板匹配速度越快。根据实际需要，将系统MinScore、Greediness和NumLevels分别设置为0.6、0.9和5。

然后用compare_ext_variation_model（Image ： Region ： ModelID，Mode：）将处理后的图像与模板进行比较，得到模板与图像的不同区域Region，再对Region进行二值化等处理，并根据相应区域特征对透明盒缺陷进行检测。但印刷字符、图案受印刷机印刷压力、印刷速度等多方面因素影响，会产生边缘效应，导致图像上的字符、图案与模板匹配时，在字符、图案边缘会产生许多不同的小区域（见图5）。

由于无法判定图像上的字符、图案与模板对比后产生的不同小区域是由字符、图案的边缘效应产生的，还是由于字符、图案的缺陷产生的，因而将严重影响对透明盒缺陷的检测结果。为了解决字符边缘效应问题，本文采用get_variation_model（ ： Image， VarImage1 ： ModelID ： ）算子获取保存的变化模板图像VarImage1，用阈值算子threshold处理得到Region1;通过边缘算子获取模板图像的Image边缘，对其边缘进行阈值、形态学等一系列处理得到Region2;取Region1和 Region2的交集得到Region3，也即字符边缘易干扰区域，如图6所示;对compare_ext_variation_model（Image ： Region ： ModelID， Mode ： ）中的Region进行相应的形态学处理得到Region4，取Region3、Region4的交集得到Region5;取Region4和Region5的差集得到Region6，Region6则是去除了边缘干扰的缺陷区域。

最后跟据实际需要与缺陷区域特征，采用select_shape对缺陷区域进行筛选，计算筛选后得到的区域面积，根据面积大小是否为0判断产品字符是否合格，并通过disp_message算子显示出来。当检测透明盒字符无缺陷时，则会在窗口上显示“ok”，且字体为绿色，如图7所示;当检测透明盒字符有缺陷时，则会在窗口显示缺陷面积，且字体为红色，如图8、图9所示，原始效果见图10。图9中的缺陷面积只有9个像素，即“酒”字上的缺陷，肉眼几乎无法发现。检测结果表明，系统检测精度非常高，且精度可以根据用户需求进行调节。系统可以检测透明盒上的诸多缺陷，例如字体残缺、砂眼、字体笔画粗细、少印、多印、印刷错误、黑点、字体倾斜、划痕、偏膜等，由于篇幅有限，不再一一列举。

4 结语

针对透明盒存在的诸多缺陷问题，本文提出一种基于模板匹配的透明盒缺陷检测方法。由于字符、图案存在边缘效应，在匹配过程中会对字符、图案的缺陷检测产生干扰，本文编写的可去除边缘效应干扰的算法与缺陷检测算法，能够实现对产品字符进行高速、精确地检测，并能准确且无损坏地剔除不合格产品。系统查准率高达99.5%以上，漏检率低于0.2%，可以很好地代替人工实现自动化生产检测。

参考文献：

[1] 马梅彦. 智能装备与系统产业发展动态与趋势[J]. 科技中国，2018（4）：61-66.

[2] 《智能机器人》编辑部. 机器视觉时代，最好的时代[J]. 智能机器人，2018（2）：1.

[3] JIA H B，MURPHEY Y L，SHI J J. An intelligent real time vision systern for surface defect detection[C]. Proceedings of the 17th International Conference on Pattern Recognition，2004：239-242.

[4] PENG X Q，CHEN Y P，YU W Y. An online defects inspection method for float glass fabrication based on machine vision[J]. International Journal of Advanced Manufacturing Technology，2008，39（11）：1180-1189.

[5] BU X Z，LI G J，YANG B，et al. Fast unwrapping of panoramic annularimage with center deviation[J]. Optics and Precision Engineering，2012，20（9）：2103-2109.

[6] 李鹤. 基于神经网络的零件缺陷机器视觉识别系统[J]. 计算机测量与控制，2017，25（11）：248-256.

[7] 孙炼杰，樊臻. 基于模板匹配的光纤收发 PCB 板目标检测[J]. 计算机应用与软件，2018，35（1）：128-131.

[8] 丁筱玲，赵强，李贻斌，等. 基于模板匹配的改进型目标识别算法[J]. 山东大学学报，2018，48（2）：1-7.

[9] 钱俞好，周军，田胜，等. 基于机器视觉检测印刷码的改进模板匹配算法研究[J]. 机电工程，2018， 35（4）：442-446.

[10] 蒋昭颖，郝福珍. 基于改进模板匹配算法的伤票识别与定位[J].  电子设计工程，2018， 26（3）：175-179.

[11] 李厚君. 基于梯度模板匹配的眉毛识别方法[J]. 广西科技大学学报，2018， 29（3）：62-70.

[12] 安宗权，王匀. 基于线激光与模板匹配的工件表面平坦度测量[J]. 控制工程，25（2）：341-345.

[13] 张俊峰，尚振宏，刘辉. 基于颜色特征与模板匹配的车牌识别系统设计与实现[J]. 软件导刊，2018，17（1）：212-215.

[14] 刘博艺，唐湘滟，程杰仁. 基于多生长时期模板匹配的玉米螟识别方法[J]. 计算机科学，2018， 45（4）：106-111.

[15] 郭佳寅，岳秀江，吴双，等. 基于HALCON的乳制品箱体喷码字符识别方法研究[J]. 制造业自动化，2013（3）：21-22.

[16] 项辉宇，刘倩倩，黄佳军，等. 基于HALCON的字符识别及缺陷检测[J]. 机电产品开发与创新，2014，27（2）：77-79.

[17] 李志强，项辉宇，李哲. OCR 在印刷字符实时检测系统中的应用[J]. 机电产品开发与创新，2013，26（3）：129-130.

[18] 张银苹，葛广英. 基于HALCON的车牌识别研究[J]. 现代电子技术，2014，37（16）：92-95.

[19] 朱正礼. 基于三层BP神经网络的字符识别系统的实现[J]. 现代计算机，2006（10）：93-95.

[20] GARY BRADSKI，ADRIAN KAEHLER. 學习OpenCV（中文版）[M]. 北京：清华大学出版社，2009：150-154.

[21] RAFAEL C GONZALEZ，RICHARD E WOODS. Digital image processing（third edition）[M]. 北京：电子工业出版社，2011：290-292.

（责任编辑：黄 健）

推荐访问:匹配 缺陷 透明 模板 检测