提高检测小型透明注塑件缺陷的方法

注塑成形产品具有成形周期短、精度高、适应性强等特点，广泛应用于汽车、航空航天、电子电气等领域。注塑件缺陷检测是实现注塑成形工业产业升级的重要技术环节。传统依靠人工检测的效率、精度与稳定性都得不到保障，严重制约了注塑成形工业的自动化与智能化水平。

目前，基于机器视觉的检测技术已逐渐应用于注塑件的缺陷检测。如，针对具有较强纹理特征的注塑件，LIU 等采用截断奇异值分解和小波分解技术，实现注塑件的纹理特征提取，并建立外观缺陷的检测模型 [1] ；GAHLEITNER 等利用数字图像处理技术和状光源成像技术实现产品指定位置的纹理检测 [2] 。对具有缩痕缺陷的注塑件，GRUBER等建立产品缩强度与产品外观图像的二阶微分之间的定量关系与模型，实现注塑件缩痕缺陷的自动检测 [3] 。针对透注塑件的外观检测，SATORRES 等结合定制的照明硬件系统与可配置组合的软件模块，实现前照灯透镜的自动检测 [4] 。相关学者结合改进的霍夫变换、轮拟合与亚像素处理等技术实现小型齿轮类注塑件的披锋、缺齿与翘曲等缺陷的自动检测 [5-6] ；也有学结合模板匹配与图像分割技术，实现平板类注塑件的外观缺陷检测 [7-8] 。在注塑成形工业的模具保护方，通过模板匹配、特征匹配与轮廓检测等技术实现模内异物或产品残留的自动检测 [9] 。综上所述，基于传统器视觉的检测技术大多针对特性类型产品、特定外观缺陷的检测，模型可迁移性不强。随着深度学习技术的发展，基于深度学习的检测技术已逐渐取代传统的机器视觉检测技术，并广泛应用于图像分类 [10] 、测 [11] 与分割 [12] 等领域。

近年来，专家学者针对如何利用深度学习技术准确识别注塑件缺陷进行了大量研究，但针对小型透明注塑件缺陷检测的文献鲜有报道。为此，本文提出一种基于特征融合的小型透明注塑件缺陷检测技术首，对小型透明注塑件进行局部成像从而提高局部区的图像分辨率；其次，利用特征融合网络将不同层特征图变换到同一尺寸，从而提高缺陷的定位精度与识别准确率；最后，利用缺陷生成和分类网络检测头对缺陷的位置和类型进行自动识别，提高了小型透明注塑件缺陷检测的召回率与准确率。

待检测的小型透明注塑件来自实际生产中的案例，尺寸为8 mm×6 mm×2 mm。由于材料、工艺与设备状态等参数的波动，导致产品在注塑成形过程中容易出现毛丝（Hair）和黑点（Spot）2 种常见的缺陷，如图1 所示。本文主要检测这2 种外观缺陷。由于待检测小型透明注塑件对成像质量要求较高，本文采用高清工业相机acA3800-10gc并搭配M5028-MPW2镜头（分辨率为2 454×2 056）对小型透明注塑件局部区域进行成像。为平衡检测效率和检测精度，将成像后的图像统一缩放至 800×640 像素。

分别收集正常图像 100 幅、含有毛丝和黑点缺陷的图像各 80 幅，合计 260 幅。其中，毛丝和黑点缺陷出现次数分别为 417 次和384 次，采用人工标记的方式记录每个缺陷的位置和类型；同时通过将图像旋转至不同角度（如30°、90°、180°等）和平移等方式对数据进行增强，从而获得 10 倍于原始数据量的数据集，选取60%的数据作为训练集，剩余的40%作为测试集。

本文采用预训练的 VGG16 网络作为特征提取主干网络（移除网络架构最后 3 个全连接层），包含13个卷积层和4 个池化层。传统目标检测采用特征提取主干网络最后的卷积层输出特征作为区域生成网络和检测器的输入，该特征图的缩放因子为1/32，存在目标定位精度不足的问题；而低层次的特征图没有经历卷积等非线性变换操作，其语义信息较弱，缺陷识别能力不高。因此，为利用高层次特征图的强语义特性，对第五卷积组输出的特征图进行上采样，以增强其位置信息；为利用低层次特征图的高分辨率特性，将第一卷积组输出的特征图进行最大池化操作以增强其语义信息；将上述特征图变换到与第三卷积组输出的特征图相同尺寸，并通过1 个5×5 的卷积操作增强特征的非线性表达能力，通过局部响应归一化技术将3 组特征图进行融合，从而提高缺陷区域的定位精度。多维度特征融合网络如图2 所示。

首先，将小型透明注塑件外观图像输入特征提取网络并经历多维特征融合后，输出1 个M × N × F 的特征图；然后，利用具有L 个通道的3×3 卷积模板对该特征图进行非线性变换，并将三维特征图的形状变换为(M × N) × L 的二维特征图；最后，在该二维特征图后接入2 个全连接层，用于缺陷区域的生成和粗定位。此外，为提高缺陷定位的精度，引入锚点（anchor）机制，以锚点为中心，通过生成K 个不同尺度和比例的矩形框来指定不同大小和长宽比例的缺陷区域。因此，对于M × N 大小的特征图，最终将生成M × N ×K 个候选区域，缺陷区域生成网络架构如图 3 所示。

式中，i、p 分别为缺陷区域生成网络输出的第 i 个候选区域和响应被预测为缺陷区域的概率值；p ∗ = 1 或0 分别为有缺陷或无缺陷区域的真实标签；

分别为随机小批量的批次大小和每幅图像候选区域的数量；λ 为平衡区域分类和位置回归的权重因子，通常可以设置为

表示归一化后的候选区域的位置向量，其计算方式为

式中，(x, y, w, h)分别为预测候选区域锚点中心坐标(x, y)、矩形区域的宽度(w)与高度(h)；(x a , y a , w a , h a )分别为真实候选区域锚点中心坐标(x a , y a )、矩形区域的宽度(w a )与高度(h a )。

在训练阶段，采用带动量的小批量随机梯度下降法训练区域生成网络模型，该模型每幅图像输出 128个候选区域，送入后续区域检测网络进行进一步的分类与定位训练。其中，正负样本比例保持为1∶1，若正样本数量不足，则由负样本补齐。正负样本的设置规则如下：

在测试阶段，由于区域生成网络模型输出的候选区域没有真实标签，因此直接输出300 个候选区域并送入区域检测网络进行预测。

利用感兴趣区域（ROI）池化操作将缺陷区域生成网络生成的候选区域池化为7×7 的特征图，并送入后续检测器进行最终缺陷区域的精确定位和识别。检测器网络结构与缺陷区域生成网络结构类似，包含 2个全连接层检测头，分别用于位置回归和缺陷分类，缺陷检测网络总体结构如图4 所示。

采用带动量的小批量随机梯度下降法训练检测器，检测器的位置回归误差计算方式与式(1)相同；缺陷类型识别采用SoftMax 函数：

本文采用四步法训练缺陷检测网络：1） 单独训练缺陷区域生成网络；2） 单独训练检测器；3） 冻结第 2）步中的特征提取主干网络的模型参数，对缺陷区域生成网络的模型参数进行微调；4） 冻结第3）步中的特征提取主干网络的模型参数，对检测器的模型参数进行微调。

为验证本文所提方法对小型透明注塑件缺陷检测的有效性，网络训练的实验平台硬件配置如下：10核 Intel Xeon CPU E5-2630 v4 @ 2.20 GHz；64 GB 内存；2 张Nvidia GeForce GTX 1080Ti 显卡。区域召回率与推荐数量、交并比之间的关系如图 5 所示。图 5同时给出了传统边缘框（EB）、选择性搜索（SS）、VGG、特征融合网络（Hyper）的结果。

由图 5(a)可知，当推荐数量为 50 个且交并比为0.5时，传统的EB方法或SS方法的召回率不足60%，而VGG 与Hyper 网络的召回率均在80%以上，其中Hyper 网络的召回率更高；由图 5(b)可知，当推荐数量为300 个且交并比为0.5 时，传统的EB 方法或SS方法的召回率不足 80%，而 VGG 与特征融合网络的召回率基本可达 100%。此外，还发现特征融合网络的召回率始终高于 VGG 网络和传统的 EB 方法、SS方法，证实了本文提出的特征融合网络结构的有效性。

在实时性方面，当推荐区域数量为1 000 个时，传统 EB 方法、SS 方法处理单幅图像平均耗时约为4 s，而VGG 和特征融合网络平均耗时分别为 165 ms和190 ms。特征融合网络处理单幅图像处理速度是传统EB 方法、SS 方法的4 倍以上，这是因为特征融合由图 5(a)可知，当推荐数量为 50 个且交并比为0.5时，传统的EB方法或SS方法的召回率不足60%，而VGG 与Hyper 网络的召回率均在80%以上，其中Hyper 网络的召回率更高；

由表1 可知：当推荐区域数量为1 000 个、区域生成网络与检测器不共享特征提取主干网络的模型参数时，相比 VGG 网络，特征融合网络对黑点、毛丝的识别准确率和平均准确率分别提高了 3.34%、3.65%、3.50%；当采用共享特征网络参数时，特征融合网络对黑点、毛丝的识别准确率和平均准确率分别提高了 3.31%、3.59%、3.44%；当推荐区域由 1 000个降为300 个时，平均准确率可以达到98.49%，能够满足实际检测需求。由以上结果可以看出，本文采用的特征融合方法能提高缺陷的识别准确率与平均准确率。

图6给出了缺陷检测结果，其中1表示黑点缺陷、2 表示毛丝缺陷， 1∶0.983 表示出现黑点缺陷的概率为0.983；2∶0.837表示出现毛丝缺陷的概率为0.837。由图 6 可知，本文所提方法能够较好地检测出黑点、毛丝等缺陷。

为了识别小型透明注塑件缺陷，本文提出一种基于特征融合的缺陷检测技术。首先，通过高清工业相机对小型透明注塑件进行局部成像，并将图像统一缩放至800×640 像素，从而降低产品尺寸对成像质量的影响；其次，通过将低层次的特征图下采样、高层次特征图上采样至同一尺寸大小，并通过局部响应归一化技术融合不同层次的特征图，提高缺陷区域的定位和识别精度；最后，采用预训练的 VGG 模型作为特征提取主干网络，通过缺陷区域生成网络和检测器实现缺陷区域的自动定位与检测。在300 个推荐区域与交并比为0.5 时，缺陷区域召回率100%；缺陷类别识别平均准确率98.49%，具有较高的实用价值。