(12)发明专利申请
(10)申请公布号 CN 112150441 A(43)申请公布日 2020.12.29
(21)申请号 202011017844.9(22)申请日 2020.09.24
(71)申请人 菲特（天津）检测技术有限公司
地址 300308 天津市滨海新区自贸试验区
(空港经济区)空港物流加工区中心大道西侧,西七道北侧岭尚家园95号楼-1(72)发明人 曹彬 袁帅鹏
(74)专利代理机构 天津盈佳知识产权代理事务
所(特殊普通合伙) 12224
代理人 孙宝芸(51)Int.Cl.
G06T 7/00(2017.01)G06T 7/13(2017.01)G06T 7/60(2017.01)
权利要求书2页 说明书5页 附图4页
G01N 21/88(2006.01)
CN 112150441 A(54)发明名称
一种基于机器视觉的光滑漆面表面缺陷检测方法(57)摘要
本发明公开是关于一种基于机器视觉的光
涉及数字图像处理技滑漆面表面缺陷检测方法，
术领域。通过在漆面表面反射条纹光，使凹坑、凸起、划伤等缺陷被突显出来，使用CCD摄像机采集图像；步骤二：通过算法判断条纹的畸变情况，提取出缺陷。采用条纹反射的打光方式，消除镜面反射效应影响的同时，能够增强对漆面表面缺陷的显现力，得到具有高质量的漆面表面缺陷图像。通过自适应二值化的图像处理结果，可见漆面表面的条纹信息都得到了完整的保留，效果理想。无缺陷处图像中曲线连续且曲率均匀，缺陷处图像中曲线会出现断裂和扭曲，其曲率变化较大。最后遍历提取出的边缘，对边缘的曲率进行计算，提取出缺陷。
CN 112150441 A
权 利 要 求 书
1/2页
1.一种基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，该基于机器视觉的光滑漆面表面缺陷检测方法包括以下步骤：
步骤一：通过在漆面表面反射条纹光，使凹坑、凸起、划伤缺陷被突显出来，使用CCD摄像机采集图像；
步骤二：通过算法判断条纹的畸变情况，提取出缺陷数据。
2.根据权利要求1所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，漆面表面反射条纹光采用条纹反射的打光方式。
3.根据权利要求2所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，条纹反射的打光方式的光源采用定制的条纹板光，相机镜头模组与光源成一定角度，倾斜拍摄漆面，采集得到图像。
4.根据权利要求1所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，在步骤二中，当表面无缺陷时，条纹图像纹理清晰，条纹互不干扰；
当缺陷存在时，条纹图像发生了弯曲或偏折，从而能够对缺陷信息进行表征；在缺陷附近受光线散射的影响，缺陷位置的反射率ρρs相对于无缺陷位置折射率b减小，缺陷处的图像变得模糊。
5.根据权利要求1所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，判断条纹的畸变情况需要对图像进行预处理，为处理提供良好的输入信息。
6.根据权利要求5所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，图像预处理采用局部自适应阈值法进行图像二值化，具体的计算方法如下：
设定P(n)为第n个点的灰度值，fs(n)为第n个像素位置之前s个像素的灰度值的和；
引入变量s和t确定P(n)的二值化结果T(n)为：
其中s和t为经验值，s＝image.width/8。
7.根据权利要求6所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，fs(n)通过gs(n)进行替代:
8.根据权利要求7所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，在
2
CN 112150441 A
权 利 要 求 书
2/2页
扫描过程中将竖直方向的像素关联起来，对该算法进行改进，将g(n)与其前一个g_rev(n)进行取平均值运算，使这个最终的值h(n)就更具说服力，
9.根据权利要求3所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，提取漆面的条纹信息前对图像中条纹的边缘进行提取。
10.根据权利要求9所述的基于机器视觉的光滑漆面表面缺陷检测方法，其特征在于，提取漆面的条纹信息后，遍历提取出的边缘，对边缘的曲率进行计算，提取出缺陷。
3
CN 112150441 A
说 明 书
一种基于机器视觉的光滑漆面表面缺陷检测方法
1/5页
技术领域
[0001]本发明公开涉及数字图像处理技术领域，尤其涉及一种基于机器视觉的光滑漆面表面缺陷检测方法。
背景技术
[0002]随着我国经济的迅猛发展，国内的汽车保有量从2008年的1947万辆增长到2018年的1.8亿辆。汽车的漆面涂装技术也需要不断进步，而漆面工艺的复杂性和严密性使得漆面涂成为一项高精度的工作，但目前仍然采用人工来检测漆面喷涂瑕疵。当漆内部存在颗粒、异物以及产品表面存在缺陷，导致漆喷涂完后，其表面存在凹凸的瑕疵。传统的方式是汽车外壳上完漆后，由多名工人借助油石、光照等并从不同的角度结合观察和触摸等方式对缺陷进行检测。这种方式难以避免人工漏检率搞、速度慢、成本高等缺点。[0003]汽车蒙皮是汽车整体中不可或缺的一部分，其成品表面为光滑的漆面，镜面反射严重，且凸点等缺陷本身较小(直径在毫米量级)，导致人工目检时，在长期的单一重复性工作中，工人容易产生疲劳，导致不合格的产品流入到应用市场中。且不同的工人对于极限件合格性的判断会产生差异。为了提高检测效率，机器视觉检测技术以非接触性、柔性好、较高精度及迅速获得被测物体信息等优点在众多检测技术中脱颖而出。[0004]Newman等人提出的传统视觉瑕疵检测力一法包括图像预处理、特征提取、分类器训练等复杂步骤，可能存在运算速度慢、受光照影响大等问题。但本发明基于传统人工检测方式以及传统视觉检测方式提出了一种基于机器视觉的光滑漆面表面缺陷检测方法。[0005]解决上述问题的难度在于：对于整个汽车蒙皮而言，存在多种形状的特性，表面喷涂漆的颜色也不一致，对检测设备要求多种形状、多种色彩的适应性。本文提出一种利用条纹反射的原理，提供了一种有规律的参考条纹，通过观察在缺陷位置处的畸变情况，间接反映缺陷。因有参考条纹的存在，适应于多种形态、多种色彩的汽车蒙皮。[0006]对于漆面检测，检测面积大，处理图像较多，对算力提出较高的要求，算力耗时加大。本文提出通过自适应二值化的图像处理结果，可见漆面表面的条纹信息都得到了完整的保留，效果理想，对算力的要求降低为其传统方式的50％。[0007]无缺陷处图像中曲线连续且曲率均匀，缺陷处图像中曲线会出现断裂和扭曲，其曲率变化较大。最后遍历提取出的边缘，对边缘的曲率进行计算，提取出缺陷。[0008]解决上述问题的意义在于：考虑到传统人工检测方式以及传统视觉的检测方式，采用本文提出的检测方法可以适应不同表面形态、不同色彩的汽车蒙皮的漆面，降低了算力的要求，提高了检测的效率，并且根据缺陷处图像中曲率变化程度，计算出缺陷的大小。发明内容
[0009]为克服相关技术中存在的问题，本发明公开实施例提供了一种基于机器视觉的光滑漆面表面缺陷检测方法。所述技术方案如下：
[0010]该基于机器视觉的光滑漆面表面缺陷检测方法包括以下步骤：
4
CN 112150441 A[0011]
说 明 书
2/5页
步骤一：通过在漆面表面反射条纹光，使凹坑、凸起、划伤等缺陷被突显出来，使用
CCD摄像机采集图像；[0012]步骤二：通过算法判断条纹的畸变情况，提取出缺陷。[0013]在一个实施例中，在漆面表面反射条纹光采用条纹反射的打光方式。[0014]在一个实施例中，条纹反射的打光方式的光源采用定制的条纹板光，相机镜头模组与光源成一定角度，倾斜拍摄漆面，采集得到图像。[0015]在一个实施例中，在步骤二中，当表面无缺陷时，条纹图像纹理清晰，条纹互不干扰；
[0016]当缺陷存在时，条纹图像发生了弯曲或偏折，从而能够对缺陷信息进行表征；[0017]在缺陷附近受光线散射的影响，缺陷位置的反射率ρρs相对于无缺陷位置折射率b减小，缺陷处的图像变得模糊。[0018]在一个实施例中，判断条纹的畸变情况需要对图像进行预处理，为后续处理提供良好的输入信息。
[0019]在一个实施例中，图像预处理采用局部自适应阈值法进行图像二值化，具体的计算方法如下：
[0020]设定P(n)为第n个点的灰度值，fs(n)为第n个像素位置之前s个像素的灰度值的和；
[0021][0022][0023][0024][0025]
引入变量s和t确定P(n)的二值化结果T(n)为：
其中s和t为经验值，s＝image.width/8。在一个实施例中，fs(n)通过gs(n)进行替代:
[0026]
[0027]
在一个实施例中，在扫描过程中将竖直方向的像素关联起来，对该算法进行改进
将g(n)与其前一个g_rev(n)进行取平均值运算，使这个最终的值h(n)就更具说服力，
[0028][0029][0030]
在一个实施例中，提取漆面的条纹信息前对图像中条纹的边缘进行提取。
在一个实施例中，提取漆面的条纹信息后，遍历提取出的边缘，对边缘的曲率进行
5
CN 112150441 A
说 明 书
3/5页
计算，提取出缺陷。
[0031]本发明公开的实施例提供的技术方案可以包括以下有益效果：[0032]第一、采用条纹反射的打光方式，消除镜面反射效应影响的同时，能够增强对漆面表面缺陷的显现力，得到具有高质量的漆面表面缺陷图像。针对不同形状、不同色彩的汽车蒙皮漆面缺陷，检出效果100％适应，说明条纹反射的打光方式适应于汽车蒙皮漆面检测。[0033]第二、通过自适应二值化的图像处理结果，可见漆面表面的条纹信息都得到了完整的保留，效果理想。相比较于传统的算力以及运算时间节约50％。[0034]第三、无缺陷处图像中曲线连续且曲率均匀，缺陷处图像中曲线会出现断裂和扭曲，其曲率变化较大。最后遍历提取出的边缘，对边缘的曲率进行计算，提取出缺陷，并可以计算处缺陷的大小。现场产线可以根据计算的结果进行有条件的筛选，提升检出效率，降低企业的运行成本。
[0035]当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0036]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0037]图1为本发明实施例中的基于机器视觉的汽车蒙皮漆面缺陷检测方法的流程图。[0038]图2为本发明实施例中提供的发明中涉及到汽车蒙皮样件示意图；[0039]其中，a、光滑的漆面的汽车蒙皮反光效果图；b、普通的漆面的汽车蒙皮反光效果图。
[0040]图3为本发明实施例中提供的发明中涉及到汽车蒙皮漆面表面的常见缺陷。[0041]图4为本发明实施例中提供的发明中涉及到打光环境示意图。[0042]图5为本发明实施例中提供的发明中涉及到条纹结构光示意图。[0043]图6为本发明实施例中提供的发明中涉及到条纹反射图。[0044]其中，a、表面无缺陷时，条纹图像显示状态图；b、表面存在缺陷时，条纹图像显示状态图。
[0045]图7为本发明实施例中提供的发明中涉及到图像二值化结果图。[0046]图8为本发明实施例中提供的发明中涉及到条纹边缘提取结果图。[0047]图9为本发明实施例中提供的发明中涉及到检测结果图。
具体实施方式
[0048]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。[0049]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、
6
CN 112150441 A
说 明 书
4/5页
“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。[0050]除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0051]本发明实施例提供一种基于机器视觉的汽车蒙皮漆面缺陷检测方法，用以解决现有技术中汽车蒙皮漆面缺陷检测存在准确度、精度不高的技术问题。本发明的目的是充分利用工业光源与工业相机，采用机器视觉的检测方法，实现了对汽车蒙皮漆面表面缺陷进行快速并准确地检测，并把数据进行实时处理。本实施例提供了一种基于机器视觉的汽车蒙皮漆面缺陷检测方法，请参见图1，所述方法包括：[0052]步骤S101：通过在漆面表面反射条纹光，使凹坑、凸起、划伤等缺陷被突显出来，使用CCD摄像机采集图像。[0053]步骤S102：通过算法判断条纹的畸变情况，提取出缺陷。[0054]上述方法中，只有缺陷的大小大于条纹光的条纹宽度时，缺陷才能被突显出来。条纹光能凸显缺陷的原理是激光三角测量法。
[0055]下面结合图1对本申请提供的基于机器视觉的汽车蒙皮漆面缺陷检测方法进行详细介绍：
[0056]首先执行步骤S101，通过在漆面表面反射条纹光，使凹坑、凸起、划伤等缺陷被突显出来，使用CCD摄像机采集图像。[0057]从图2可以看出，汽车蒙皮表面为光滑的漆面，普通环境光照射到漆面上时，镜面反射效应严重，光照不均匀，导致缺陷检测难度增加。其次，从图3可以看出，漆面的常见凸点缺陷很小，直径通常为0.5mm左右，使得检测难度近一步加大。汽车蒙皮的漆面光滑，类似于镜面，极易产生强烈的镜面反射效应，使得采集得到的图像亮度分布不均，造成局部区域亮度分布过饱和，进而导致细节信息的丢失。其次，较强的镜面反射效应会导致周围的杂物很容易映射到车身零部件的表面，造成处理结果的误差。[0058]为解决上述镜面反射效应造成的问题，本发明采用条纹反射的打光方式，消除镜面反射效应影响的同时，能够增强对漆面表面缺陷的显现力，使缺陷更加突显，得到具有高质量的漆面表面缺陷图像。
[0059]条纹反射的打光方式具体如图4所示。光源采用定制的条纹板光，条纹样式如图5所示。光源倾斜照射到漆面上，相机镜头模组与光源成一定角度，倾斜拍摄漆面，采集到的图像如图6所示。
[0060]然后执行步骤S102：通过算法判断条纹的畸变情况，提取出缺陷。[0061]观察图6可以发现，当表面无缺陷时，条纹图像纹理清晰，条纹互不干扰。当缺陷存在时，条纹图像发生了弯曲或偏折，从而能够对缺陷信息进行表征。在缺陷附近受光线散射的影响，缺陷位置的反射率ρρ缺陷处的图像变得模糊。s相对于无缺陷位置折射率b减小，[0062]要判断条纹的畸变情况，首先需要对图像进行预处理，以便为后续处理提供良好的输入信息。为将漆面表面的条纹图案有效提取出来，由于图像中条纹处与非条纹处的对比度明显，本发明采用对图像二值化的方法对条纹信息进行提取。由于图像中的条纹灰度值并不一致，故本发明采用局部自适应阈值法进行图像二值化。具体的计算方法如下：
7
CN 112150441 A[0063]
说 明 书
5/5页
设定P(n)为第n个点的灰度值，fs(n)为第n个像素位置之前s个像素的灰度值的
和。
[0064][0065][0066][0067]
引入变量s和t确定P(n)的二值化结果T(n)为：
其中s和t为经验值，s＝image.width/8。故待求点P(n)的二值化结果取决于其前
面s个点灰度值的平均值*0.85，若这个点的灰度值小于该值，则结果为1，即为黑色；若大于该值，则结果为0，即为白色。以上算法中判断T(n)值时用的是前n个像素点灰度值的平均值，即各像素的权重相同，实际上显然是不同位置的像素对当前点的影响不同，距离越近的像素对当前点的影响越大，反之则越小。对此本发明引入一个更高效的gs(n)替代fs(n):
[0068]
[0069]
通过递归即可计算得到gs(n)，位置不同的像素灰度值的权重不同，同时为了在扫描过程中将竖直方向的像素关联起来，进一步对该算法进行改进，将g(n)与其前一个g_rev(n)进行取平均值运算，使这个最终的值h(n)就更具说服力。
[0070]
图7为上述局部自适应二值化的图像处理结果，可见漆面表面的条纹信息都得到了完整的保留，效果理想。
[0072]要提取漆面的条纹信息则必须对图像中条纹的边缘进行提取。图8为含有缺陷的漆面图像进行形态学边缘提取的结果。可见无缺陷处图像中曲线连续且曲率均匀，缺陷处图像中曲线会出现断裂和扭曲，其曲率变化较大。[0073]最后遍历提取出的边缘，对边缘的曲率进行计算，提取出缺陷，如图9所示。[0074]本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0075]应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。
8
[0071]
CN 112150441 A
说 明 书 附 图
1/4页
图1
图2
图3
9
CN 112150441 A
说 明 书 附 图
2/4页
图4
图5
10
CN 112150441 A
说 明 书 附 图
3/4页
图6
图7
11
CN 112150441 A
说 明 书 附 图
4/4页
图8
图9
12
因篇幅问题不能全部显示，请点此查看更多更全内容