机器视觉技术研究进展及展望

朱 云，凌志刚，张雨强

机器视觉技术研究进展及展望

朱 云，凌志刚，张雨强

(湖南大学电气与信息工程学院机器人视觉感知与控制技术国家工程实验室，湖南 长沙 410082)

机器视觉是建立在计算机视觉理论工程化基础上的一门学科，涉及到光学成像、视觉信息处理、人工智能以及机电一体化等相关技术。随着我国制造业的转型升级与相关研究的不断深入，机器视觉技术凭借其精度高、实时性强、自动化与智能化程度高等优点，成为了提升机器人智能化的重要驱动力之一，并被广泛应用于工业生产、农业以及军事等各个领域。在广泛查阅相关文献之后，针对近十多年来机器视觉相关技术的发展与应用进行分析与总结，旨在为研究学者与工程应用人员提供参考。首先，总结了机器视觉技术的发展历程、国内外的机器视觉发展现状；其次，重点分析了机器视觉系统的核心组成部件、常用视觉处理算法以及当前主流的机器视觉工业软件；然后，介绍了机器视觉技术在产品瑕疵检测、智能视频监控分析、自动驾驶与辅助驾驶与医疗影像诊断等4个典型领域的应用；最后分析了当前机器视觉技术所面临的挑战，并对其未来的发展趋势进行了展望，为机器视觉技术的发展和应用推广发挥积极作用。

机器视觉；成像系统；视觉处理算法；视觉软件；挑战与发展趋势

近年来，随着现代制造业产业结构调整和转型升级的不断深入，越来越多企业开始施行“机器换人”，使得机器人在汽车、物流、航空航天、船舶乃至食品等领域得到了越来越广泛的应用，并带动了相关产业的发展。机器人是一种集机械、传感、识别、决策与控制等多种先进技术于一身，并具有部分智能能力的自动化设备或装置[1]，被称为“制造业皇冠顶端的明珠”，世界各国对其发展的重视程度与日俱增。机器人技术及其应用已成为当今科技和产业发展的“必争之地”，具有重要的战略意义。

作为机器人的“眼睛”，机器视觉系统是一种借助光学装置和非接触的传感器获得被检测物体的特征图像，并通过计算机从图像中提取信息，进行分析处理，进而实现检测和控制的装置。机器视觉系统具有实时性好、定位精度高等优点，能有效地增加机器人的灵活性与智能化程度[2]，是实现工业自动化和智能化的重要手段之一。随着各类技术的不断完善，以及制造产业中高质量产品的需求增多，机器视觉从最开始主要用于工业电子装配缺陷检测[3-4]，已逐步应用到汽车制造[5]、食品监 控[6-7]、视觉导航[8-9]、交通[10-11]、军事[12]、纺织加工[13]等多个领域[14-15]，市场规模不断扩大。因此，研究机器视觉相关技术对提升工业智能机器人的产业发展具有重要意义。

本文主要对机器视觉的发展历史、研究现状、相关核心技术及其应用进行总结与分析，并对未来发展趋势做出展望。

1 机器视觉发展现状

1.1 机器视觉发展史

机器视觉是建立在计算机视觉理论工程化基础上的一门学科，涉及到光学成像、视觉信息处理、人工智能以及机电一体化等相关技术[16]，经历了从二维到三维的演化过程。机器视觉发展于20世纪50年代对二维图像识别与理解的研究，包括字符识别、工件表面缺陷检测、航空图像解译等。60年代，麻省理工学院ROBERTS[17]提出了利用物体的二维图像来恢复出诸如立方体等物体的三维模型(如弹簧模型与广义圆柱体模型等)以及建立空间关系描述，开辟了面向三维场景理解的立体视觉研究。70年代麻省理工学院MARR[18]创立系统化的视觉信息处理理论，指出人类视觉从三维场景中提取对观测者有用信息的过程需要经过多层次的处理，并且这种处理过程可以用计算的方式重现，从而奠定了计算机视觉理论化和模式化的基础。此后，计算机视觉技术在80年代进入了最蓬勃发展的时期，主动视觉等新的概念、方法与理论不断涌现。与此同时，随着CCD图像传感器、CPU与DSP等硬件与图像处理技术的飞速发展[19]，计算机视觉逐步从实验室理论研究转向工业领域的相关技术应用，从而产生了机器视觉。由于具有实时性好、定位精度与智能化程度高等特点，机器视觉已经在智能汽车[9]、电子[20-21]、医药[22]、食品[23-24]、农业等领域得到了广泛的应用[25-27]，如占机器视觉市场需求40%~50%的半导体制造行业，从上游的晶圆加工切割到高精度PCB定位、从SMT元件放置到表面缺陷检测等都依赖高精度的机器视觉引导与定位。

1.2 国外机器视觉现状

机器视觉早期发展于欧美和日本等国家，并诞生了许多著名的机器视觉相关产业公司，包括光源供应商日本Moritex；镜头厂家美国Navitar、德国Schneider、德国Zeiss、日本Computar等；工业相机厂家德国AVT、美国DALSA、日本JAI、德国Basler、瑞士AOS、德国Optronis；视觉分析软件厂家德国MVTec、美国康耐视(Cognex)、加拿大Adept等，以及传感器厂家日本松下(Panasonic)与基恩士(Keyence)、德国西门子、欧姆龙(Omron)、迈思肯(Microscan)等。尽管近10年来全球产业向中国转移，但欧美等发达国家在机器视觉相关技术上仍处于统治地位，其中美国Cognex与日本Keyence几乎垄断了全球50%以上的市场份额，全球机器视觉行业呈现两强对峙状态。在诸如德国工业4.0战略、美国再工业化和工业互联网战略、日本机器人新战略、欧盟“火花”计划等战略与计划以及相关政策的支持下，发达国家与地区的机器视觉技术创新势头高昂，进一步扩大了国际机器视觉市场的规模。如图1所示，至2018年，机器视觉系统的全球市场规模接近80亿美元，年均增长率超过15.0%。世界最大的机器视觉市场——德国市场，其规模为27.1亿美元，占比超过全球总量的三分之一。

图1 2008—2018年全球机器视觉行业规模情况(来源于前瞻产业研究院)

1.3 国内机器视觉现状

相比发达国家，我国直到90年代初才有少数的视觉技术公司成立，相关视觉产品主要包括多媒体处理、表面缺陷检测以及车牌识别等。但由于市场需求不大，同时产品本身存在软硬件功能单一、可靠性较差等问题，直到1998年开始，我国机器视觉才逐步发展起来，其发展经历了启蒙、发展初期、发展中期和高速发展等阶段[28]。

机器视觉启蒙阶段：自1998年开始，随着外资大量的电子相关企业在大陆投资建厂，企业迫切需要得到大量机器视觉相关技术的支持，一些自动化公司开始依托国外视觉软硬件产品搭建简单专用的视觉应用系统，并不断地引导和加强中国客户对机器视觉技术和产品的理解和认知，让更多相关产业人员展现视觉技术带给自动化产业的独特价值和广泛应用前景，从而逐步带动机器视觉在电子、特种印刷等行业的广泛应用[29]。

机器视觉发展初期阶段：从2002年到2007年期间，越来越多的企业开始针对各自的需求寻找基于机器视觉的解决方案，以及探索与研发具有自主知识产权的机器视觉软硬件设备，在USB2.0接口的相机和采集卡等器件方面，逐渐占据了入门级市场；同时在诸如检测与定位、计数[30]、表面缺陷检测[31]等应用与系统集成方面取得了关键性突破。随着国外生产线向国内转移以及人们日益增长的产品品质需求，国内很多传统产业如棉纺[32- 33]、农作物分级[34-35]、焊接[36]等行业开始尝试用视觉技术取代人工来提升质量和效率。

机器视觉发展中期阶段：从2008年到2012年期间，出现了许多从事工业相机、镜头、光源到图像处理软件等核心产品研发的厂商，大量中国制造的产品步入市场。相关企业的机器视觉产品设计、开发与应用能力，在不断实践中也得到了提升。同时，机器视觉在农业[37]、制药[38]、烟草[39]等多行业得到深度广泛地应用，培养了一大批系统级相关技术人员。

机器视觉高速发展阶段：近年来，我国先后出台了促进智能制造、智能机器人视觉系统以及智能检测发展的政策文件，《中国制造2025》提出实施制造强国，推动中国到2025年基本实现工业化，迈入制造强国行列；《高端智能再制造行动计划(2018—2020年)》提出中国智能检测技术在2020年要达到国际先进水平。得益于相关政策的扶持和引导，我国机器视觉行业的投入与产出显著增长，市场规模快速扩大。据高工产业机器人研究所(GGII)统计，2017年中国机器视觉市场规模达到70亿元，同比增速超25%，高于其他细分领域增速，如图2所示，预计到2020年市场规模将超过120亿元。同时我国机器视觉正逐渐向多领域、多行业、多层次应用延伸，目前我国机器视觉企业已超100余家，如凌华科技、大恒图像、商汤、旷视、云从科技等；机器视觉相关产品代理商超过200家，如广州嘉铭工业、微视图像等；系统集成商超过50家，如大恒图像、凌云光子等，产品涵盖从成像到视觉处理与控制整个产业链，总体上视觉应用呈现百花齐放的旺盛状态。

图2 2008—2018年中国机器视觉行业规模情况(来源于前瞻产业研究院)

然而，尽管目前我国机器视觉产业取得了飞速发展，但总体来说，大型跨国公司占据了行业价值链的顶端，拥有较为稳定的市场份额和利润水平；我国机器视觉公司规模较小，如作为中国机器视觉系统的最大供应商，大恒新纪元科技只占有1.4%的全球市场份额；与美国Cognex、日本Keyence等大企业相比，许多基础技术和器件，如图像传感器芯片、高端镜头等仍全部依赖进口，国内企业主要以产品代理、系统集成、设备制造、以及上层二次应用开发为主，底层开发商较少，产品创新性不强，处于中低端市场，利润水平偏低。

2 机器视觉组成与关键技术

一般来说，机器视觉系统包括光学照明、成像系统、视觉信息处理等关键组成部分[40]。

2.1 照明系统

照明系统的作用主要是将外部光以合适的方式照射到被测目标物体以突出图像的特定特征，并抑制外部干扰等，从而实现图像中目标与背景的最佳分离，提高系统检测精度与运行效率。由于影响照明系统的因素复杂多变，目前没有普适的机器视觉照明方案，往往需要针对具体的应用环境，并考虑待检测目标与背景的光反射与传输特性区别、距离等因素选择合适的光源类型、照射方式及光源颜色[41]来设计具体的照明方案，以达到目标与背景的最佳分割效果。

机器视觉光源主要包括卤素灯、荧光灯、氙灯、LED、激光、红外、X射线等。其中，卤素灯和氙灯具有宽的频谱范围和高能量，但属于热辐射光源，发热多，功耗相对较高；荧光灯属于气体放电光源，发热相对较低，调色范围较宽，而LED发光是半导体内部的电子迁移，产生的发光，属于固态电光源，发光过程不产生热，具有功耗低、寿命长、发热少、可以做成不同外形等优点，LED光源已成为了机器视觉的首选光源。而红外光源与X射线光源应用领域较为单一；各种光源性能对比见表1[41]。

表1 几种常用光源性能对比表

从光源形状角度分类，照明光源可分为条形、穹形、环形、同轴以及定制等光源。从光源照射方式上分，照明系统可分为明/暗场、前向、侧向、背向、结构光、多角度照射与频闪照明等[40,42]。其中，明场照明的光源位置较高，使得大部分光线反射后进入了相机；反之，暗场照明采用低角度照射方式使得光线反射后不能进入照相机，以提高对表面凹凸表现能力，暗场照明常用于光滑面板如手机壳、玻璃基片等表面划痕检查；背向照明是被测物置于光源和相机之间以获取较高对比度的图像，常用于分析物体的轮廓或透明物体内的异物[38]；多角度照射则采用不同角度光照方式，以提取三维信息，如电路板焊接缺陷检测往往采用多角度照射的AOI光源来提高成像质量[4]。而结构光照明是将激光或投影仪产生的光栅投射到被测物表面上，然后根据投影图案产生的畸变程度来重建出物体的三维信息。

此外，光源颜色会对图像对比度产生显著影响，一般来说，波长越短，穿透性就越强，反之则扩散性越好。因此光源选择需要考虑光源波长特性，如红色光源多用于半透明等物体检测，表2给出了不同颜色光源的特点对比及其应用场景[43-44]。如VRIESENGA等[45]利用控制光源的颜色来改善图像的对比度。同时，光源旋转需要考虑光源与物体的色相性，通过选择色环上相对应的互补颜色来提高目标与背景间的颜色对比度[41-42]，互补色环图如图3所示。因此，在实际应用中，需考虑光源与物体颜色相关性，选择合适的光源来过滤掉干扰，如对于某特定颜色的背景，常采用与背景颜色相近光源来提高背景的亮度，以改善图像对比度[43-44]。

表2 不同颜色光源的特点对比

图3 互补色环图[43]

2.2 成像系统

成像系统是机器人视觉感知系统中的“视”部分，采用镜头、工业相机与图像采集卡等相关设备获取被观测目标的高质量图像，并传送到专用图像处理系统进行处理。

镜头相当于人眼睛的晶状体，其作用是将来自目标的光辐射聚焦在相机芯片的光敏面阵上。镜头按照等效焦距可分为广角镜头、中焦距镜头、长焦距镜头；按功能可分为变焦距镜头、定焦距镜头、定光圈镜头等。镜头的质量直接影响到获取图像的清晰度、畸变程度等，若成像系统获取的图像信息存在严重损失，往往在后面的环节中难以恢复，因此合理选择镜头是机器视觉中成像光路设计的重要环节。

镜头选择时需要考虑镜头焦距、视野、工作距离、畸变[46]、杂散光抑制等因素，选取合适的焦距保证被摄物成像的具有合适的大小，并且成像畸变小。一般来说，镜头的焦距可依据如下公式确定

其中，放大倍数=传感器尺寸/视场大小。同时，由于受镜头表面镀膜的干涉与吸收特性影响，选择镜头时需要考虑到镜头最高分辨率的光线应与光源波长、相机光敏面阵接受波长相匹配，以保证光学镜头对光线具有较高的透过率。

工业相机是将光辐射转变成模拟/数字信号的设备，通常包括光电转换、外围电路、图像输出接口等部件。按数据传送的方式不同，相机可以分为CCD相机与CMOS相机2类，其中，CCD成像质量好，但制造工艺相对复杂，成本较高，而CMOS电源消耗量低，数据读取快。按照传感器的结构特性不同，工业相机可分为面阵式与线阵式2类。面阵相机可以一次获得整幅图像，测量图像直观，其应用面较广，但由于生产技术的制约，单个面阵很难满足工业连续成像的要求。线阵相机每次成像只能获得一行图像信息，因此需要保证被拍摄物体相对相机直线移动，逐次扫描获得完整的图像。线阵相机具有分辨率高等特点，常用于条状、筒状如布匹、钢板、纸张等检测。由于逐次扫描需要进行相对直线移动，成像系统复杂性和成本有所增加。

相机选择需要考虑光电转换器件模式、响应速度、视野范围、系统精度等因素。此外，由于工业设计的需求，当使用工业模拟相机时必须采用图像采集卡将采集的信号转换为数字图像进行传输存储。因此，图像采集卡需要与相机协调工作来实时完成图像数据的高速采集与读取等任务，针对不同类型的相机，有USB，PCI，PCI64，ISA等不同的总线形式的图像采集卡。

2.3 视觉信息处理

视觉信息处理充当了机器视觉的“大脑”部分，对相机采集的图像进行处理分析实现对特定目标的检测、分析与识别，并做出相应决策，是机器视觉系统的“觉”部分。视觉信息处理一般包括图像预处理、图像定位与分割、特征提取、模式分类、语义理解等层次[3]。

2.3.1 图像预处理

图像预处理部分主要借助相机标定、去噪、增强、配准与拼接、融合等操作来提高图像质量、降低后续处理难度。相机标定旨在求解相机的内参(焦距，畸变系数)和外参(旋转矩阵和平移向量)以提供物体表面某点的三维几何位置与其在图像中对应点之间精确坐标关系，标定精度高低直接影响到机器视觉定位的精度[47-48]。常用标定方法包括张正友标定法[49]、自标定法[48]等。同时，由于各种电磁等干扰，获取的图像常含有椒盐、高斯等多种噪声，对比度低，并存在运动模糊等现象，因此需要对图像去噪或结构增强以改善图像质量。其中，去噪方法一般可分为空间域与变换域去噪2大类[50]，而主流的图像增强方法包含直方图均衡化、图像锐化、视觉模型增强、运动模糊去除等方法。同时，由于视野范围限制、成像模式的不同，需要对生产线上不同位置获取的多模或同模态图像进行配准，再实现多幅图像拼接或融合处理。图像配准一般分为基于图像灰度的配准方法与基于图像特征的配准方法[51-52]。基于灰度的配准方法直接采用归一化的互相关、互信息等相似性度量函数来计算图像灰度值之间的相似性，并确定图像间的配准参数，此类方法简单、配准精度高，但对图像灰度变化、旋转、变形以及遮挡比较敏感，计算复杂度高、往往需要采用各种优化策略。基于特征的配准方法首先从图像提取各种点、线、区域等特征，然后进行空间约束或不变特征匹配得到特征间的匹配关系，进而估计出图像之间变换关系。此类方法计算速度快，但依赖特征的提取。由于在配准过程中，需要搜索多维空间，机器视觉系统常采用金字塔、小波方法以及各种优化策略来减小配准计算量。在图像配准的基础上，有些工业生产线需对多源图像进行融合，保证可以尽量地提取有用信息，并去除冗余或干扰信息，在较少的计算代价的前提下高效利用图像资源，并改善计算机解译精度和可靠性[53]。根据图像表征层次的不同，图像融合可分为像素级融合[54]、特征级融合和决策级融合[35,55-56]3个层次的融合，通过融合技术可以提高视觉目标检测的识别与抗干扰能力。

2.3.2 图像定位与分割

图像定位与分割主要利用目标边界、几何形状等先验特征或知识确定待检测目标的位置或从图像中分割出目标，是确定目标位置、大小、方向等信息的重要手段。

图像定位利用图像灰度或特征信息来确定图像中被检测物体的位置、大小及旋转角度等，主要采用模板匹配方法实现[57-58]，即通过计算模板图像(通常是被检测物体图像)和待搜索图像的相似性度量，然后寻找相似性度量值最大或最小对应的匹配位置即是目标位置。模板匹配具有速度快、定位精度高、简单等优点[59]，在视觉定位与引导中得到了广泛应用。由于需要给定待检测物体的图像，因此模板匹配定位方法只适用于背景简单、特征固定的物体，难以用于不规则形状物体的定位。

图像分割是根据目标及背景特性将图像划分为多个具有独特属性的非重叠区域，进而确定目标位置、区域大小。图像分割方法一般可以分为：

(1) 阈值分割方法。首先对图像像素灰度分布特性进行分析，然后采用先验知识或Otsu[60]等方法确定最优灰度阈值将图像分割2个或多个局部区域。该方法简单高效，适用于待检测目标与背景具有明显差异的情况。

(2) 区域分割方法。利用区域内图像特征(如颜色、纹理等)具有均匀性或相似性将像素集合起来实现图像分割，包括区域生长[61]、分裂合并、分水岭[62]等算法。此类方法能够处理较为复杂图像，但计算量大，而且种子点的选取与迭代终止条件的设定容易影响分割结果，甚至可能会破坏区域边界。

(3) 基于边缘的分割方法[63]。该方法利用不同图像区域在边界处有明显灰度跳变或不连续，找到目标区域的边缘来实现图像分割。由于不连续性常通过求导数来实现，因此该类方法适用于噪声比较小的图像，尤其是二阶微分算子对噪声十分敏感。

(4) 基于图的分割方法。借助图论的思想，将待分割图像转换为带权无向图，其中每一个像素即为图中的一个节点，将图像分割问题转化为图顶点的标注问题，再利用最小优化准则如图割[64]、随机游走[65]等实现图像的最佳分割[66]。该方法可以较好地分割图像，但计算复杂度高。

(5) 基于神经网络的语义分割方法[67]。模拟人类感知过程，采用如脉冲耦合神经网络等方法[68]来处理复杂的非线性问题。近年来，深度学习技术在图像语义分割领域得到了深入研究，提出了如FCN[69]，DeepLab[70]，Mask R-CNN[71]，U-Net[72]等分割算法，并在自动驾驶[71]、影像诊断[72]等领域得到应用。该类方法适应性较强，能够对被分割区域分配不同的标签，但存在学习过程复杂，计算量大等缺点。

2.3.3 图像特征提取

图像识别是先提取形状、面积、灰度、纹理等特征[73-74]，然后借助模式识别等方法如模式匹配[57]、支持向量机、深度学习[75]等来实现目标分类、缺陷检测等功能，满足工业机器视觉不同的应用需求。因此，图像特征提取很大程度上影响图像识别结果。

图像特征提取可看作为从图像中提取关键有用低维特征信息的过程，以使获取的低维特征向量能够有效的描述目标，并保证同类目标具有较小的类内距而不同类目标具有较大的类间距。高效的特征提取可提高后续目标识别精度与鲁棒性，降低计算复杂度。常用的二维图像特征包括有形状特征、纹理特征、颜色特征等。

(1) 纹理特征[76-77]。描述物体表面结构排列以及重复出现的局部模式，即物体表面的同质性，不依赖于颜色或亮度，具有局部性与全局性，对旋转与噪声不敏感。纹理特征提取方法包括有统计法如灰度共生矩阵[78]、局部二值模式(LBP)[79]、Gabor滤波器[80]、小波变换[81]等。

(2) 形状特征。根据仅提取轮廓或整个形状区域的不同，形状特征可细分为轮廓形状[82]与区域形状2类[83-84]。

轮廓形状是对目标区域的包围边界进行描述，其描述方法包括有边界特征法、简单几何特征、基于变换域(如傅里叶描述子[85]、小波描述子)、曲率尺度空间(CSS)[86]、霍夫变换[87]等方法。轮廓特征描述量小，但包含信息较多，能有效地减少计算量；但轮廓特征对于噪声和形变敏感，常难以提取完整的轮廓信息。

区域形状特征是针对目标轮廓所包围的区域中的所有像素灰度值或对应的梯度加以描述，主要有几何特征(如面积、质心、分散度等)、拓扑结构特征(如欧拉数[88])、矩特征(如Hu不变矩[89]、Zernike矩[90-91])、梯度分布特征(如HOG[92]、SIFT[93]等)。

(3) 颜色特征[94]。用于描述图像所对应景物的外观属性，是人类感知和区分不同物体的基本视觉特征之一，其颜色对图像平移、旋转与尺度变化具有较强的鲁棒性。颜色空间模型主要有HSV[94]，RGB，HSI，CHL，LAB，CMY等。常用的颜色特征的表征方法包括有颜色直方图[91,95]、颜色相关图[96]、颜色矩[97]、颜色聚合向量[98]等。

2.3.4 模式分类

模式分类本质上是通过构造一个多分类器，将从数据集中提取的图像特征映射到某一个给定的类别中，从而实现目标分类与识别。分类器的构造性能直接影响到其识别的整体效率，也是模式识别的研究核心。模式分类可分为统计模式识别、结构模式识别、神经网络以及深度学习等主要方法，对比情况见表3。

统计模式识别结合了统计概率的贝叶斯决策理论以对模式进行统计分类，其主要方法有贝叶斯[99]、Fisher分类器[100]、支持向量机[91]、Boosting[101]等，统计模式识别理论完善，并取得了不少应用成果，但很少利用模式本身的结构关系。结构模式识别(又称句法模式识别)首先将一个模式分解为多个较简单的子模式，分别识别子模式，最终利用模式与子模式分层结构的树状信息完成最终识别工作。结构模式识别理论最早用于汉字识别，能有效区分相似汉字，对字体变化的适应性强，但抗干扰能力差。因此，很多情况下往往同时结合统计模式和句法模式识别来解决具体问题。

神经网络是一种模仿动物神经网络进行分布式并行信息处理机理的数学模型，其通过调整内部大量节点之间相互连接关系来实现信息并行处理。目前神经网络又可进一步分为BP神经网络、Hopfield网络与ART网络等。神经网络具有很强的非自线性拟合，记忆以及自学习能力，学习规则简单，便于计算机实现。因此得到了广泛的应用[102-104]。但神经网络具有学习速度慢，容易陷入局部极值以及求解时会遇到梯度消失或者梯度爆炸等缺点。

2006年，HINTON和SALAKHUTDINOV[105]提出了一种基于无监督的深度置信网络，解决了深度神经网络训练的难题，掀起了深度学习的浪潮，先后涌现了包括稀疏自编码器[106]、受限玻尔兹曼机、卷积神经网络[107]、循环神经网络、深度生成式对抗网络[108]等模型。与传统的机器学习相比，深度学习提倡采用端到端的方式来解决问题，即直接将图像特征提取与模式分类集合在一起，然后根据具体的模式分类目标损失函数(如交叉熵损失、Hinge损失函数等)从数据中自动地学习到有效的特征[109]并实现模式分类，学习能力强。因此深度学习在在计算机视觉[110]、语音识别[111]、字符识别[112]、交通[113]、农业[6,114]、表面缺陷检测[75,115]等领域取得了巨大成功。深度学习也存在缺少完善的理论支持、模型正确性验证复杂且麻烦、需要大量训练样本、计算量大等问题。相信随着深度学习研究的不断深入，将为机器视觉带来更广阔的发展空间。

表3 常用模式分类方法对比表

2.3.5 图像语义理解

图像语义理解是在图像感知(如前述的预处理、分割检测、分类识别)的基础上，从行为认知以及语义等多个角度挖掘视觉数据中内涵的特征与模式，并对图像中目标或群体行为、目标关系等进行理解与表达，是机器理解视觉世界的终极目标，涉及到信号处理、计算机视觉、模式识别和认知科学等多个交叉学科，近年来已经成为计算机科学领域的研究热点[116-117]。

图像语义理解一般可分为自底向上的数据驱动方法和自顶向下的知识驱动方法[118]2种策略。数据驱动方法首先对图像颜色、纹理、形状等特征进行分析，采用多层逐步提取有用的语义信息，最终实现更接近于人类的抽象思维的图像表示，并利用语义网、逻辑表达、数学形态学等知识表达工具引入知识信息，消除图像解释的模糊性，实现图像语义理解。

而自顶向下的知识驱动方法通常建立抽象知识库的符号化和形式化表示，并构建基于先验知识的规则库，利用推理逻辑自动地对图像进行分类，这类方法尝试模拟人类的逻辑推理能力，具有较高抽象水平，属于高级的认知过程[119-120]。然而，由于图像语义理解依赖于对象的存在、属性及其与其他对象的关系，无论是底层特征的表征还是上层的语义句法描述都难以支撑跨越图像低层特征与高层场景语义之间的“语义鸿沟”，而图像场景语义理解必须解决低层视觉特征和高层场景语义之间的映射关系。

近几年来，随着深度学习的快速发展，图像语义理解问题也从传统经典算法过渡到基于深度神经网络训练的图像理解算法，希望通过深度学习将机器可以识别的图像低层特征与图像相匹配的文本、语音等语义数据进行联合训练，从而消除语义鸿沟，完成对图像高层语义的理解。目前语义理解研究工作主要集中在场景语义分割与分类[121-122]、场景评注[123]以及自然语言生成[124]等。如QI等[125]将时空注意机制和语义图建模相结合，提出了一种新的注意语义递归神经网络——stagNet来建模复杂时空语境信息和人与人之间的关系。ZITNICK等[126]提出了从简笔画集合中抽象出图像的语义信息的方法，建立了语义上重要的特征、词与视觉特征的关系以及测量语义相似度的方法；而如文献[124]提出了稠密描述模型来采用语言解释描述视频的含义。相比而言，场景评注以及自然语言生成研究仍处于起步阶段。

尽管视觉处理算法研究取得了巨大的进步，但面对检测对象多样、几何结构精密复杂、高速运动状态以及复杂多变的应用环境，现有的视觉处理算法仍然面临着极大地挑战。

2.4 机器视觉软件

国外研究学者较早地开展机器视觉算法的研究工作，并在此基础上开发了许多较为成熟的机器视觉软件，包括有OpenCV，HALCON，VisionPro，HexSight，EVision，SherLock，Matrox Imaging Library (MIL)等[3](表4)，这些软件具有界面友好、操作简单、扩展性好、与图像处理专用硬件兼容等优点，从而在机器视觉领域得到了广泛的应用。

OpenCV是美国Intel开发的开源免费图像处理库，主要应用于计算机视觉领域，开发成本较低，因此，很多企业如美国WillowGarage公司、德国Kithara公司支持基于OpenCV开发视觉处理软件。但其可靠性、执行效率、效果和性能不如商业化软件。HALCON[40]是德国MVTec公司开发的机器视觉算法包，支持多种语言集成开发环境，应用领域涵盖医学、遥感探测、监控以及工业应用，被公认是功能最强的机器视觉软件之一。HALCON图像处理库包括一千多个独立的函数，其函数库可以通过C/C++和Delphi等多种编程语言调用，同时支持百余种工业相机和图像采集卡包括GenlCam，GigE和IIDC1394，但价格比较贵。而HexSight是Adept公司开发的视觉软件开发包，可基于Visual Basic/C++或Dephi平台进行二次开发，在恶劣的工作环境下仍能提供高速、可靠及准确地视觉定位和零件检测。VisionPro是美国Cognex公司开发的机器视觉软件，可用于所有硬件平台，其中包括主流的FireWire和CameraLink等，利用ActiveX控制可快速完成视觉应用项目程序的原模型开发，可使用Visual Basic等多种开发环境搭建出更具个性化的应用程序。此外，还有加拿大Matrox公司的MIL，Dalsa公司的Sherlock软件和比利时Euresys公司的EVision等等，这些机器视觉软件都能提供较为完整的视觉处理功能。

表4 常用机器视觉分析软件对比表

相比而言，我国机器视觉软件系统发展较晚，国内公司主要代理国外同类产品，然后在此基础上提供机器视觉系统集成方案，目前国内机器视觉软件有深圳奥普特SciVision视觉开发包、北京凌云光VisionWARE视觉软件、陕西维视图像Visionbank机器视觉软件、深圳市精浦科技有限公司OpencvReal ViewBench (RVB)。其中，SciVision定制化开发应用能力比较强，在手机、电子等行业优势较大；VisionWARE在印刷品检测方面优势较大，在比较复杂条件下印刷品反光、拉丝等方面算法比较可靠，漏检率低；Visionbank部分测量和缺陷检测功能易上手，不需要任何编程基础，能非常简单快捷地检测出来，但印刷品字符识别能力一般。近年来，国内企业开始重视开发具有自主知识产权的算法包与解决方案，如北京旷视科技开发了一整套人脸检测、识别、分析等视觉技术，在此基础上，应用开发者可以将人脸识别技术轻松应用到互联网及移动等应用场景中。

总体而言，机器视觉技术综合了光学、机电一体化、图像处理、人工智能等方面的技术，其性能并不仅仅取决于某一个部件的性能，需要综合考虑系统中各部件间的协同能力。因此，系统分析、设计以及集成与优化是机器视觉系统开发的难点和基础，也是国内厂商有待加强的部分。

3 机器视觉技术应用

机器视觉最早应用于半导体及电子行业[37,127-128]，随着视觉检测、分割、生成等各类技术的不断完善，机器视觉下游应用领域也不断拓宽，机器视觉已经在军事[129]、农业[7]、制药[22]等领域得到广泛应用[130]。本文主要从4个典型应用场景来介绍机器视觉技术应用。

3.1 产品瑕疵检测

产品瑕疵检测是指利用相机、X光等视觉传感器将产品内外部的瑕疵进行成像，并通过视觉技术对获取的图像进行处理，确定有无瑕疵、瑕疵数量、位置和类型等，甚至对瑕疵产生的原因进行分析的一项技术。机器视觉能大幅减少人工评判的主观性差异，更加客观地、可靠地、高效地、智能地评价产品质量，同时提高生产效率和自动化程度，降低人工成本，而且机器视觉技术可以运用到一些危险环境和人工视觉难以满足要求的场合，因此，机器视觉技术在工业产品瑕疵检测中得到了大量的应用。

缺陷形态、位置、方向和大小等往往存在较大差异，使得瑕疵检测与评价成为一件复杂的任务[131]。产品瑕疵视觉检测一般涉及到图像预处理、瑕疵区域定位、瑕疵特征提取和分类等4个步骤。①需要对获取的产品图像进行图像降噪、对比度增强等预处理操作来滤除图像噪声、改善图像对比度等使目标区域的特征更加显著；②采用模板比对[57,127]或图像分割[132-135]等方法实现瑕疵区域检测与定位，并借助相机采集的图像空间信息与物体空间之间“精确映射”关系实现瑕疵区域面积或体积等测量[136-138]；③根据专业知识或经验提取表征缺陷的特征；④利用机器学习等相关算法实现瑕疵分类。如文献[127]首先在同一位置采集多幅标准PCB图像并计算其灰度平均值作为标准图像，将待测PCB图与其进行比对，计算出2幅图像的差异，再通过后续二值化等处理即可确定缺陷区域位置；在此基础之上，通过边界检测获取各个缺陷区域的像素值来识别缺陷类型。然而，由于工业应用中待检测对象形态多变，许多情况下很难找到“标准”图像作为参照，因此采用模板比对的方法往往难以确定出缺陷目标，此时常采用图像分割的方法实现缺陷区域定位。如文献[139]提出了一种基于正则化共面判别分析与支持向量机的家具表面死节缺陷分割算法，将输入图像进行分块，同时将块变换成列向量，所有列向量组成矩阵进行RCDA维数约减，对约减后的特征进行支持向量机训练与测试，得到图像块分类结果，最后将块分类矩阵变形成二值分割图，得到死节缺陷目标。

近年来，深度学习在产品瑕疵检测[75,115]得到了广泛的应用，如针对传统的方法仍然难以处理复杂多样的PCB。文献[75]提出了一种微小缺陷检测深度网络(TDD-Net)来提高PCB缺陷检测的性能，利用深度卷积网络固有的多尺度金字塔结构构造特征金字塔，最终能达到98.90%的平均检测率。文献[115]提出了一种基于深度学习的机器视觉像素级表面缺陷分割算法，首先采用轻量级全卷积网络(FCN)对缺陷区域进行像素级预测，并对预测出的缺陷区域作为第二阶段检测确认，纠正错误分割，最后利用引导滤波器对缺陷区域的轮廓进行细化，以反映真实的异常区域。

3.2 智能视频监控分析

智能视频监控分析是利用视觉技术对视频中的特定内容信息进行快速检索、查询、分析的技术，广泛地应用于交通管理[106,140]、安防、军事领域[129]、工地监控[141]等场合。

在智慧交通领域，视频监控分析主要用于提取道路交通参数[142-144]，以及对交通逆行、违法、抛锚、事故、路面抛洒物、人群聚集等异常交通事件的识别[106,140]，具有涉及到交通目标检测与跟踪、目标及事件识别等关键技术，如采用背景减除、YOLOV3[144]等方法检测车辆等交通目标，进而建立车辆行驶速度和车头时距等交通流特征参数的视觉测量模型，间接计算交通流量密度、车辆排队长度、道路占有率等影响交通流的重要道路交通参数，进而识别交通拥堵程度，并实现交通态势预测和红绿灯优化配置，从而缓解交通拥堵程度，提升城市运行效率。如文献[143]在综合分析交通信息采集技术、交通状态识别、交通状态演变研究现状的基础上，对干道交通状态识别及演变机理进行分析，采用深度学习方法提取交通参数，并基于LSTM循环神经网络与3D-CNN卷积神经网络等方法对交通状态进行预测，建立适用于精细化交通管控的城市道路交通状态识别及预测框架。钱皓寅和郑长江[145]提出一种基于事件特征来检测交通事件的监测系统，系统从图像序列中检测出车辆，并根据车辆移动方向、交通流和车辆加速度来实现交通事件检测。文献[140]提出了一种集合基于稀疏时空特征学习的自校正迭代硬阈值算法和基于加权极值学习机的目标检测的视觉交通事故检测方法。

此外，机器视觉技术可用于智慧城市中的安防监控与情报分析如人脸识别[146]、人群密度和不同方向人群流量的分析[147]等，智能研判与自动预警重点人员与车辆，实现基于视频数据的案件串并与动态人员的管控[148]。

3.3 自动驾驶及辅助驾驶

自动驾驶汽车是一种通过计算机实现无人驾驶的智能汽车，其依靠人工智能、机器视觉、雷达、监控装置和全球定位系统协同合作，让计算机可以在没有任何人类主动操作的情况下，自动安全地操作机动车辆。机器视觉的快速发展促进了自动驾驶技术的成熟，使无人驾驶在未来成为可能。自动驾驶技术主要包含环境感知、路径规划和控制决策3个关键部分，其中机器视觉技术主要用于环境感知部分[149]，具体包括有：

(1) 交通场景语义分割与理解。采用视觉技术提取交通场景图像中提取有用信息，并恢复场景的三维信息，进而确认目标、识别道路和判断故障，实现可行驶区域和目标障碍物等交通场景语义分割与理解[10,149-150]，包括有道路及车道线提取、深度估计等等。如文献[151]提出了一种基于双视图几何的可行驶道路重建算法；GUPTA和CHOUDHARY[152]提出了一种新的实时集成无监督学习框架，用于使用安装在移动车辆仪表板上的摄像机的实时反馈进行车道检测、跟踪和路面标记检测与识别。文献[121]提出了一种基于深度卷积神经网络的实时高性能城市街道场景鲁棒语义分割方法，实现了准确率和速度的良好折衷。

(2) 交通目标检测及跟踪。对交通场景中的交通标志与信号灯[11]、车辆与行人[9]、非机动车等交通参与者[153]进行视觉检测与跟踪，并估计各个目标的运动方向和速度[154]。如文献[153]针对驾驶环境中物体的大尺度变化、物体遮挡和恶劣光照等情况，提出了基于CNN的辅助驾驶视觉目标检测方法；文献[155]提出了一种基于立体视觉系统生成的U-V视差图的障碍物检测方法，利用V-视差图来提取道路特征，然后利用U-视差图来检测道路上的障碍物，消除了针孔成像的透视投影造成的缩短效应并大幅提高远处障碍物的检测精度，最后将U-V视差算法的检测结果放入一个上下文感知的快速RCNN中，该RCNN结合了内部特征和上下文特征，提高了小障碍物和遮挡物的识别精度。

(3) 同步定位和地图创建[156]。无人驾驶汽车在未知环境中或GPS无法持续定位的环境下，需要同时实现自身的准确定位以及所处环境的地图构建。同步定位和地图创建(simultaneous localization and mapping，SLAM)是指无人驾驶汽车利用内外部传感器对自身运动和周围环境进行感知，确定环境状况、自身位置、航向及速度等信息，同时创建环境地图或对地图进行实时更新，其是无人驾驶汽车的关键之一。SLAM主要涉及到定位、地图创建、以及数据关联问题。其中，定位主要是通过视觉、GPS、惯性导航等方式为路径规划和环境地图创建提供精确的位姿信息。数据关联则采用新特征检测、特征匹配与地图匹配等步骤实现观测量与地图特征之间匹配关系。文献[157]提出了一种基于对象包的视觉贝叶斯车辆位置识别算法来实现更快的和更鲁棒性的定位。赵鑫[158]针对未知环境下无人驾驶汽车同时定位与地图创建展开研究，在FastSLAM算法基础上引入自适应重采样技术和无迹卡尔曼滤波，提出了自适应重采样无迹卡尔曼滤波FastSLAM算法。

3.4 医疗影像诊断

随着人工智能、深度学习等技术的飞速发展，机器视觉集合人工智能等技术，逐渐应用到医疗影像诊断中，以辅助医生做出判断。机器视觉技术在医学疾病诊断方面的应用主要体现在2个方面[159]：

(1) 影像采集与感知应用。对采集的影像如X射线成像、显微图片、B超、CT、MRI等进行存储、增强、标记、分割以及三维重建处理。如何洪林等[160]在神经网络融合模型的基础上，建立3D人体模型数据库，在影像分析过程中直接从数据库选取相应部分对病灶进行替换，从而可快速地完成脑血管CT三维重建。文献[161]提出了一种利用卷积神经网络将MR脑图像自动分割成若干组织类的方法。该网络使用多个斑块大小和多个卷积核大小来获取每个体素的多尺度信息。该方法不依赖于显式特征，而是学习根据训练数据识别对分类重要的信息。

(2) 诊断与分析应用[162-164]。由于不同医生对于同一张图片的理解不同，通过大量的影像数据和诊断数据，借助人工智能算法实现病理解读，协助医生诊断，使医生可以了解到多种不同的病理可能性，提高诊断能力。如实现乳腺癌，肺部癌变的早期识别；根据器官组织的分布，预测出肿瘤扩散到不同部位的概率，并能从图片中获取癌变组织的形状、位置、浓度等等；以及通过MR图像，再现心脏血流量变化，并且探测心脏病变。如孟婷等[165]提出了一种增强卷积网络模型，通过训练一对互补的卷积神经网络，以优化病理图像诊断准确率。算法首先训练基本网络，来估计病理图像中各局部组织患病的概率，之后训练另一异构网络，对基本网络的判决结果进行修正，并在肾、肺、脾组织数据集与淋巴结癌症转移检测数据集上展开实验验证。

4 面临的挑战问题

尽管机器视觉取得巨大的进展，并得到广泛的应用，但还有许多的问题期待解决。

4.1 可靠性与准确性问题

机器视觉需要区分背景以实现目标的可靠定位与检测、跟踪与识别。然而，应用场景往往复杂多变，工业视觉上的算法存在适应性与准确性差等问题；为此，需要研究与选择性能最优的图像特征来抑制噪声的干扰，增强图像处理算法对普适性的要求，同时又不增加图像处理的难度。

4.2 图像处理速度问题

图像和视频具有数据量庞大、冗余信息多等特点，图像处理速度是影响视觉系统应用的主要瓶颈之一。因此要求视觉处理算法必须具有较快的计算速度，否则会导致系统明显的时滞，难以提高工业生产效率。因此，期待着高速的并行处理单元与图像处理算法的新突破来提高图像处理速度。

4.3 机器视觉产品通用性问题

目前工业机器视觉产品的通用性和智能性不够好，往往需要结合实际需求选择配套的专用硬件和软件，从而导致布局新的机器视觉系统开发成本过大与时间过长，这也为机器视觉技术在中小企业的应用带来一定的困难，因此加强设备的通用性至关重要。

4.4 多传感器融合问题

由于使用视野范围与成像模式的限制，单一视觉传感器往往无法获取高效的图像数据。多传感器融合可以有效地解决这个问题，通过融合不同传感器采集到的信息可以消除单传感器数据不确定性的问题，获得更加可靠、准确的结果。但实际应用场景存在数据海量、冗余信息多、特征空间维度高与问题对象的复杂性等问题，需要提高信息融合的速度，解决多传感器信息融合的问题是目前的关键。

5 发展趋势

随着智能制造产业的进一步升级，以及机器人技术、计算机算力与图像处理等相关理论的不断发展，机器视觉将会在工业生产、医疗和航天等领域发挥日益重要的作用，与此同时也涌现了一些新的发展趋势。

5.1 3D工业视觉将成为未来发展趋势

二维机器视觉系统将客观存在的3D空间压缩至二维空间，其性能容易受到环境光、零件颜色等因素的干扰，其可靠性逐渐无法满足现代工业检测的需求。随着3D传感器技术的成熟，3D机器视觉已逐步成为制造行业的未来发展趋势之一。未来，机器人可以透过3D视觉系统从任意放置的物体堆中识别物体的位置、方向以及场景深度等信息，并能自主地的调整方向来拾取物体，以提高生产率并减少此过程中的人机交互需求，产品瑕疵检测以及机器人视觉引导工作更加顺畅。预计到2022年3D成像与相关技术市场将达到90亿美元。

5.2 嵌入式视觉是未来趋势

嵌入式视觉系统具有简便灵活、低成本、可靠、易于集成等特点，小型化、集成化产品将成为实现“芯片上视觉系统”的重要方向。机器视觉行业将充分利用更精致小巧处理器如DSP，FPGA等来建立微型化的视觉系统，小型化、集成化产品成为实现“芯片上视觉系统”的重要方向，这些系统几乎可以植入任何地方，不再限于生产车间内，趋势表明，随着嵌入式微处理器功能增强，以及存储器集成度增加与成本降低，将由低端的应用覆盖到PC机架构应用领域，将有更多的嵌入式系统与机器视觉整合，嵌入式视觉系统前景广阔。

5.3 标准化的解决方案

机器视觉所集成的大量软硬件部件，是自动化生产过程的核心子系统，为降低开发周期与成本的需要，要求机器视觉相关产品尽可能采用标准化或模块化技术，用户可以根据应用需求实现快速二次开发，但现有机器视觉系统大多是专业系统。因此，软硬件标准化已经成为企业所追求的解决方案，视觉供应商在4~5年内应能逐步提出标准化的系统集成方案。

5.4 视觉产品智能化

由于视觉系统能产生海量的图像数据，随着深度学习、智能优化等相关人工智能技术的兴起，以及高性能图像处理芯片的出现，机器视觉融合AI成为未来的一大趋势，AI技术将使机器视觉具有超越现有解决方案的智能能力，更像人类一样自主感知环境与思考，从大量信息中找到关键特征，快速作出判断，如视觉引导机器人可根据环境自主决策运动路径、拾取姿态等以胜任更具有挑战性的应用。

6 结 论

当下机器视觉技术已渗透到工业生产、日常生活以及医疗健康当中，如工业生产线机器人准确抓取物体、无人商店、手术机器人靶区准确定位等等。机器视觉技术广泛应用极大地改善了人类生活现状，提高了生产力与自动化水平。随着人工智能技术的爆发与机器视觉的介入，自动化设备将朝着更智能、更快速的方向发展，同时机器视觉系统将更加可靠、高效地在各个领域中发挥作用。

机器视觉系统较为复杂，涉及到光学成像、图像处理、分析与识别、执行等多个组成，每个组成部分出现大量的方案与方法，这些方法各有优缺点和其适应范围，因此，如何选择合适的方案来保证系统在准确性、实时性和鲁棒性等方面性能最佳一直是研究者与应用企业努力与关注的方向。

[1] 冯旭, 宋明星, 倪笑宇, 等. 工业机器人发展综述[J]. 科技创新与应用, 2019, (24): 52-54. FENG X, SONG M X, NI X Y, et al. Overview of the development of industrial robots[J]. Technology Innovation and Application, 2019, (24): 52-54 (in Chinese).

[2] 朱虹. 机器视觉及其应用(系列讲座) 第三讲图像处理与分析-机器视觉的核心[J]. 应用光学, 2007, 28(1): 121-124. ZHU H. Machine vision and its applications (lecture series) lecture 3: image processing and analysis-the core of machine vision[J]. Journal of Applied Optics, 2007, 28(1): 121-124 (in Chinese).

[3] 汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J]. 中国图象图形学报, 2017, 22(12): 1640-1663. TANG B, KONG J Y, WU S Q. Review of surface defect detection based on machine vision[J]. Journal of Image and Graphics, 2017, 22(12): 1640-1663 (in Chinese).

[4] 卢荣胜, 吴昂, 张腾达, 等. 自动光学(视觉)检测技术及其在缺陷检测中的应用综述[J]. 光学学报, 2018, 38(8): 23-58. LU R S, WU A, ZHANG T D, et al. Review on automated optical (visual) inspection and its applications in defect detection[J]. Acta Optica Sinica, 2018, 38(8): 23-58 (in Chinese).

[5] 尹仕斌, 任永杰, 刘涛, 等. 机器视觉技术在现代汽车制造中的应用综述[J]. 光学学报, 2018, 38(8): 11-22. YIN S B, REN Y J, LIU T, et al. Review on application of machine vision in modern automobile manufacturing[J]. Acta Optica Sinica, 2018, 38(8): 11-22 (in Chinese).

[6] VITHU P, MOSES J A. Machine vision system for food grain quality evaluation: a review[J]. Trends in Food Science and Technology, 2016, 56: 13-20.

[7] 赵军, 田海韬. 利用机器视觉检测马铃薯外部品质方法综述[J]. 图学学报, 2017, 38(3): 382-387. ZHAO J, TIAN H T. The applications of potato external quality detection using machine vision[J]. Journal of Graphics, 2017, 38(3): 382-387 (in Chinese).

[8] MAMMARELLA M, CAMPA G, NAPOLITANO M R, et al. Machine vision/GPS integration using EKF for the UAV aerial refueling problem[J]. IEEE Transaction on System Man and Cybernetics, 2008, 38(6): 791-801.

[9] GERÓNIMO D, LÓPEZ A M, SAPPA A D, et al. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(7): 1239-1258.

[10] GEIGER A, LAUER M, WOJEK C, et al. 3D traffic scene understanding from movable platforms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 1012-1025.

[11] LU X, WANG Y N, ZHOU X Y, et al. Traffic sign recognition via multi-modal tree-structure embedded multi-task learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(4): 960-972.

[12] 黄少罗, 张建新, 卜昭锋. 机器视觉技术军事应用文献综述[J]. 兵工自动化, 2019, 38(2): 16-21. HUANG S L, ZHANG J X, BU Z F. Literature review of military applications of machine vision technology[J]. Ordnance Industry Automation, 2019, 38(2): 16-21 (in Chinese).

[13] 邹超, 汪秉文, 孙志刚. 基于机器视觉的织物疵点检测方法综述[J]. 天津工业大学学报, 2009, 28(2): 78-82, 85. ZOU C, WANG B W, SUN Z G . Survey on fabric defect detection based on machine vision[J]. Journal of Tianjin Polytechnic University, 2009, 28(2): 78-82, 85 (in Chinese).

[14] ZHENG D C, ZHANG Y P, HE Z K, et al. Study of assembly automation for strain gauge based on machine vision[C]//2013 5th International Conference on Intelligent Human-Machine Systems and Cybernetics. New York: IEEE Press, 2013: 401-405.

[15] SUN T H, TSENG C C, CHEN M S. Electric contracts inspection using machine vision[J]. Image and Vision Computing, 2010, 28(6): 890-901.

[16] 宋春华, 彭泫知. 机器视觉研究与发展综述[J]. 装备制造技术, 2019(6): 213-216. SONF C H, PENG X Z. A summary of the research and development of machine vision[J]. Equipment Manufacturing Technology, 2019 (6): 213-216 (in Chinese).

[17] ROBERTS L. Machine perception of 3-d solids[D]. Massachusetts: Massachusetts Institute of Technology. 1965.

[18] MARR D. Vision: a computational investigation into the human representation and processing of visual information[M]. Cambridge: the MIT Press, 2010: 1-5.

[19] 王艳. 机器视觉测量技术研究与应用[D]. 武汉: 华中师范大学, 2018. WANG Y. Research and application of machine vision measurement technology[D]. Wuhan: Central China Normal University, 2018 (in Chinese).

[20] 胡跃明, 杜娟, 吴忻生, 等. 基于视觉的高速高精度贴片机系统的程序实现[J]. 计算机集成制造系统, 2003, 9(9): 760-764. HU Y M, DU J, WU X S, et al. Program realization of high-speed and high-precision placement machine system based on vision[J]. Computer Integrated Manufacturing Systems, 2003, 9(9): 760-764 (in Chinese).

[21] 刘良江, 王耀南. 灰度直方图和支持向量机在磁环外观检测中的应用[J]. 仪器仪表学报, 2006, 27(8): 840-844. LIU L J WANG Y N. Ferrite core appearance inspection using gray histogram and support vector machine[J]. Chinese Journal of Scientific Instrument, 2006, 27(8): 840-844 (in Chinese).

[22] 张辉, 王耀南, 吴成中, 等. 高速医药自动化生产线大输液视觉检测与识别技术[J]. 控制理论与应用, 2014, 31(10): 1404-1413. ZHANG H, WANG Y N, WU C Z, et al. Visual detection and recognition for medical infusion automatic production lines[J]. Control Theory & Applications, 2014, 31(10): 1404-1413 (in Chinese).

[23] 张辉, 王耀南, 周博文, 等. 基于机器视觉的保健酒可见异物检测系统研究与开发[J]. 仪器仪表学报, 2009, 30(5): 973-979. ZHANG H, WANG Y N, ZHOU B W, et al. Development of healthy wine visible particle detection system based on machine vision[J]. Chinese Journal of Scientific Instrument, 2009, 30(5): 973-979 (in Chinese).

[24] DAVIES E R. The application of machine vision to food and agriculture: a review[J]. Imaging Science Journal, 2009, 57(4): 197-217.

[25] 王耀南, 陈铁健, 贺振东, 等. 智能制造装备视觉检测控制方法综述[J]. 控制理论与应用, 2015, 32(3): 273-286. WANG Y N, CHEN T J, HE Z D, et al. Review on the machine vision measurement and control technology for intelligent manufacturing equipment[J]. Control Theory & Applications, 2015, 32(3): 273-286 (in Chinese).

[26] FANG Z J, XIA L, CHEN G D, et al. Vision-based alignment control for grating tiling in petawatt-class laser system[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(6): 1628-1638.

[27] 段峰, 王耀南, 雷晓峰, 等. 机器视觉技术及其应用综述[J]. 自动化博览, 2002(3): 59-61. DUAN F, WANG Y N, LEI X F, et al. Machine vision technologies[J]. Automation Panorama, 2002(3): 59-61 (in Chinese).

[28] 凌云光技术集团. 中国机器视觉发展历程与展 望[EB/OL]. [2020-01-23]. http://www.lustervision.com/new-industry/jqsj20150442301.shtml. Lingyun Optical Technology Group. China machine vision development history and prospects[EB/OL]. [2015-04-23]. http://www.lustervision.com/new-industry/jqsj20150442301.shtml (in Chinese).

[29] LOH H H, LU M S. Printed circuit board inspection using image analysis[J]. IEEE Transactions on Industry Applications, 1999, 35(2): 426-432.

[30] QI S P, ZHANG H J, ZHOU H L, et al. Counting steel rods online using LQV neural network in real-time images[C]//2006 IEEE International Conference on Information Acquisition. New York: IEEE Press, 2006: 956-960.

[31] ZHANG H T, DUAN F J, DING K Q, et al. Study on on-line surface defect detection vision system for steel strip[J]. Chinese Journal of Sensors and Actuators, 2007(8): 1899-1902.

[32] 李勇, 周颖, 尚会超, 等. 基于机器视觉的坯布自动检测技术[J]. 纺织学报, 2007, 28(8): 124-128. LI Y, ZHOU Y, SHANG H C, et al. Automatic grey inspection technology based on machine vision[J]. Journal of Textile China, 2007, 28(8): 124-128 (in Chinese).

[33] KUMAR A. Computer-vision-based fabric defect detection: a survey[J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[34] 胡淑芬, 药林桃, 刘木华. 脐橙表面农药残留的计算机视觉检测方法研究[J]. 江西农业大学学报, 2007, 29(6): 1031-1034. HU S F, YAO L T, LIU M H. The pesticide leftover detection of navel orange using computer vision[J]. Acta Agriculturae Universitatis Jiangxiensis, 2007, 29(6): 1031-1034 (in Chinese).

[35] 黄辰, 费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报, 2017, 33(1): 285-291. HUANG C, FEI J Y. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(1): 285-291 (in Chinese).

[36] 赵相宾, 李亮玉, 夏长亮, 等. 激光视觉焊缝跟踪系统图像处理[J]. 焊接学报, 2006, 27(12): 42-44, 48. ZHAO X B, LI L Y, XIA C L, et al. Image processing of seam tracking system with laser vision[J]. Transactions Of The China Welding Institution, 2006, 27(12): 42-44, 48 (in Chinese).

[37] CUBERO S, ALEIXOS N, MOLTÓ E, et al. Advances in machine vision applications for automatic inspection and quality evalution of fruits and vegetables[J]. Food and Bioprocess Technology, 2011, 4(4): 487-504.

[38] 张辉, 王耀南, 周博文, 等. 医药大输液可见异物自动视觉检测方法及系统研究[J]. 电子测量与仪器学报, 2010, 24(2): 125-130. ZHANG H, WANG Y N, ZHOU B W, et al. Research on automatic visual inspection method and system for foreign substances in medicine transfusion liquid[J]. Journal of Electronic Measurement and Instrument, 2010, 24(2): 125-130 (in Chinese).

[39] 刘朝营, 许自成, 闫铁军. 机器视觉技术在烟草行业的应用状况[J]. 中国农业科技导报, 2011, 13(4): 79-84. LIU C Y, XU Z C, YAN T J. Application status of machine vision technology in tobacco Industry[J]. Journal of Agricultural Science and Technology, 2011, 13(4): 79-84 (in Chinese).

[40] STEGER C, ULRICH M, WIEDEMANN C. 机器视觉算法与应用(第2版)[M]. 杨少荣, 段德山, 张勇, 等译. 北京: 清华大学出版社, 2019: 1-5. STEGER C, ULRICH M, WIEDEMANN C. Machine vision algorithms and applications (2nd Edition)[M]. YANG S R, DUAN D S, ZHANG Y, et al translate. Beijing: Tsinghua University Press, 2019: 1-5 (in Chinese).

[41] 张巧芬, 高健. 机器视觉中照明技术的研究进展[J]. 照明工程学报, 2011, 22(2): 31-37. ZHANG Q F, GAO J. Research progress of lighting technology in machine vision[J]. Journal of Lighting Engineering, 2011, 22(2): 31-37 (in Chinese).

[42] 余文勇, 石绘. 机器视觉自动检测技术[M]. 北京: 化学工业出版社, 2013: 61-67. YU W Y, SHI H. Automatic detection technology of machine vision [M]. Beijing: Chemical Industry Press, 2013: 61-67 (in Chinese).

[43] Mr. Devin. 机器视觉中的光源选型及打光方案分 析[EB/OL]. [2019-12-25] https://blog.csdn.net/Integralfor Love/article/details/87911341. Mr. Devin. Light source selection and lighting scheme analysis in machine vision[EB/OL]. [2019-12-25] https://blog.csdn.net/IntegralforLove/article/details/87911341 (in Chinese).

[44] 陈朋波. 基于机器视觉的零件外形质量自动化检测系统的设计[D]. 桂林: 桂林电子科技大学, 2016. CHEN P B. Design of automatic inspection system for part shape quality based on machine vision [D]. Guilin: Guilin University of Electronic Technology, 2016 (in Chinese).

[45] VRIESENGA M, HEALEY G, PELEG K, et al. Controlling illumination color to enhance object discriminability[C]//1992 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1992: 710-712.

[46] 张云, 吴晓君, 马廷武, 等. 基于机器视觉的零件图像采集及识别的研究[J]. 电子工程师, 2006, 32(4): 29-31, 65. ZHANG Y, WU X J, MA T W, et al. A study on the collection & identification of component image based on the machine vision[J]. Electronic Engineer, 2006, 32(4): 29-31, 65 (in Chinese).

[47] 王国珲, 钱克矛. 线阵相机标定方法综述[J]. 光学学报, 2019, 40(1): 175-187. WANG G H, QIAN K M. Review on line-scan camera calibration methods[J]. Acta Optica Sinica, 2020, 40(1): 175-187 (in Chinese).

[48] WANG Y N, LU X, LING Z G, et al. A method to calibrate vehicle-mounted cameras under urban traffic scenes[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(6): 3270-3279.

[49] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[50] RAJNI, ANUTAM. Image denoising techniques-an overview[J]. International Journal of Computer Applications, 2014, 86(16): 13-17.

[51] SOTIRAS A, DAVATZIKOS C, PARAGIOS N. Deformable medical image registration: a survey[J]. IEEE Transactions on Medical Imaging, 2013, 32(7): 1153-1190.

[52] ZITOVÁ B, FLUSSER J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[53] DU P J, LIU S C, GAMBA P, et al. Fusion of difference images for change detection over urban areas[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(4): 1076-1086.

[54] LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112.

[55] 田冉, 陈梅香, 董大明, 等. 红外传感器与机器视觉融合的果树害虫识别及计数方法[J]. 农业工程学报, 2016, 32(20): 195-201. TIAN R, CHEN M X, DONG D M, et al. Identification and counting method of orchard pests based on fusion method of infrared sensor and machine vision[J]. Journal of Agricultural Engineering, 2016, 32(20): 195-201 (in Chinese).

[56] 毛罕平, 李明喜. 基于多源机器视觉信息融合的番茄目标匹配[J]. 农业工程学报, 2009, 25(10): 142-147. MAO H P, LI M X. Tomato target matching based on multi-source machine vision information fusion[J]. Journal of Agricultural Engineering, 2009, 25(10): 142-147 (in Chinese).

[57] ZHOU X E, WANG Y N, XIAO C Y, et al. Automated visual inspection of glass bottle bottom with saliency detection and template matching[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(11): 4253-4267.

[58] PARAL P, CHATTERJEE A, RAKSHIT A. OPTICS-based template matching for vision sensor-based shoe detection in human–robot coexisting environments[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(11): 4276-4284.

[59] YANG H, ZHENG S J, LU J, et al. Polygon-invariant generalized Hough transform for high-speed vision-based positioning[J]. IEEE Transactions on Automation Science and Engineering, 2016, 13(3): 1367-1384.

[60] YUAN X C, WU L S, PENG Q J. An improved Otsu method using the weighted object variance for defect detection[J]. Applied Surface Science, 2015, 349: 472-484.

[61] ZHU L J, GAO Y, YEZZI A, et al. Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior[J]. IEEE Transactions on Image Processing, 2013, 22(12): 5111-5122.

[62] YANG X D, LI H Q, ZHOU X B. Nuclei segmentation using marker-controlled watershed, tracking using mean-shift, and kalman filter in time-lapse microscopy[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2006, 53(11): 2405-2414.

[63] FERRARI V, FEVRIER L, JURIE F, et al. Groups of adjacent contour segments for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(1): 36-51.

[64] LIU S, ZHANG Z, XIAO B H, et al. Ground-based cloud detection using automatic graph cut[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(6): 1342-1346.

[65] GOPALAKRISHNAN V, HU Y Q, RAJAN D. Random walks on graphs for salient object detection in images[J]. IEEE Transactions on Image Processing, 2010, 19(12): 3232-3242.

[66] 姜枫, 顾庆, 郝慧珍, 等. 基于内容的图像分割方法综述[J]. 软件学报, 2017, 28(1): 160-183. JIANG F, GU Q, HAO H Z, et al. Survey on content-based image segmentation methods[J]. Journal of Software, 2017, 28(1): 160-183 (in Chinese).

[67] GIRSHICK R, DONAHUE J, DARRELL T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1): 142-158.

[68] 徐亚静, 温长吉, 王增辉. 基于改进遗传脉冲耦合神经网络的玉米病害图像分割方法[J]. 吉林农业大学学报, 2013, 35(4): 496-500. XU Y J, WEN C J, WANG Z H. Image segmentation method for corn diseases based on improved genetic pulse coupled neural network[J]. Journal of Jilin Agricultural University, 2013, 35(4): 496-500 (in Chinese).

[69] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 3431-3440.

[70] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[71] HE K M, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.

[72] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//2015 International Conference on Medical Image Computing and Computer-Assisted Intervention(MICCAI). Heidelberg: Springer, 2015: 234-241.

[73] ANNABY M H, FOUDA Y M, RUSHDI M A. Improved normalized cross-correlation for defect detection in printed-circuit boards[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 199-211.

[74] 郭智杰, 王明泉, 张俊生, 等. 基于机器视觉的轮毂在线识别分类技术研究[J]. 测试技术学报, 2019, 33(3): 233-237. GUO Z J, WANG M Q, ZHANG J S, et al. The research on online recogition and classification technology of wheel hub based on machine vision[J]. Journal of Test and Measurement Technology, 2019, 33(3): 233-237 (in Chinese).

[75] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[76] HU Y T, LONG Z L, ALREGIB G. A high-speed, real-time vision system for texture tracking and thread counting[J]. IEEE Signal Processing Letters, 2018, 25(6): 758-762.

[77] KONG L F, SHEN J, HU Z L, et al. Detection of water-stains defects in TFT-LCD based on machine vision[C]//2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). New York: IEEE Press, 2018: 1-5.

[78] SHEN X J, SHI Z N, CHEN H P. Splicing image forgery detection using textural features based on the grey level co-occurrence matrices[J]. IET Image Processing, 2017, 11(1): 44-53.

[79] LUO Q W, FANG X X, SUN Y C, et al. Surface defect classification for hot-rolled steel strips by selectively dominant local binary patterns[J]. IEEE Access, 2019, 7: 23488-23499.

[80] FANG L Y, LI S T. Face recognition by exploiting local gabor features with multitask adaptive sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(10): 2605-2615.

[81] YANG X, PANG G, YUNG N. Robust fabric defect detection and classification using multiple adaptive wavelets[J]. IEE Proceedings - Vision, Image and Signal Processing, 2005, 152(6): 715-723.

[82] FERRARI V, FEVRIER L, JURIE F, et al. Groups of adjacent contour segments for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(1): 36-51.

[83] VAIKUNDAM S, HUNG T Y, CHIA L T. Anomaly region detection and localization in metal surface inspection[C]//2016 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2016: 759-763.

[84] YANG H, SONG K Y, MEI S, et al. An accurate mura defect vision inspection method using outlier-prejudging-based image background construction and region-gradient-based level set[J]. IEEE Transactions on Automation Science and Engineering, 2018, 15(4): 1704-1721.

[85] FAN H H, ZHU H J. Separation of vehicle detection area using fourier descriptor under internet of things monitoring[J]. IEEE Access, 2018, 6: 47600-47609.

[86] JAMKHANDIKAR D, MYTRI V D. CSS based trademark retrieval system[C]//2014 International Conference on Electronic Systems, Signal Processing and Computing Technologies. New York: IEEE Press, 2014: 129-133.

[87] CHANG W, LEE S Y. Description of shape patterns using circular arcs for object detection[J]. IET Computer Vision, 2013, 7(2): 90-104.

[88] PAL M, BHATTACHARYYA S, SARKAR T. Euler number based feature extraction technique for gender discrimination from offline Hindi signature using SVM & BPNN classifier[C]//2018 Emerging Trends in Electronic Devices and Computational Techniques(EDCT). New York: IEEE Press, 2018: 1-6.

[89] ZHANG L, XIANG F, PU J X, et al. Application of improved HU moments in object recognition[C]//2012 IEEE International Conference on Automation and Logistics. New York: IEEE Press, 2012: 554-558.

[90] GISHKORI S, MULGREW B. Pseudo-zernike moments based sparse representations for SAR image classification[J]. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(2): 1037-1044.

[91] RECCE M, TAYLOR J, PIEBE A, et al. High speed vision-based quality grading of oranges[C]// International Workshop on Neural Networks for Identification, Control, Robotics and Signal/Image Processing. New York: IEEE Press, 1996: 136-144.

[92] DING S M, LIU Z F, LI C L. AdaBoost learning for fabric defect detection based on HOG and SVM[C]//2011 International Conference on Multimedia Technology. New York: IEEE Press, 2011: 2903-2906.

[93] BOHLOOL M, TAGHANAKI S R. Cost-efficient automated visual inspection system for small manufacturing industries based on SIFT[C]//2008 23rd International Conference Image and Vision Computing. New York: IEEE Press, 2008: 1-6.

[94] LI J W, LIAO G P, XIAO F. Rapeseed seeds colour recognition by machine vision[C]//2008 27th Chinese Control Conference. New York: IEEE Press, 2008: 146-149.

[95] REDFIELD S, HARRIS J G. The role of massive color quantization in object recognition[C]//2000 International Conference on Image Processing. New York: IEEE Press, 2000: 57-60.

[96] CHIRANJEEVI P, SENGUPTA S. Detection of moving objects using multi-channel kernel fuzzy correlogram based background subtraction[J]. IEEE Transactions on Cybernetics, 2014, 44(6): 870-881.

[97] ENDAH S N, WIBAWA H A, KUSUMANINGRUM R. Skin detection based on local representation of YCbCr color moment[C]//2017 1st International Conference on Informatics and Computational Sciences (ICICoS). New York: IEEE Press, 2017: 65-70.

[98] LI Y B, LIU M J. Aerial image classification using color coherence vectors and rotation & uniform invariant LBP descriptors[C]//IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC). New York: IEEE Press, 2018: 653-656.

[99] MOTTALIB M M, ROKONUZZAMAN M, HABIB M T, et al. Fabric defect classification with geometric features using Bayesian classifier[C]//2015 International Conference on Advances in Electrical Engineering (ICAEE). New York: IEEE Press, 2015: 137-140.

[100]XIANG C, FAN X A, LEE T H. Face recognition using recursive Fisher linear discriminant[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2097-2105.

[101]OPELTt A, PINZ A, FUSSENEGGER M, et al. Generic object recognition with boosting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(3): 416-431.

[102]庄涛, 张军, 李志鹏, 等. 人工神经网络在金属餐具缺陷检测中的应用[J]. 天津职业技术师范大学学报, 2018, 28(4): 28-31. ZHUANG T, ZHANG J, LI Z P, et al. Application of artificial neural network in the defect detection of metal tableware[J]. Journal of Tianjing University of Technology and Education, 2018, 28(4): 28-31 (in Chinese).

[103]周凌翱. 改进BP神经网络在模式识别中的应用及研究[D]. 南京: 南京理工大学, 2010. ZHOU L G. Application and research of improved BP neural network in pattern recognition[D]. Nanjing: Nanjing University of Science and Technology, 2010 (in Chinese).

[104]李杨. 基于机器视觉和人工神经网络的微小轴承表面缺陷识别及检测技术研究[D]. 长春: 吉林大学, 2008. LI Y. Research on surface defect recognition and detection technology of tiny bearings based on machine vision and artificial neural network[D]. Changchun: Jilin University, 2008 (in Chinese).

[105]HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science. 2006, 313(5786): 504-507.

[106]SINGH D, MOHAN C K. Deep spatio-temporal representation for detection of road accidents using stacked autoencoder[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(3): 879-887.

[107]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2012, 60(6): 84-90.

[108]GOODFELLOW I J, POUGET-ABADIE J, MIRZA M et al. Generative adversarial nets[C]//27th International Conference on Neural Information Processing Systems (NIPS’14). Cambridge: MIT Press, 2014: 2672-2680.

[109]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[110]HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[111]ABDEL-HAMID O, MOHAMED A, JIANG H, et al. Convolutional neural networks for speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(10): 1533-1545.

[112]ZHANG X Y, YIN F, ZHANG Y M, et al. Drawing and recognizing chinese characters with recurrent neural network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 849-862.

[113]TAN M, WANG B Y, WU Z H, et al. Weakly supervised metric learning for traffic sign recognition in a LIDAR-equipped vehicle[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(5): 1415-1427.

[114]CHEN S W, SHIVAKUMAR S S, DCUNHA S, et al. Counting apples and oranges with deep learning: a data-driven approach[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 781-788.

[115]QIU L T, WU X J, YU Z Y. A high-efficiency fully convolutional networks for pixel-wise surface defect detection[J]. IEEE Access, 2019, 7: 15884-15893.

[116]朱蓉. 基于语义信息的图像理解关键问题研究[J]. 计算机应用研究, 2009, 26(4): 1234-1240. ZHU R. Research on key problems of image understanding based on semantic information[J]. Application Research of Computers, 2009, 26(4): 1234-1240 (in Chinese).

[117]PAWAR P G, DEVENDRAN V. Scene understanding: a survey to see the world at a single glance[C]//2019 2nd International Conference on Intelligent Communication and Computational Techniques (ICCT). New York: IEEE Press, 2019: 182-186.

[118]DATTA R, JOSHI D, LI J, et al. Image retrieval: ideas, influences, and trends of the new age[J]. ACM Computing Surveys, 2008, 40: 5-60.

[119]YE Z P, LIU P, ZHAO W. A survey of knowledge hierarchies for image analysis[J]. Smart Computing Review, 2015, 5(3): 224-237.

[120]FERNÁNDEZ-LÓPEZ D, CABIDO R, SIERRA-ALONSO A, et al. A knowledge-based component library for high-level computer vision tasks[J]. Knowledge-Based Systems, 2014, 70: 407-419.

[121]DONG G S, YAN Y, SHEN C H, et al. Real-time high-performance semantic image segmentation of urban street scenes[EB/OL]. [2020-01-19]. https://ieeexplore.ieee.org/document/9042876/similar#similar.

[122]WANG Q, GAO J Y, YUAN Y. A joint convolutional neural networks and context transfer for street scenes labeling[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(5): 1457-1470.

[123]LI S, TAO Z Q, LI K, et al. Visual to text: survey of image and video captioning[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2019, 3(4): 297-312.

[124]KRISHNA R, HATA K, REN F, et al. Dense-captioning events in videos[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 706-715.

[125]QI M S, WANG Y H, QIN J, et al. StagNet: an attentive semantic RNN for group activity and individual action recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(2): 549-565.

[126]ZITNICK C L, VEDANTAM R, PARIKH D. Adopting abstract images for semantic scene understanding[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(4): 627-638.

[127]杨庆华, 陈亮, 荀一, 等. 基于机器视觉的PCB裸板缺陷自动检测方法[J]. 中国机械工程, 2012, 23(22): 2661-2666. YANG Q H, CHEN L, XUN Y, et al. Automatic defect inspection of PCB bare board based on machine vision[J]. China Mechanical Engineering, 2012, 23(22): 2661-2666 (in Chinese).

[128]YEN H N, SIE Y H. Machine vision system for surface defect inspection of printed silicon solar cell[C]//The 1st IEEE Global Conference on Consumer Electronics(GCCE). New York: IEEE Press, 2012: 422-424.

[129]WILLAMSON W R, GLENN G J, DANG V T, et al. Sensor fusion applied to autonomous aerial refueling[J]. Journal of Guidance, Control and Dynamics, 2009, 32(1): 262-275.

[130]SCHLAKE B E, EDWARDS J R, HART J M, et al. Automated inspection of railcar underbody structural components using machine vision technology[C]//Transportation Research Board 88th Annual Meeting. New York: IEEE Press, 2009: 1-7.

[131]SASSI P, TRIPICCHIO P, AVIZZANO C A. A smart monitoring system for automatic welding defect detection[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9641-9650.

[132]GUAN M, ZHONG Z Z, RUI Y N. Automatic defect segmentation for plain woven fabric images[C]//2019 International Conference on Communications, Information System and Computer Engineering (CISCE). New York: IEEE Press, 2019: 465-468.

[133]RIAZ F R, KAMAL K, ZAFAR T, et al. An inspection approach for casting defects detection using image segmentation[C]//2017 International Conference on Mechanical, System and Control Engineering (ICMSC), New York: IEEE Press, 2017: 101-105.

[134]LU R W, YIN D. Component surface defect detection based on image segmentation method[C]//Chinese Control and Decision Conference (CCDC), New York: IEEE Press, 2016: 5093-5096.

[135]ANNABY M H, FOUDA Y M, RUSHDI M A. Improved normalized cross-ccorrelation for defect detection in printed-circuit boards[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 199-211.

[136]ZHONG J F, ZHONG S C, ZHANG Q K, et al. Vision-based measurement system for instantaneous rotational speed monitoring using linearly varying-density fringe pattern[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(6): 1434-1445.

[137]SCHNEIDER D, GLOY Y S, MERHOF D. Vision-based on-loom measurement of yarn densities in woven fabrics[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(4): 1063-1074.

[138]TSIAKMAKIS K, BRUFAU-PENELLA J, PUIG-VIDAL M, et al. A camera based method for the measurement of motion parameters of IPMC actuators[J]. IEEE Transactions on Instrumentation and Measurement, 2009, 58(8): 2626-2633.

[139]周宇, 周仲凯, 于音什, 等. 基于RCDA的家具表面死节缺陷图像分割[J]. 林业机械与木工设备, 2019, 47(8): 8-11. ZHOU Y, ZHOU Z K, YU Y S, et al. Furniture surface dead knot defect image segmentation based on RCDA[J]. Forestry Machinery & Woodworking Equipment, 2019, 47(8): 8-11 (in Chinese).

[140]YU Y L, XU M X, GU J. Vision-based traffic accident detection using sparse spatio-temporal features and weighted extreme learning machine[J]. IET Intelligent Transport Systems, 2019, 13(9): 1417-1428.

[141]孙宇飞, 顾书玉, 李宾皑, 等. 基于深度神经网络的基建视频智能分析系统[J]. 电力信息与通信技术, 2020, 18(2): 69-74. SUN Y F, GU S Y, LI B A, et al. Infrastructure video intelligent analysis system based on deep neural network[J]. Electric Power Information and Communication Technology, 2020, 18(2): 69-74 (in Chinese).

[142]王翔, 肖建力. 基于视频的交通参数检测综述[J]. 上海理工大学学报, 2016, 37(5): 479-486. WANG X, XIAO J L. Overview of video-based traffic parameters detection[J]. Journal of Shanghai University of Technology, 2016, 38(5): 479-486 (in Chinese).

[143]唐聚, 彭博, 蔡晓禹, 等. 干道交通状态识别及演变机理研究[J]. 公路与汽运, 2020 (2): 36-41. TANG J, PENG B, CAI X Y, et al. Research on the recognition and evolution mechanism of main road traffic state[J]. Highway and Automobile Transportation, 2020(2): 36-41 (in Chinese).

[144]ZHANG H B, QIN L F, LI J, et al. Real-time detection method for small traffic signs based on Yolov3[J]. IEEE Access, 2020, 8: 64145-64156.

[145]钱皓寅, 郑长江. 城市道路交叉口自动事件监测系统[J]. 大连交通大学学报, 2012, 33(6): 53-56. QIAN H Y, ZHENG C J. Vision-based automatic incident detection system using image sequences for intersections[J]. Journal of Dalian Jiaotong University, 2012, 33(6): 53-56 (in Chinese).

[146]HU W P, HU H F. Disentangled spectrum variations networks for NIR–VIS face recognition[J]. IEEE Transactions on Multimedia, 2020, 22(5): 1234-1248.

[147]GRANT J M, FLYNN P J. Crowd scene understanding from video: a survey[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2017, 13(2): 1-23.

[148]王志国, 章毓晋. 监控视频异常检测: 综述[J]. 清华大学学报: 自然科学版, 2020, 60(6): 518-529. WANG Z G, ZHANG Y J. Surveillance video anomaly detection: a review[J]. Journal of Tsinghua University: Natural Science Edition, 2020, 60(6): 518-529 (in Chinese).

[149]ZHU H, YUEN K V, MIHAYLOVA L, LEUNG H. Overview of environment perception for intelligent vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(10): 2584-2601.

[150]DENG L Y, YANG M, HU B, et al. Semantic segmentation-based lane-level localization using around view monitoring system[J]. IEEE Sensors Journal, 2019, 19(21): 10077-10086.

[151]JIA B X, CHEN J, ZHANG K X. Drivable road reconstruction for intelligent vehicles based on two-view geometry[J]. IEEE Transactions on Industrial Electronics, 2017, 64(5): 3696-3706.

[152]GUPTA A, CHOUDHARY A. A framework for camera-based real-time lane and road surface marking detection and recognition[J]. IEEE Transactions on Intelligent Vehicles, 2018, 3(4): 476-485.

[153]WEI J, HE J H, ZHOU Y, et al. Enhanced object detection with deep convolutional neural networks for advanced driving assistance[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(4): 1572-1583.

[154]SIVARAMAN S, TRIVEDI M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(4): 1773-1795.

[155]LENG J X, LIU Y, DU D W, et al. Robust obstacle detection and recognition for driver assistance systems[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(4): 1560-1571.

[156]LATEGAHN H, STILLER C. Vision-only localization[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(3): 1246-1257.

[157]WANG X L, HU Z Z, TAO Q W, et al. Bayesian place recognition based on bag of objects for intelligent vehicle localisation[J]. IET Intelligent Transport Systems, 2019, 13(11): 1736-1744.

[158]赵鑫. 未知环境下无人驾驶汽车同时定位与地图创建研究[D]. 成都: 西南交通大学, 2017. ZHAO X. Research on the simultaneous positioning and map creation of driverless cars in an unknown environment [D]. Chengdu: Southwest Jiaotong University, 2017 (in Chinese).

[159]YU Z, JIANG X D, ZHOU F, et al. Melanoma recognition in dermoscopy images via aggregated deep convolutional features[J]. IEEE Transactions on Biomedical Engineering, 2019, 66(4): 1006-1016.

[160]何洪林, 谢峻, 李毅, 等. 基于裸眼3D视觉效果的脑血管CT图像快速三维重建方法研究[J]. 医疗卫生装备, 2015, 36(9): 24-26, 46. HE H L, XIE J, LI Y, et al. Rapid 3D reconstruction based on wiggle stereoscopy for cerebrovascular CT images[J]. Chinese Medical Equipment Journal, 2015, 36(9): 24-26, 46 (in Chinese).

[161]MOESKOPS P, VIERGEVER M A, MENDRIK A M, et al. Automatic segmentation of MR brain images with a convolutional neural network[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1252-1261.

[162]SHIN H C, ROTH H R, GAO M C, et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1285-1298.

[163]陈诗慧, 刘维湘, 秦璟, 等. 基于深度学习和医学图像的癌症计算机辅助诊断研究进展[J]. 生物医学工程学杂志, 2017, 34(2): 314-319. CHEN S H, LIU W X, QIN J, et al. Research progress of computer-aided diagnosis in cancer based on deep learning and medical imaging[J]. Journal of Biomedical Engineering, 2017, 34(2): 314-319 (in Chinese).

[164]郑光远, 刘峡壁, 韩光辉. 医学影像计算机辅助检测与诊断系统综述[J]. 软件学报, 2018, 29(5): 1471-1514. ZHENG G Y, LIU X B, HAN G H. Survey on medical image computer aided detection and diagnosis systems[J]. Journal of Software, 2018, 29(5): 1471-1514 (in Chinese).

[165]孟婷, 刘宇航, 张凯昱. 一种基于增强卷积神经网络的病理图像诊断算法[J]. 激光与光电子学进展, 2019, 56(8): 91-97. MENG T, LIU Y H, ZHANG K Y. Algorithm for pathological image diagnosis based on boosting convolutional neural network [J]. Laser & Optoelectronics Progress, 2019, 56(8): 91-97 (in Chinese).

Research progress and prospect of machine vision technology

ZHU Yun, LING Zhi-gang, ZHANG Yu-qiang

(National Engineering Laboratory for Robot Visual Perception and Control Technology, College of Electrical and Information Engineering, Hunan University, Changsha Hunan 410082, China)

Developed from the engineering of computer vision theory, machine vision involves such technologies as optical imaging, visual information processing, artificial intelligence, and mechatronics. With the transformation and upgrading of China’s manufacturing industry and development of relevant research, the machine vision technology, with the advantages of high precision, real-time performance, high-level automation and intelligence, has become one of the most significant driving forces for enhancing the intelligence of robots, thus being widely applied in modern industrial, agricultural, and military fields. In order to provide some guidance for researchers and engineers, this paper summarized an abundance of literature on machine vision technology, of which the research, development, and application in the recent decade were analyzed. Firstly, the development and current situation of machine vision around the world was introduced. Secondly, explorations were made on the key components of machine vision system including lighting, optical lenses, and cameras, vision processing algorithms including image preprocessing, image visual position, and segmentation, and the mainstream industrial software of machine vision. Thirdly, four typical applications of machine vision technology were presented, including production defect detection, intelligent visual surveillance, autopilot and assisted driving, and medical imaging diagnosis. Finally, the current challenges faced by machine vision were analyzed, with the future trends of machine vision predicted. Thus, this paper will play an active role in the development and application promotion of machine vision science and technology.

machine vision; imaging system; visual processing algorithms; vision softeware; challenges and development trends

TP 242.2

10.11996/JG.j.2095-302X.2020060871

A

2095-302X(2020)06-0871-20

2020-04-09；

2020-08-06

9 April，2020；

6 August，2020

国家自然科学基金项目(61432004，61672202，61971183)；电子制造业智能机器人技术湖南省重点实验室项目(IRT2018006)

National Natural Science Foundation of China (61432004, 61672202, 61971183); Hunan Key Laboratory of Intelligent Robot Technology in Electronic Manufacturing (IRT2018006)

朱 云(1977–)，男，云南华宁人，副教授，博士。主要研究方向为机器视觉、研发管理等。E-mail：zhuyun@hnu.edu.cn

ZHU Yun (1977-), male, assistant professor, Ph.D. His main research interests cover machine vision and research and development management. E-mail：zhuyun@hnu.edu.cn