马铃薯动态分级系统中多目相机同步采集方法

汤全武，何昊瀚，杨 燕，朱 赫，郭锦程，张天维

(宁夏大学物理与电子电气工程学院，宁夏 银川 750021)

0 引言

我国马铃薯种植面积和产量均居世界首位，但目前马铃薯品质检测及分级多处于人工主观筛选阶段，无法满足工业生产需要。因此，研究提出了基于高光谱成像技术的马铃薯自动分级系统，采用高光谱获取包含马铃薯信息的多幅图像，利用光谱图像处理技术实现马铃薯的快速无损分级[1-3]。在前人工作基础上，需研究基于多目视觉实现马铃薯动态分级的新方法。由于马铃薯在检测过程中一直处于运动状态，因此研究的关键前提是保证多部相机能够连续同步地采集到马铃薯的外部图像。

相机同步采集是指在外部时序的控制下实现多相机的同步曝光[4-6]。温小艳等[6]设计了基于FPGA的双目视觉同步采集系统，解决了手术导航系统中的两相机不同步问题。林冬梅等[7]采用千兆以太网作为传输总线接口，搭建了双相机图像实时采集系统。马强等[8]设计了一种基于PCI总线接口的设计方法。姜广文等[9]设计了一种多相机外触发的方式，采用USB 2.0接口传输图像数据，相机在同步控制软件作用下，实现多个相机同步采集处理系统。也有不少研究者采用GPS授时同步电路控制相机同步曝光，并且达到了微秒级别的精度[10-11]。但上述研究方法均存在一定的局限性，如基于FPGA的同步策略需要较长的开发周期；采用PCI、USB等传输方式速度较慢，且限制因素较多；基于GPS授时的同步策略精度较高，但易受到现场环境干扰。

本文采用3个CCD相机为基本采集单元，以STM32F103系列单片机为同步信号控制器，通过合理设置STM32中的定时器产生3路频率与占空比相同的PWM脉冲信号。产生的PWM信号经放大电路放大，达到相机采用Line0接口进行外触发时的高电平电压值，实现对3台CCD相机的同步控制与触发。由于相机配套软件只能实现单个相机的采集工作，需要在软件的基础上再次开发设计实现3台相机的同步采集和图像同步存储功能的软件系统[8]。为使得相机采集的图像能够快速传输至计算机进行识别，保证马铃薯分级系统的实时性，相机用千兆网线与带有4通道千兆网卡的主机相连，完成整个图像采集的工作流程。

1 同步采集系统方案设计

马铃薯动态分级系统拟通过3台相机获得的同步图像序列融合得出马铃薯完整的表面信息，并利用该信息进行后续马铃薯等级的分类。马铃薯动态分级系统的整体流程如图1所示，其中马铃薯表面图像采集是整个方案的前提。

图1 马铃薯动态分级系统流程Fig.1 Flow chart of potato dynamic grading system

多目相机同步采集整体方案示意如图2所示，其中包含3台由中国大恒图像公司生产的CCD工业数字相机，型号为MER-125-30GC-P，分辨率1 292×964，最大帧率30帧/s，数据传输接口支持千兆以太网且具有外部触发采集功能；1台惠普计算机，8 GB运行内存，Intel Xeon E5 CPU，主频3.50 GHz；1块4通道千兆网卡，型号为Intel-EXPI-9404-PTL；4根千兆网线，用于实现工业相机和计算机之间的图像数据传输，以及相机参数的控制；德国SICK公司的光电传感器1件，型号为WL-3P430，作为单片机产生触发脉冲的外部信号；单片机开发板1块，单片机芯片型号为STM32F103R6，用于产生3路同步触发脉冲，经放大电路放大之后控制3部相机同步工作。

图2 多目相机同步采集整体方案Fig.2 Overall scheme design of multi camera synchronous acquisition

2 系统同步控制模块设计

以STM32F103R6单片机作为同步信号控制器，将3台相机的触发模式设置成外触发采集模式，产生的同步脉冲信号再经放大电路放大后，实现对3台相机的同步触发。

2.1 同步信号控制器设计

同步信号控制器由STM32F103R6单片机、复位电路、按键电路、PG12864液晶显示屏、放大电路及计算机等组成，另外包括1个光电传感器。同步信号控制器设计如图3所示。

图3 同步信号控制器设计Fig.3 Design of synchronous signal controller

STM32F103R6本身带有1个高级定时器(TIM1)和3个16位的通用定时器(TIM2TIM3TIM4)。定时器通过设置均可产生一路或多路PWM信号。本同步控制设计就是采用STM32自带的通用定时器来产生3路频率与占空比相同的PWM信号，实现对3个相机的同步控制。

2.2 同步触发信号

系统采用SICK公司的WL-3P430型光电传感器模块作为单片机产生触发脉冲的外部信号，利用STM32单片机编程产生同步触发脉冲，用于控制3台相机同步工作。

光电传感器检测传送带上的马铃薯是否到达采集范围，当接收到马铃薯到达的信号时，以STM32为主控的信号发生器产生周期相同且同步的脉冲触发信号，该触发信号可与相机的1号插针Line0+口相连接，控制相机开始曝光。为保证3台相机能够连接在同一台计算机上正常工作，采用了1块4通道千兆网卡及3条千兆网线来解决普通计算机只支持单个网络的问题，实现3台相机同时工作的具体流程如图4所示。

图4 3台相机同步工作流程Fig.4 Work flow of three cameras synchronization

3 系统同步采集模块设计

3.1 相机同步曝光

相机同步曝光是实现图像同步采集的关键。选用的大恒MER系列相机同时具有软触发和外触发控制相机曝光的功能，MER系列相机采用8插针I/O接口，其中1号插针(Line0+)为接收外部触发信号的端口。当输入电平>2.8 V时，被认为属于有效触发信号，且触发信号类型可根据需求自由设定为上升沿触发或下降沿触发。当相机接收到有效触发信号时，便开始曝光，通过控制有效触发信号的产生周期，相机便可以根据系统所需采集频率进行图像的采集。

MER-125-30GC-P相机在外触发模式下的工作时序如图5所示。其中，曝光延迟时间可根据需要在16～10 000 000 μs进行调整。当曝光积分完成后即可进行数据传输，图像数据的传输存在短暂的延迟，延迟时间约10 μs，在经过短暂的传输延迟后图像数据可通过网线传送至计算机中，完成由触发到采集的流程。

图5 相机在外触发模式下的工作时序Fig.5 Working sequence of camera in external trigger mode

3.2 图像采集及存储

实现3台相机可以同步的采集，并完成同步存储功能，为进行后续马铃薯图像的识别处理和快速分类奠定基础是本项目中最为核心重要的功能，因此在大恒提供的配套Galaxy Viewer采集软件与GigE IP Configurator辅助工具及MERCURY软件包基础上，设计马铃薯图像采集系统，实现3台相机能够同步采集马铃薯图像，并且将采集到的图像保存至指定文件夹。

系统软件程序的主要功能如下。首先，初始化系统，配置系统与相机间的IP地址，使得二者之间确保通信及实现数据传输，连接好相机后对相机的相关参数进行设置，做好采集图像的准备工作。接下来，在进行同步采集前，第1次打开软件进行采集时，需要先设置3台相机采集图像的存储路径，否则采集的图像无法保存使得系统无法运行。然后，在选择连续触发模式后进行图像的同步采集。最后，停止采集退出程序。同步采集软件界面如图6所示。

图6 系统采集工作画面Fig.6 System acquisition work screen

4 试验测试及结果

在对相机进行同步测试之前，首先需要调整并固定3部相机的工作距离及其分辨率。考虑到3台相机分别从马铃薯的正上方、左侧及右侧3个方向进行采集，3个相机同步拍摄的马铃薯图像会有部分的重叠视场，在保证获取到完整马铃薯表面图像的基础上，可适当减小视场重叠，提高后期图像数据融合及处理的效率。因此，采集系统中3台相机的工作距离约距离待测马铃薯10～15 cm，可根据现场具体情况适当更改，合适地调整3台相机的空间相对位置，最大获得马铃薯图像完整表面信息。为同时兼顾图像清晰度及数据处理效率，将采集图像的分辨率设定为620像素×480像素。3台相机的实际位置分别如图7所示。

图7 相机空间摆放位置Fig.7 Camera space placement

4.1 相机的同步性能测试

虽然3台相机可同步采集到运动的马铃薯图像，但效果并不直观，需要用更直观的方式来测试其同步性能。测试方法是用3台相机同步采集正在运动的视频画面和计时的秒表图像来测试相机的同步性能。

首先测试3台相机可以到达的最高同步帧率，将3台相机置于同一方向，如图8所示。

图8 相机测试摆放位置Fig.8 Camera test placement

将3台相机同时对正在播放的视频进行图像采集，并保持触发脉冲的帧率和视频帧率一致。逐渐提高视频的播放帧率，直到3台相机采集的图像出现不同步，以测试3台相机的最高同步帧率。为保证测试的准确性，测试视频采用2004年雅典奥运会110 m栏决赛录像。如图9所示为视频帧率12帧/s时，某一时刻3台相机所采集到的图像。

图9 某一时刻拍摄视频采集图像Fig.9 Video capture image at a certain moment

测试结果表明，3台相机的最高同步帧率能够达到12帧/s。当不断地提高视频帧率和触发脉冲频率时，3台相机的同步性能表现如图10所示。

图10 相机同步性能曲线Fig.10 Camera synchronization performance curve

当图像的采集帧率<12帧/s时，3台相机能够持续稳定地进行同步采集。采集帧率由13帧/s上升至19帧/s的过程中，3台相机保持同步采集的时间出现迅速下降(由45 s下降到6 s)，当系统的工作时间超过最大同步采集时间时，3台相机采集到的图像已经处于完全的不同步状态。采集帧率为23帧/s时，3台相机已经完全不能进行同步采集。试验结果表明，当触发脉冲的频率>12 Hz时，随着触发频率的增高，图像采集出现的丢帧现象也更为严重。

4.2 结果分析

由试验测试结果可知，3台相机最高能在帧率为12帧/s的外触发信号下进行图像的同步采集工作。在马铃薯动态分级系统中，整个图像的采集及处理处于实时状态，要求单个马铃薯从图像的采集、数据处理到最后分级完成的整体时间不超过0.2 s，即图像的采集频率为5次/s。而图像采集仅仅是系统前端的一部分，因此图像的采集频率也不宜过高，否则将会导致马铃薯分级的失败。

3台相机的同步帧率已经完全能够满足当前系统的需求，并且预留出了较大的提升空间，当系统的分级速度提高时，该系统仍然能够持续稳定的进行工作，具有较好的鲁棒性。多相机同步采集马铃薯图像的实现，解决了马铃薯动态分级系统中的关键问题，为后续的图像分类提供了完整的数据。

5 结束语

针对马铃薯动态分级系统中的图像同步采集问题，提出了一种基于千兆以太网的三目相机同步采集方案。方案通过1块4通道千兆网卡将计算机和3台相机相连接，并基于大恒相机的软件开发工具包(Software Development Kit，SDK)开发了3部相机同步采集及自动存储软件，实现图像的同步采集及自动存储。在当前计算机的配置下，同步帧率达12帧/s，解决了分级系统中存在的图像同步采集问题。基于机器视觉的马铃薯自动分级系统在工业生产中具有广阔的应用前景，本文设计的多相机同步采集方案，解决了马铃薯自动分级系统中的关键问题，为马铃薯自动分级系统的工业化打下了坚实的基础。