智能相机发展及其关键技术

孙长胜，吴云峰，张传义，刘宁文，赖东寅

（1.电子科技大学光电信息学院，四川成都61005；2.中国工程物理研究院流体物理研究所，四川绵阳621900）

机器视觉应用中通常由CCD或CMOS相机捕获场景图像，以先进的计算机技术为基础，通过图像理解来分析提取产品的质量信息，并执行相应的处理。随着机器视觉和半导体技术的发展，智能相机变得越来越普遍，越来越多的嵌入式处理器和多媒体专用处理芯片应用到智能相机中来[1-3]。近年来，基于智能相机的嵌入式机器视觉系统向传统基于PC的视觉系统提出了挑战。

1 智能相机组成与工作原理

智能相机也称为智能图像传感器或者智能视觉传感器。智能相机不同于一般的图像处理系统，它要能够实现以下功能：

1）图像的获取，一般采用CCD或CMOS传感器来获得需要处理的图像数据。

2）图像的处理，图像处理系统的任务是接收来自图像传感器的图像信息和同步信号，进行图像采集，并根据不同要求执行相应的算法处理。

3）检测结果的控制信号的传输，根据处理结果，给出相应的控制信号，以控制执行部件采用相应的处理方案。

4）能够提供较为灵活的升级方案，能够根据工作环境的要求改进软件，并能够很容易地对软件进行升级，以适应不同的应用场合。

一般智能相机系统由3部分组成：图像采集模块、图像处理模块、通信控制模块[4]。其组成框图如图1所示。

图1 智能相机系统结构Fig.1 System architecture of intelligent camera

图像采集单元是CCD/CMOS图像传感器和图像采集卡的集成。图像采集单元将光学图像转换为数字图像，然后输出至图像处理单元；图像处理单元用来完成图像处理任务，主要包括处理器和存储器，图像处理单元对采集到的图像/视频数据进行预处理、压缩和有选择的存储，结合图像处理软件对图像进行处理和分析；通信接口单元主要完成智能相机和计算机或其他计算控制设备之间的图像数据传递及控制信息交流任务。用户可以通过通信接口对智能相机进行参数设置，完成数据和程序的上传；智能相机则通过通信接口向其他设备传送图像或分析图像的结果。有的智能相机还提供数字I/0接口。I/0接口主要用作控制信号的输入输出，方便智能相机和其他自动化设备的连接。

2 智能相机发展现状

目前市场上的智能相机主要来自于欧美，国内的智能相机发展相对较为薄弱。表1所示为较为著名的国内外智能相机厂商和部分代表产品的参数。

NI智能相机小巧而坚固的封装中，结合了单色CCD图像传感器和实时嵌入式PowerPC处理器。NI智能相机能够以60 f/s的速率采集VGA（640×480）图像，并与NI视觉软件平台中的全套视觉算法协同工作。

表1 国内外部分智能相机及其相关参数Tab.1 Some intelligent cameras in the world and theirs relevant parameters

德国Vision-Components公司是最早生产智能相机的厂家，是智能相机产品的领航者。每个智能相机在其很小的体积内集成了CCD传感器、图像采集卡、存储器、图像处理专用高速DSP、PLC功能、视频输出信号，以太网和RS232接口和大量通用软件。采用牢固的工业外壳，抗震动和冲击能力强，是真正工业用智能相机。该公司还为OEM用户开发专用智能相机，配备专用软件和镜头成为专用光学检测系统和专用传感器。

美国PPT VISION公司一直致力于机器视觉技术的创新，已经在全球成功安装了数千套机器视觉系统，是全球机器视觉创新的领导者。

Fast Vision公司的智能相机采用分辨率高达2 352×1 728的CMOS图像传感器，处理速度最快可达240 f/s，有16个输出端口，采用FPGA配置工作界面和图像处理。

大恒图像有限公司开发的非制冷红外智能相机，使用新一代非制冷式红外探测器，热灵敏度高，图像更清晰。使用更高精度的14位数字图像，能更准确地发现温度异常，自动捕捉全屏高温区域，实现多区域高温分析，可设定上限报警温度值，高于该温度值可自动报警。工作时可完全脱离PC，多个设备可通过标准网络连接，组成区域监控报警系统，可实现火警探测、温度异常报警、非接触测温等功能，广泛应用于消防、安防、电力、石化、冶金、医疗等领域。

汉王科技的智能相机采用TI DSP为处理器[5]，CMOS图像传感器为图像摄入单元，提供了RS232、100 MB以太网等接口。典型应用为字符识别。它通过PC主软件经由网络对其执行远程配置和运行控制，通过二维图像方式，不依赖PC能独立进行字符识别，向外部发送识别结果信号和数据。通常用于工业制造中产品标签识别和验证，在喷码工业、药品制造、型材制造、印刷工业、包装行业、烟草行业等领域应用广泛。

3 智能相机面临的关键技术问题

智能相机将走向更为智能、更高速度、更高精度、更易操作、成本更低的未来发展趋势。其关键技术主要体现在以下3个方面：分辨率的提高、处理速度的提高以及人机交互更人性化。

3.1 分辨率的提高

随着CCD和CMOS研发技术的提高，图像传感器的分辨率朝着越来越高的方向发展[6]。在较高分辨率的应用中CCD仍占有一定的优势，但CCD控制与供电较为复杂，并且数据存取较CMOS要慢。有些场合提出了采用低分辨率廉价相机拼接为高分辨率相机的研究方式[7]，图像结果如图2所示。其中图（a）和（b）分别为160×120像素和80×60像素，图（b）的分辨能力不如图（a）。利用4台和图（b）一样分辨率的相机分别采图，如图2（c）～（f）所示，即可以得到和图2（a）相同的分辨效果。

3.2 处理速度的提高

图2 图像结果Fig.2 Image results

处理器是智能相机的硬件基础，随着嵌入式技术的发展，嵌入式处理器PowerPC、DSP、FPGA等器件被用在智能相机开发中。上海某公司比较成熟的智能相机EagleEye2系列产品RMVA200SC，具有130万像素彩色/黑白逐行扫描CCD，美妙48亿次运算能力的嵌入式DSP系统，还有大规模FPGA作为图像协处理器，大大提高了处理速度。SICK公司推出的IVC-2D集成了高性能图像芯片、强大的专用处理器，搭载了专业功能强大的图像处理软件IVC Studio，能为用户提供高性能且稳定的解决方案。

3.3 人机交互更人性化

随着通信技术和嵌入式技术的发展，更高速的通信方式在智能相机系统中得以应用[8]。例如千兆位以太网、USB通信以及CAN总线技术利于智能相机工作模式的配置。Linux、WinCE、Palm OS、μCOS-Ⅱ、VxWorks等嵌入式操作系统的应用使得人机交互更方便。

3.4 简易硬件平台的提出

针对国内外当前发展现状，提出了FPGA和DSP相结合的智能相机开发方案，方案框图如图3所示。采用低端FPGA来驱动图像传感器进行图像采集，可以充分利用FPGA的严格时序，并且可以利用FPGA来进行低级的图像处理算法，提高了处理速度。利用多媒体专业DSP进行后期的高级图像处理算法，给图像处理工程师降低了设计难度。采用DDR2可以极大地提高数据存取速度，利用千兆网进行图像信息的传输或工作模式的配置，利用CAN模块来连接控制系统，利用S端子进行图像的实时显示。

图3 简易硬件平台结构框图Fig.3 Block diagram of sample hardware platform

4 结束语

智能相机作为工业控制系统和监控系统的关键执行部件，因其具有广泛的应用前景，对其进行的研究正方兴未艾。随着嵌入式和SOPC的发展以及图像处理算法的研究，越来越多的算法和外围硬件技术将会添加到智能相机上，因此智能相机会朝着高精度、高速度、多功能、小型化、集成化的方向发展。而且随着不同工业、军事以及民事的要求，智能相机的设计也会因为其侧重点不同而简化设计，实现专用化。因此成本和体积也会随着大幅度降低，智能相机的普及就会越来越快。可以预测，在不久的将来，高性能、低价格的智能相机将会运用在人们生活中。

[1]Mustafah Y，Azman A，Bigdeli A，et al.An automated face recognition system for intelligence surveillance：smart camera recognizing faces in the crowd[J].First ACM/IEEE International Conference on Distributed Smart Cameras，2007：147-152.

[2]Wolf W，Ozer B，Lv T.Smart cameras as embedded systems[J].Computer，2002（35）：48-53.

[3]Kolsch M，Kiascanin B.Embedded computer vision and smart cameras[J].Tutorial Given on Embedded Systems Conference，Silicon Valley，2007：15-18.

[4]许芬.智能视觉传感器及其应用[J].中国仪器仪表，2007（4）：26-29.

XU Fen.Intelligent vision sensors and their applications[J].China Instrumentation，2007（4）：26-29.

[5]李春辉.基于TMS320DM642的图像采集系统的设计与实现[D].天津：天津大学，2007.

[6]HUANG Mei-ling，ZHANG Bo-heng.Character comparison of CCD and CMOS image sensor[J].Science Technology and Engineering，2007（2）:249-251.

[7]Leon-Salas W D，Velipasalar S，Schemm N，et al.A low-cost，tiled embedded smart camera system for computer vision applications[J].IEEE Trans.Electron Devices，2007（44）：125-131.

[8]Shi Y，Raniga P，Mohamed I.A smart camera for multimodal human computer interaction[C]//The 10th IEEE International C symposium on Consumer Electronics，on CD-ROM proceedings，St.Petersburg，2006：29-31.