基于FPGA硬件的彩色图像恢复系统设计

刘亚亚

(商洛学院 数学与计算机应用学院， 陕西 商洛　726000)



基于FPGA硬件的彩色图像恢复系统设计

刘亚亚

(商洛学院 数学与计算机应用学院， 陕西 商洛726000)

摘要：为实现数字图像的实时处理，在FPGA上应用硬件描述语言实现功能模块的方法，利用FPGA技术，在数码摄影系统前端对Bayer格式图像进行实时彩色复原，并对系统进行调试.选用四合一简单算法处理Bayer图像，使其恢复成全彩色图像，并用MATLAB软件先验证算法的正确性与可靠性，最后在ISE上进行工程仿真.仿真实验表明，系统工作实时、正确、可靠.

关键词：Bayer格式图像；插值算法；FPGA

0引言

随着大规模/超大规模集成电路以及大规模可编程逻辑器件(Field Programmable Gate Array,FPGA)的高速发展和广泛应用，实时图像处理得到了非常迅速的发展.为了提高图像处理的速度，满足系统实时要求，可以用硬件来实现对图像的处理，FPGA芯片便是目标硬件的理想选择之一.同时，FPGA的应用也为提高图像处理速度提供了新的思路和解决方法[1].在实时图像处理中，图像重建必须充分考虑人眼视觉特性和数码相机拍照对外界响应的差异，通过一些特定的算法进行调整，使得到的照片能够真实重现客观世界的细节，这些调整包括Gamma校正、白平衡调整等[2].由于目前集成电路的限制，大部分传感器在每一像素上只能记录一种颜色光的强度，所以在图像重建的过程中必须用到插值算法来恢复全彩色图像.基于此，本研究提出采用简单实用的四合一算法，实现了彩色图像恢复.

1设计原理

1.1Bayer格式的图像简介

Bayer格式图像是伊士曼·柯达公司的科学家Bryce Bayer发明的，是相机内部的原始图像，一般后缀名为.raw，图像阵列中每行和每列只有2种颜色分量，且在每个像素的位置上只获得1种颜色分量，整个图像G分量是R和B的2倍.G分量的采样率高，原因是人眼的亮度响应曲线峰值更接近绿色频率范围(波长550 mm附近)，通过G通道可得到亮度信息.一般的Bayer格式图像内部存储方式为列数是2的倍数，行数是4的倍数.

1.2Bayer格式图像的彩色图像恢复原理

Bayer图像的每个像素位置上只有1种彩色信息，如果要恢复成全彩色图像，就需要借助算法对它进行填充，使其成为1幅高清全彩色图像.彩色图像恢复的算法有很多：一类是单个颜色通道独立的插值算法，包括邻域插值法、双线性插值法和卷积插值法等，但这些算法在高频区域的边界区域失真明显；另一类利用多通道相关性插值算法，包括基于边界的算法、加权系数法、交互式插值法及傅里叶变换等，通常能得到比较满意的效果，但往往算法过于复杂[3-6].基于此，本研究采用一种简单的四合一算法，该算法把每4个像素合并为1个像素，算法原理与像素值的变化如图1所示， 合并之后绿色分量变

图1四合一Bayer算法原理

为原来的2个绿色分量之和的二分之一.将Bayer格式图像中每4个像素合并为1个像素，这样，这个像素就有了红绿蓝3色分量，算法对Bayer格式图像这样简单处理后，就获取了全彩色图像.

2系统实现

本系统最关键的部件之一FPGA，其作为系统的大脑中枢起着十分重要的作用，控制着整个系统的工作.在ISE仿真之前先用MATLAB进行仿真，检测系统的可行性.

2.1MATLAB仿真结果

MATLAB仿真结果如图2所示.仿真检测结果显示得到了清楚的恢复后的图像，但是，这样简单的处理算法也存在比较大的弊端，图像的分辨率仅变为原来的四分之一，相当于丢失了四分之三的图像信息量.

图2MATLAB仿真结果

2.2系统的实现过程

四合一彩色恢复算法的实现过程如图3所示.当输入数据有效时， Bayer格式图像数据依次通过

图3简单合并Bayer算法硬件系统实现原理图

Line Buffer1(缓冲寄存器)，R1-C1，R1-C0，Line Buffer2，R0-C1，R0-C0，缓存送进单元MUX，得到最终的RGB数据.其中，Line Buffer1和Line Buffer2的长度为1行图像的长度，R1-C1，R1-C0，R0-C1，R0-C0为4个D触发器.通过计数器来控制MUX的功能，这个计数器是从图像捕捉模块的行像素计数和列像素计数的最低位得来的.当列计数和行计数最低位是0时，寄存器R0-C1、R0-C0、R1-C0、R1-C1中的数据依次是分量R，G1，B，G2，则这时4个寄存器数据计算输出MUX中的RGB数据分别为R0-C1，(R0-C0+R1-C1)/2，R1-C0.当列计数和行计数的最低位是别的组合时，数据的输出无效.通过这样的方法，即使得到每个像素的RGB数据，图像分辨率却变成原来的1/4，即2048×2048变为了1024×1024.

为了检测算法硬件实现的可行性，本研究设计了几种颜色进行仿真实验.图4为经过颜色插值后的实际输出，发现处理过的图像(每个像素有G、B、R 3种颜色分量)分辨率变为原来的四分之一，也就是说行数变为原来的二分之一，列数也变为原来的二分之一.通过与经过颜色插值后的预期输出比较发现，二者完全一致，说明该模块设计正确，达到了预期目的.

图4经过颜色插值后的实验输出结果

3结语

实验图像采用标准的Bayer图像，对图像进行四合一算法恢复, 结果显示从人眼视觉效果看出图片非常清晰.程序在ISE10.1软件环境中进行前仿真和后仿真，前仿真也称功能仿真，采用波形编辑器和HDL等创建波形文件、测试向量，仿真完成后将会生成报告文件并输出仿真信号的波形.从输出的波形中可以观察到各个节点信号的变化，若发现错误，则返回修改逻辑设计，最后进行芯片的编程与调试，即由位数据流生成数据文件为准，并在FPGA芯片中将编程的数据下载并存储，以便后期进行硬件调试、验证.烧录器将程序烧写到FPGA中，FPGA加点电工作.本研究的算法设计灵活，硬件设计简单，具有较好的通用性.

参考文献：

[1]朱波,汶德胜,王飞.改进的Bayer插值算法及其硬件实现[J].光电子(激光),2013,24(6):1211-1218.

[2]彭俊,高伟.基于FPGA的彩色恢复系统的研究[D].西安:西安光学精密研究所,2007.

[3]Adams J E.DesignofpracticalcolorfilterarrayinterpolationalgorithmsforDigitalcameras[C]//1998InternationalConferenceonImageProcessing.Chicago,IL:IEEE Press,1998:488-492.

[4]Lu W M,Tan Y P.Colorfilterarraydemosaicking:newmethodandperformancemeasures[J].IEEE Trans Image Proc，2003,12(10):1194-1210.

[5]Gunturk B K.Yucelaltunbasak,russellm,mersereau,colorplanerojections[J].IEEE Trans Image Proc，2002,11(9):997-1013.

[6]Zhang L,Li X,Zhang D.ImagedenoisingandzoomingundertheLMMSEframework[J].IEEE Trans Image Proc,2012,6(3):273-283.

Color Image Restoration Design Based on FPGA

LIUYaya

(College of Mathematics and Computer Application, Shangluo University, Shangluo 726000, China)

Abstract:In order to achieve the real-time processing of digital image,hardware description language is applied to realize FPGA functional modules.Then,FPGA technology is utilized.Real-time color image restoration is done for Bayer pattern image at the front end of the digital photography system.And finally,the system is debugged.This paper chooses a four in one simple algorithm to process Bayer image in order to restore the perfect color images.Then,MATLAB software is used to test the validity and reliability of the algorithm.Finally,engineering simulation is done on ISE.The method used is simple,and has strong operability.Experiments show that the system works in a real-time,accurate and reliable way.

Key words:Bayer pattern image;interpolation algorithm;FPGA

文章编号：1004-5422(2016)02-0159-03

收稿日期：2016-03-07.

基金项目:陕西省教育厅科研计划(2013JK0597)资助项目.

作者简介：刘亚亚(1981 — )， 女， 硕士， 讲师， 从事计算机智能与模式识别技术研究.

中图分类号：TP391.41；TN79+1

文献标志码：A