裸眼3D视频信号转换技术研究

梁发云，何 辉，施建盛，刘 果

(1.南昌大学 裸眼立体技术与虚拟现实研究中心，江西 南昌 330031;2. 南昌兴亚光电科技发展有限公司，江西 南昌 330031)

1 引 言

嵌入式系统软硬件可裁剪使得嵌入式设备体积小，功耗和成本低，在消费电子产品等应用有其独特的优势[1]。裸眼3D技术被认为是继高清显示技术的下一代主流显示技术，旨在解决人们摆脱3D眼镜的束缚体验身临其境的立体场景，感受新的视觉冲击。嵌入式裸眼3D设备是立体显示技术与嵌入式系统的结合，良好的立体显示效果和便携性使其在消费电子领域具有广阔的市场前景。嵌入式裸眼3D设备需要完成视频文件解码、视频信号转换、裸眼立体显示屏3个方面的研究工作[2-3]。

近年，立体视频拍摄、图像的编解码和显示设备等技术有了很大的进步，裸眼立体显示技术作为获得立体效果的关键环节成为研究热点[4-6]。而如何对数据量较大的立体图像进行实时、准确的处理，成为裸眼3D视频信号处理的主要研究方向之一。本文主要研究在win CE嵌入式系统支持下，采用ARM与FPGA相结合的硬件结构，嵌入式裸眼3D设备对视频图像数据处理的重点问题[7-8]，并讨论了ARM系统视频信号接口、视频数据的采集、左右格式立体图像特点及列插值融合的硬件实现方法。实验证明采用ARM+FPGA硬件结构的嵌入式裸眼3D设备能够完成视频信号的实时获取和转换，在满足系统要求的同时，使系统具有结构紧凑、可靠性高等特点。

2 系统设计

系统总体设计方案如图1所示。硬件设计采用了ARM+FPGA结构，ARM选用三星公司的S3C6410嵌入式处理器。该处理器具有功耗低、性能高和成本低等优势，支持对2D和3D图形加速，集成了多格式编解码器，支持MPEG4/H.263/H.264格式编解码。同时支持多种嵌入式操作系统，友好的人机界面和强大的外设控制能力，这些特点使得S3C6410具有出色的视频解码能力[9]。FPGA作为视频信号处理核心，高速并行的数据处理能力成为裸眼3D视频信号处理的较优选择。

图1 系统总体结构图Fig.1 System global structure chart

FPGA逻辑设计由4个部分组成：数据采集模块、时钟管理模块、信号转换模块、液晶屏控制模块[10]。顶层模块控制4个子模块协调工作，视频数据通过采集模块缓存后，进入到信号转换模块中进行格式转换，液晶屏控制模块从信号转换模块中取出转换好的数据传送给裸眼3D液晶屏。ARM+FPGA硬件结构发挥了两者各自的优势，ARM核心板安装Windows CE6.0系统支持外设和立体视频解码播放，FPGA通过逻辑设计构造出高速并行的视频信号采集和转换处理单元，将左右格式立体图像数据处理成与裸眼3D液晶屏匹配的奇、偶列交错的双目立体图像。

3 视频接口

S3C6410带有一个TFT-LCD液晶屏控制器，显示输出接口可以支持24位并行RGB和I80接口，最大输出分辨率为1 024×1 024。Windows CE6.0嵌入式系统应用软件对视频文件解码播放，显示模式采用24位并行RGB输出接口。一般图像数据采集使用图像传感器，COMS图像传感器是其中常用的一种。以OV3640为例视频输出信号包括：CMOS_PCLK(像素时钟)、CMOS_HREF(行同步信号)、CMOS_VSYNC(场同步信号)、CMOS_CLK(工作时钟)、CMOS_D0～D7(8位视频数据)。ARM和CMOS图像传感器两者的视频信号对比如表1。

ARM液晶屏控制器和CMOS图像传感器都是在像素脉冲的控制下输出图像数据，行、场同步信号控制消隐等时序，数据有效信号设定图像数据输出范围。CMOS传感器图像输出格式可以通过配置寄存器设定，不同格式按照8位数据宽度输出到控制器，由控制器进行格式的转换。根据数据信号的相似性，可以使用FPGA采集ARM系统视频输出接口数据，并进行缓存和相应的信号转换。

表1 ARM和CMOS图像传感器视频信号对比

4 视频信号转换

4.1 立体视频图像格式

目前基于视差的立体视频中，常见的是将一帧图像分为两个对等的区域，立体对图像中的奇列像素区和偶列像素区分配到这两个对等区域中，奇、偶列像素区含有双目视差信息是立体显示的关键。由于模拟人眼视差的立体拍摄系统多采用左右配置的双视觉传感器结构，其视频图像存储方式多采用左右格式。左右格式的图像如图2所示。

图2 左右格式立体图像Fig.2 Left and right format stereo image

左右格式的立体图像是每行像素的前半行对应左眼视图(奇列像素区)，后半行是对应的右眼视图(偶列像素区)，每一幅图像包含一个左右眼视图的立体对。以一幅2n×m分辨率的图像为例，每行2n个像素，共m行，这些像素与液晶屏的物理像素相对应。图2中第1～n列n×m个像素是对应左眼视图，第n+1～2n列n×m个像素对应右眼视图，整幅图像包含了水平方向视差。

4.2 左右格式立体图像融合

根据线光源背照明裸眼3D液晶屏的结构，要得到立体图像显示效果不仅需要液晶屏工作在3D模式，而且需要将具有视差的左右格式立体图像的左眼视图和右眼视图分离和融合[11]。按照左眼视图的n列像素对应显示在裸眼3D液晶屏的奇列物理像素上，右眼视图的n列像素显示在裸眼3D液晶屏的偶列物理像素上，用图3来表示左右格式立体图像经过左、右眼视图分离和融合形成匹配裸眼3D液晶屏上的奇偶列交错的立体对图像。

经过照明板的线光源对奇偶列像素照明，分离后的视差图像分别到达观看者对应的眼睛，具有视差的图像通过视网膜传到大脑，大脑的视觉神经中枢利用视差产生远近的深度信息，从而获得立体感。

图3 图像融合Fig.3 Fusion of image

4.3 立体图像融合的逻辑设计

左右格式立体图像的特点是奇、偶列像素分布在每行数据前、后半行，分离和融合处理过程可以以行像素为单位进行。TFT-LCD显示屏采用水平逐行扫描方式时，也是以一行像素为单位向显示屏传输数据。因此系统立体图像融合逻辑设计成两级缓冲结构，对每行像素数据进行处理。逻辑设计中数据流向如图4所示。

图4 数据流向图Fig.4 Data flow diagram

数据缓存FIFO在数据采集模块中作为数据的第一级缓存，FIFO的左端由ARM系统控制，当VM(数据有效)信号为高电平时将数据总线上的24 bits像素数据写入到FIFO中。为了立体视频数据能准确地分离和融合，使用FPGA内部嵌入式存储器块构成的两个大小相同的Dual-PORT RAM作为双缓冲池，分别为ram1和ram2。系统设计了通用的液晶屏控制器产生液晶屏的时序[12]，FIFO的右端在系统像素时钟p_clk的控制下，当液晶屏控制器rdf_req(FIFO读请求信号)有效时从FIFO中读出数据写入双缓冲池中。对于分辨率2n×m的左右格式立体图像，每行有2n个像素，每个像素24位，共m行，系统中采用了800×480的分辨率。

当选择3D模式时通过ram1和ram2的读写地址变换完成左右格式立体图像的列插值，当液晶屏控制器rdf_req为高电平时，视频数据从FIFO中读出写入到ram1中。按照前n个像素存入地址wrram1_addr=2i(i=0，1，…n-1)，后n个像素存入ram1地址wrram1_addr=2i+1(i=0，1…n-1)，读出时按照顺序地址读取，ram1读取地址rdram1_addr=i(i=0，1，…2n-1)，ram2操作和ram1相同。两个Dual-PORT RAM第一行和第二行数据存入和读出方式如图5所示，其中L1n，L2n代表立体图像的第一行和第二行的像素点。

图5 Dual-PORT RAM存取方式图Fig.5 Access mode of Dual-PORT RAM

第一个行显示周期，输入的图像数据写入到ram1中，当ram1写入完成后，第二个行显示周期，通过计数器和显示有效信号来控制ram1与ram2的切换，输入图像数据通过选择单元切换存入到ram2中，同时两个Dual-PORT RAM的读使能通过输出选择单元选择读取ram1中已经处理好的图像数据。第三个行显示周期，通过切换选择信号，将数据存入到ram1中，读出ram2中处理好的图像数据，通过对双缓冲池轮序的操作从内部看数据是分行处理，外部立体显示屏获得连续的图像数据。wr_ram1_en、wr_ram2_en、rd_ram1_en、rd_ram2_en是计数器和显示有效信号来控制的RAM读写有效信号。

为兼容裸眼立体显示屏的2D显示模式，在逻辑设计时，使用一个拨动开关来控制Dual-PORT RAM的地址变换实现2D与3D模式的切换，当选择在2D模式时，两个Dual-PORT RAM的写入地址都为wrram_addr=i(i=0，1，…2n-1)，对输入图像的每行数据按顺序地址写入，然后按顺序地址读出送到裸眼立体显示屏，显示2D图像。

5 仿真与实验

使用ModelSim对系统进行了功能仿真验证，图6中采用顺序数列0～799作为24位宽的像素数据rgb_datainn在de_inn信号的控制下写入第一级缓存FIFO中。液晶屏控制器按照液晶屏时序产生读FIFO请求信号rdf_req读出数据轮流写入到双缓冲池中，key=0时按照3D模式列插值方式写入Dual-PORT RAM，key=1时数据顺序写入，兼容裸眼3D液晶屏的2D模式。de_out是液晶屏控制器的数据有效信号，8位宽的r，g，b是经过系统转换后输出到液晶屏的视频数据。图6中是选择在3D模式的仿真波形。

图6 系统功能仿真Fig.6 Function simulation of system

仿真验证了系统功能的正确性后进行时序约束和管脚分配。硬件平台加载配置文件，进行板级调试。图7是拨动开关断开时使用普通2D屏全屏播放左右格式视频，图8中将开关闭合使得双缓冲池工作在3D模式，对左右格式立体视频进行列插值后融合成奇、偶列交错的立体对图像。

图7 左右格式立体视频Fig.7 Left and right format stereo video

图8 列插值融合后的图像Fig.8 Image of fusion by columns interpolation

6 结 论

提出的ARM+FPGA硬件结构适合立体视频信号的处理，充分发挥了ARM的视频解码和FPGA高速数据处理能力。FPGA逻辑设计只使用内部资源完成视频数据采集、缓存和左右格式立体图像数据的列插值，简化了系统设计的复杂度，提高了系统的可靠性，降低了成本，使用纯硬件方式实现立体图像数据分离和融合在应对高清晰度的高速视频数据流发展趋势上有其独特的优势，为嵌入式裸眼3D设备的设计和应用提供参考。

[1] 雷丰中，刘鹏.基于S3C6410的多媒体系统设计[J].电视技术，2011，35(11)：24-27.

Lei F Z，Liu P. Design of multimedia system based on S 3C6410 [J].VideoEngineering，2011，35(11)：24-27. (in Chinese)

[2] 梁发云，邓善熙，杨永跃.立体图像视频格式及其转换技术研究[J].仪器仪表学报，2005，26(12)：1233-1237.

Liang F Y，Deng S X，Yang Y Y. Research on Image and video transformation technology of stereoscopic display[J].ChineseJournalofScientificInstrument，2005，26(12)：1233-1237. (in Chinese)

[3] 帖志成，梁发云，黄伟莉，等. 嵌入式设备立体图像显示技术研究[J].液晶与显示，2013，28(1)：71-75.

Tie Z C，Liang F Y，Huang W Li，etal. Stereoscopic display based on embedded system [J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(1)：71-75. (in Chinese)

[4] Smolic A. 3D video and free viewpoint video-From capture to display [J].PatternRecognition，2011，(44)9：1958-1968.

[5] Aksay A，Pehlivan S，Kurutepe K，etal.End-to-end stereoscopic video streaming with content-adaptive rate and format control [J].SignalProcessing：ImageCommunication，2007，22(2)：157-168.

[6] Ryu S，Sohn K. Depth-based direct mode for multiview video coding [J].SignalProcessing：ImageCommunication，2012，(27)6：571-578.

[7] 张挺飞，樊永生，孙凌云.基于FPGA+ARM的智能图像门控系统[J].电视技术，2012，36(17)：156-158.

Zhang T F，Fan Y S，Sun L Y. Intelligent door control system based on FPGA + ARM [J].VideoEngineering，2012，36(17)：156-158. (in Chinese)

[8] 吴禄慎，任丹. 面外“moire” 计算机图像处理技术的研究[J]. 南昌大学学报：工科版,2000，12(22)：1-5.

Wu L S，Ren D . Investigation of computer image processing technology on out of plane moire method [J].JournalofNanchangUniversity：Engineering&TechnologyEdition，2000，12(22)：1-5. (in Chinese)

[9] 吴君钦，宋键，刘昊.基于S3C6410和ADV7180的嵌入式视频采集系统设计与实现[J].计算机工程科学，2012，34(12)：115-119.

Wu J Q，Song J，Liu H. Design and implementation of embedded video capture system based on ADV7180 and S3C6410 [J].ComputerEngineeringandScience，2012，34(12)：115-119. (in Chinese)

[10] 吴继华，蔡海宁，王诚. Altera FPGA/CPLD设计(高级篇)[M].北京：人民邮电出版社，2011.

Wu J H，Cai H N，Wang C.AlteraFPGA/CPLDDesign(AdvancedPiece)[M]. Beijing：Posts&Telecom Press，2011. (in Chinese)

[11] 梁发云，邓善熙，杨永跃. 裸眼立体显示液晶屏的光学结构及设计[J].液晶与显示，2005，20(6)：544-548.

Liang F Y，Deng S X，Yang Y Y. Optical structure and designing of nakedness-eye stereoscopic LCD panel [J].ChineseJournalofLiquidCrystalsandDisplays，2005，20(6)：544-548. (in Chinese)

[12] 王鸣浩，吴小霞.基于FPGA的通用液晶显示控制器的设计和实现[J].液晶与显示，2012，27(1)：87-92.

Wang M H，Wu X X. Design and realization of general LCD controller based on FPGA [J].ChineseJournalofLiquidCrystalsandDisplays，2012，27(1)：87-92. (in Chinese)