基于图像传感器的可见光MIMO通信系统

赵晓萌 李秋实 方少亮 卢智星

(1.广东省科技基础条件平台中心，广东 广州 510000；2.广东省高性能计算重点实验室，广东 广州 510000)

基于图像传感器的可见光MIMO通信系统

赵晓萌1,2李秋实2方少亮1,2卢智星1,2

(1.广东省科技基础条件平台中心，广东 广州 510000；2.广东省高性能计算重点实验室，广东 广州 510000)

针对将图像传感器用于可见光M IM O通信时存在的图像矫正、收发通道对准及时钟同步问题，分析了影响数据帧有效性的因素，提出了一种发射端图形结构与通道分布规则，给出了基于图像传感器的可见光M IM O通信系统时钟同步方法，并以三星S2 4D 59 0 PL液晶显示器作为光学M IM O发射端，IPH O NE 6 S手机后摄像头传感器作为接收端搭建了实验系统。实验结果表明，本方案能够实现接收图像的定位和矫正，并自适应计算出M IM O通道数量和各通道坐标，在发射帧率小于接收帧率的条件下，能够恢复同步时钟和解码数据。

可见光通信；图像传感器；M IM O；图形定位；同步时钟

1 引言

可见光通信(Variable Light Communication，VLC)作为一种热门的无线通信技术，具有可靠性高、保密性好、无电磁干扰、无需频谱认证等优势[1,2]。但由于白光LED有限的带宽，限制了传输速率，而MIMO技术能够在有限的带宽上通过空间复用实现高速通信，基于图像传感器的MIMO系统能够有效解决光源布局和信号多径干扰等问题[3-5]。近年来基于近距离无线通信技术（NFC）出现了一些应用，但由于基础设施不完善，手机上的NFC功能并未得到普及，与其他通信装置相比，利用LCD屏作为发射端，CMOS传感器作为接收端，是一种灵活且低成本的近场可见光通信解决方案。

2004年S.Hranilovic等使用512x512像素的LCD和154x154像素的CCD组成MIMO无线光信道，提出了空间离散多音调制抵抗信道的低通空间响应，在距离为2m的范围产生的频谱效率近似为1.7kb/s*Hz[4]。2007年S Arai等利用交通灯作为发射端、高速摄像机作为接收端组成智能交通系统，提出基于二维快速Haar小波变换的分层编码方案[7]。2012年Sung-Man Kim等利用商用CCD传感器搭建4x4MIMO无线可见光通信装置，通信速率达到200bit/s每通道，通信距离可超过10米[5]。2012年C Danakis等提出利用移动电话接收VLC数据的方案，将智能手机的相机作为接收器，捕捉快速开关状态的光，利用CMOS传感器卷帘效应，接收数据率高于摄像机的帧速率[6]。2014年同济大学的Peng ji提出利用车载LED照明装置和手机摄像头之间的通信，制作采用欠采样频率偏移开关键控调制方式发射和卷帘快门摄像头接收的VLC原型机，能够抑制图像内的常规光学干扰和噪声[8]。2015年南京邮电大学的高俊英利用LCD模拟3x3多光源发射，并采用全局快门摄像头作为接收端搭建MIMO可见光通信系统，提出一种多高斯模型的方法获取自适应阈值[9]。

虽然利用图像传感器进行可见光通信的技术方案具有很多优势，但实际应用中还存在一些待解决的问题。一是接收端图像传感器通常为固定帧率，其与发射端缺少同步的时钟，因此难以判断每帧数据的有效性；二是接收端无法确定不同发射端的MIMO通道数量及分布情况；三是接收端与发射端位置的相对旋转与倾斜，使得接收端无法准确标定MIMO通道的坐标。针对以上问题，本文提出了一种基于LCD发射端和手机CMOS传感器接收端的同步时钟通信系统方案。利用预先约定的定位图形和MIMO通道设置规则，使得接收端能够对图像的倾斜和旋转角度进行识别和矫正，并自适应判断MIMO通道数量和分布，以及各通道所对应坐标；并在图形中设置4个专用时钟传输通道，实现接收端与发射端的时钟同步。

2 同步时钟通信系统分析与设计

基于LCD发射端和CMOS传感器接收端的MIMO可见光通信系统原理图如图1所示，发射端有3路串行信号，在空间上对应LCD中的一定区域，通过透镜在CMOS上对应的区域成像，每个区域定义为一个数据通道，CMOS传感器连续的接收图像序列，并检测对应区域的不同波长的光强，通过图像处理技术恢复出各个通道所发送的波分复用码流。

图1 使用LCD发射和CMOS传感器接收的可见光MIMO通信系统原理

在接收端需要矫正图形旋转与倾斜，确定MIMO通道数量及分布方式，以及判定数据帧有效性。其中产生无效数据帧的原因主要有几个方面：一是由于LCD本身的时间响应较长，一般为数ms到数十ms，无法快速刷新，如图2所示，在信号切换的上升或下降阶段采集的信号很容易误码；二是发射端若采用图像编码流序列也容易产生误码，如H.264编码协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，参考前后帧编码的帧叫B帧，如图3所示，其中I帧和P帧包含完整图像信息，而B帧是由前面的I或P帧和后面的P帧来进行预测的编码帧，该帧压缩比最高，但具有很大的随机性；三是CMOS传感器的帧率通常较低，只有30Hz到60Hz，且大部分采用控制传感器逐行曝光的方式实现卷帘快门，由于卷帘快门工作特性，当目标光源存在一定速率的明暗闪烁时，CMOS传感器获取的图样呈明暗条纹状，而不是明帧和暗帧的交替，如图4所示，因此CMOS传感器可能获取的并不是空间分布完整的帧信号[6,8]。由于这些原因，使得接收端难以判断所采集的数据帧是否有效。

图2 显示屏时间响应曲线

图3 H.264编码帧示意图

图4 调制驱动LED照明光源和卷帘快门CMOS传感器

本文设计了发射端的图形结构和通道分布规则，如图5所示。包括3个结构相同的位置探测图形，由3个正方形模块嵌套组成，当从左至右以一条直线采样，信号宽度比例为1:1:3:1:1，且该比例与发射接收端的距离和相对旋转无关，接收端可首先检测3个位置探测图形的坐标(x1,y1)、（x2,y2）、（x3,y3），对接收的图像进行定位、旋转与矫正[11]，基本原理同QR码处理方法，本文不再赘述。根据两个位置探测通道几何中心之间的比例距离X和Y，可推导出MIMO发射端时钟通道和数据通道的总数量N，则

进一步可对图5中的信号通道进行标定，通道以阵列行列坐标命名，如CHmn，则CHmn的中心坐标表示为：

图5中的信号通道中包括4个独立时钟通道和5个数据通道，4个时钟通道的空间位置选取保证发射端与接收端在任意相对旋转和倾斜状态下能覆盖发射端的所有数据通道区域，因此在图5中时钟通道为CH11、CH13、CH31、CH33，其中CH11和CH33为一组，CH13和CH31为一组，组内信号相同，组间反向，接收端根据接收到4个时钟通道的信号电平同步翻转状态，恢复出接收时钟。

图5 发射端图形结构

通过本设计规则，可实现可见光MIMO通信系统接收图像的定位和矫正，自适应计算MIMO通道数量与坐标，以及同步时钟的获取。

3 实验与结果

根据本文所提出的设计规则搭建实验系统，采用三星S24D590PL液晶显示器作为光学MIMO发射端，IPHONE 6S手机后摄像头传感器作为接收端，接收端与发射端距离10～20cm，发射端将15路8bit串行数据按RGB波段分离，分别叠加在5个数据通道上，共发送8帧图像，每一次切换图像4个时钟通道都同步进行翻转，CMOS采集速率可设定为30fps或60fps，接收端将接收到的信号导入MATLAB中进行处理，根据4个时钟通道的信号翻转状态生成接收时钟，并以此时钟对其他通道信号进行采集和解码，通过设定不同的发射速率来检验实验系统。具体过程如下：

3.1 信号发射

发射端共9个传输通道，分别按矩阵行列号命名为CH11、CH12、CH13、CH21、CH22、CH23、CH31、CH32、CH33，其中CH12、CH21、CH22、CH23、CH32为数据通道，采用RGB波分复用共15个有效数据通道并行传输，每通道传输数据共8bit，传输的数值如表1所示：

表1 各通道发射数据表通道

这8bit数据及其时钟所对应的8帧图像如图6所示。其中CH11、CH13、CH31、CH33为时钟通道，CH11与CH33为一组，CH13与CH31为一组，且两组信号保持反相。

图6 基于LCD的可见光MIMO通信系统8bit数据所对应的图像帧

3.2 信号接收与处理

信号接收端采集到图像后根据本文所提出的设计规则，首先对图像进行定位、旋转和矫正，利用QR码处理领域所采用的定位矫正算法[11]，在任意旋转角度下可实现图像的定位和旋转，在45o倾斜范围内可实现图形的矫正，计算得出通道矩阵数量为3x3并定位各通道的坐标，再进行信号采集和处理，首先采集4个时钟通道CH11、CH13、CH31、CH33，并根据4个时钟通道的翻转状态，恢复出与发射端的同步时钟信号sck，如图7所示。

图7 根据4个时钟通道的切换状态提取时钟sck的波形图

在以5fps发射、30fps接收状态下，各通道接收RGB信号波形图如图8所示，每一幅图由4个信号通道组成，上面3组信号为该通道的RGB信号波形，第3组为同步时钟信号sck，每次sck翻转时对数据通道采样并进行解码，结果如表2所示，对比表1可以看出，所有通道解码得到的数值全部正确。

图8 5fps发射30fps接收各通道波形图

表2 5fps发射30fps接收各通道信号接收数据表

实验中发现，发射速率为10fps、20fps和25fps，接收速率为30fps时所有通道解码得到的数值全部准确；将接收速率调整到60fps，则发射端速率设置为5fps-50fps均能够正常接收信号和解码。但是当发射速率超过接收帧率时，接收端无法生成同步时钟，如图9所示sck始终为高，所对应的图像如图10所示，在这种状态下接收端无法对数据进行接收和解码。

图9 33fps发射30fps接收（左）50fps发射30fps接收（右）

图10 接收无效数据帧示意图

在信号处理与解码效率方面，如接收帧率为30fps，发射帧率为15fps，在无同步时钟的情况下，每秒需处理30帧图像，而本实验系统仅在sck信号翻转时读取和存储数据，其它时刻的图像被丢弃，因此每秒仅需处理15帧图像，理论效率可提高2倍。

通过上述实验可知，利用LCD作为发射端，手机摄像头传感器作为接收端，可以实现可见光MIMO通信。利用本文所提出的设计规则搭建的实验系统，能够在发射端与接收端相对位置不固定的条件下对图像进行定位和矫正，并判定MIMO通道数量及分布坐标；采用独立通道传输时钟，有效解决了可见光通信系统接收端与发射端时钟同步问题。

4 结论

本文分析了利用LCD作为发射端和CMOS传感器作为接收端的可见光MIMO通信系统存在的问题，提出了一种发射端图形结构与通道分布规则，给出了基于图像传感器的可见光MIMO通信系统时钟同步方法，并搭建了实验系统。采用与QR码类似的位置探测图形，使得接收端可自行对接收图像进行定位和矫正，并根据提出的设计规则自适应计算出传输通道数量及各通道所在坐标；采用4路独立时钟传输通道，在接收端恢复出同步接收时钟，在时钟翻转时刻读取此帧数据通道信息，而其它时刻的帧被丢弃，并降低了接收端资源占用，提高解码效率；各通道采用RGB波分复用，在硬件条件不变的情况下使通信带宽比单色光通信提高3倍。

基于本文的研究结果，可利用智能手机的显示屏和摄像头实现短距离数据交换、机场登机验证、门禁钥匙、交通一卡通、信用卡、移动支付等功能。

参考文献：

[1]CW Chow，CH Yeh，Y Liu and YF liu．Digital signal processing for light emitting diode based visible light communication[J]．IEEE PHOTONICS SOCIETY NEWSLETTER，2012，26(5)：9-13．

[2]Haruyama．Visible light communication using sustainable LED lights[C]．Itu Kaleidoscope：Building Sustainable Communities，2013：1-6．

[3]HH Lu et al．A multiple-input-multiple-output visible light communication system based on VCSELs and spatial light modulators[J]．Optics Express，2014，22(3)：3468-3473．

[4]S Hranilovic，F R Kschischang．Short-range wireless optical communication using pixilated transmitters and imaging receivers[C]．In Communication，2004 IEEE International Conference，2004(2)：891-895．

[5]S M Kim，J B Jeon．Experimental demonstration of 4x4 MIMO wireless visible light communication using a commercial CCD image sensor [J]．Journal of Information and Communication Convergence Engineering，2012，10(3)：220-224．

[6]C Danakis，M Afgani，G Povey，I Underwood and H Haas．Using a CMOS camera sensor for visible light communication[J]．Globecom Workshops，2012，48(11)：1244-1248．

[7]S Arai，S Mase，T Yamazato，T Endo．Experimental on Hierarchical Transmission Scheme for Visible Light Communication using LED Traffic Light and High-Speed Camera[C]．Vehicular Technology Conference，2007(66)．

[8]Peng Ji，Hsin-Mu Tsai，Chao Wang，Fuqiang Liu．Vehicular Visible Light Communications with LED Tailight and rolling Shutter Camera [C].Vehicular Technology Conference，2014(79)：1-6．

[9]高俊英，王德昌，姚建国．基于摄像头的MIMO可见光无线通信系统[J]．光学学报，2015，35(1)：71-79．

[10]CW Chow，CY Chen，SH Chen．Enhancement of Signal Performance in LED Visible Light Communications Using Mobile Phone Camera [J]．IEEE Photonics Journal，2015，7(5)：1-7．

[11]肖翔，刘晓明，王云柯．码图像的矫正与定位方法研究[J]．计算机科学，2007，34(11)：217-219．

Visible Light MIMO Clock Synchronous Communication System Based on Image Sensor

Zhao Xiaomeng1,2Li Qiushi2Fang Shaoliang1,2Lu Zhixing1,2
(1.Guangdong Science&Technology Infrastructure Center,Guangzhou 510000,Guangdong; 2.Guangdong Provincial Key Laboratory of High Performance Computing,Guangzhou 510000,Guangdong)

For the problems of image rectification,transceiver channel alignment,clock synchronization when an image sensor is used for visible light MIMO communication,the factors affecting the validity of the data frame are analyzed.A graphical structure of transmitting end and a distribution rule of channel are presented.The synchronization method of visible light MIMO communication system based on image sensors is put forward,and an experimental system is set up using Samsung S24D590PL LCD monitor as optical MIMO transmitting end and rear camera sensor of IPHONE 6S as receiving end.The experimental results show that this program can achieve location and correction of the received image,and is adaptive to calculate the number of MIMO channels and the coordinates of each channel.Under the condition that the transmission frame rate is less than received frame rate,the synchronous clock can be recovered and the data can be decoded.

visible light communication;image sensor;MIMO;image location;synchronous clock

O435；O436；O439

A

1008-6609(2016)11-0019-05

赵晓萌(1981-)，男，广东广州人，硕士，工程师，研究方向为计算机网络与光通信。

广东省前沿与关键技术创新专项基金资助项目，项目编号：2014B01012002。