一体式中医舌象采集分析系统设计

，， ， ，

(1.青岛科技大学 自动化与电子工程学院，山东 青岛 266042； 2.中国科学院 光电研究院，北京 100094；3.中国科学院 微电子研究所健康电子研发中心，北京 100029)

0 引言

舌象诊断是中医诊断的重要组成部分，传统的舌象诊断仅依靠医生的主观观察来得出结论，这将带来一个较为严重的缺陷：诊断结果会受到主观和客观因素的影响，例如环境光线、病人的配合程度、病人的姿势以及医生的临床经验甚至医生在诊断时的状态等[1]。因此诊断的准确性受到较为严重的影响，不利于中医交流，阻碍了中医的发展。近年来，人们根据舌象分析的特点研制出了多种舌象采集分析仪，其中包括小型手持式舌象分析仪[2]，分布式舌象分析仪[3]，积分球式舌诊仪[4]。但是小型手持式舌象分析仪容易受到外界光源的干扰，并且由于体积过小，导致采集设备距离舌体太近，这就导致患者呼出的空气在镜头上形成雾化效果，无法保证采集到舌象颜色的准确性，影响舌象分析的结果。分布式舌象分析仪将采集设备与控制设备分开，不仅浪费空间，而且操作繁琐，并且由于采用直接照射的方式，容易导致部分舌体光照过强，影响后期的分析处理。积分球式舌诊仪将整个积分球暴露于外部光照环境中，容易导致外部光源进入积分球内部，形成干扰，并且旧式积分球仅在积分球上部放置光源，这就导致舌体下部以及舌两侧边缘部分受光不足，影响到采集的准确性。针对上述问题，本文设计了一种一体式的封闭舌象采集系统，将积分球内胆放置于一个箱体之中，且积分球前部加装T型遮光罩，这样就完全排除了外部光源的影响。积分球设计中，在积分球下部增加一个通光孔，设置有辅助光源，两个光源的设计保证了舌体的各个部位受光均匀、充足。本文研究了一种手动调节相机白平衡参数的方法，弥补了自动白平衡的不足，保证了采集过程中颜色的准确性，获取了一套标准的颜色数据，为后期的颜色校正打下基础。

1 硬件系统

1.1 系统结构组成

本系统结构组成框图如图1所示。主要包括：图像采集设备、封闭式暗箱、积分球、光源、升降台、高清液晶显示器和嵌入式工控机等。由积分球、暗箱、标准光源组成封闭的采集环境，摄像机将采集到的图像舌象通过USB数据线发送到计算机，计算机完成舌象的显示与保存，以及舌象的处理与诊断，将诊断结果保存。

图1 舌象采集分析系统结构组成

本文设计的采集系统采用一体式结构，整个系统置于升降台之上，高度可调节，可以满足不同身高患者的要求。本文设计一个箱体，箱体的一侧装有T型遮光板，将积分球放入箱体之中，可以完全避免外部光源的干扰。箱体的一侧有圆形开口，可以完美地与积分球契合，另外一侧放置有液晶显示屏，用于采集控制，方便使用者使用，具体如图2所示。图3为所设计的系统实物图。

图2 一体式舌象采集系统结构

图3 一体式舌象采集系统

1.2 光源的选择

光照是图像采集的灵魂[5]，光源在图像采集中对图像的质量起到了决定性的作用，尤其是舌象采集，对色彩还原的要求度很高。因此舌象色彩的重现，将直接影响到系统对舌象分析的准确性。中医望诊需要在白天充足、柔和的自然光下观察舌象[6]，但是很难营造出自然光源环境，因此需要选择一种接近自然光的人工光源作为舌象采集所用光源。光源的选择需要考虑光源的两个特性：显色性和色温。显色性的好坏通常用“显色指数”(Ra)来表示[7]。Ra值越高显色性越好，显色性越好图像色彩越准确。色温是表示光源光谱质量的通用指标，日光的平均色温为6 500 k，色温偏高时，图像偏蓝；色温偏低时，图像偏红。

目前在舌象信息客观化的同类研究中，所选择的光源虽各不相同，但各种标准光源是研究中比较明确的选择[8]。用于舌象采集中的人工光源大多选择色温在4 500～6 500 k之间。通过在不同色温的光源下拍摄舌象进行对比分析，发现6 500 k色温下拍摄的图像最接近肉眼观察到的图像。对比表1中的光源性能指标可以看出，白炽灯和卤钨灯虽然显色性较高，但色温偏低，散热较大且使用寿命低；荧光灯虽然有全系列色温，显色性较好，但是市面上的荧光灯体积过大；LED灯光效强，显色性好，且能够保证6 500 k的色温，使用寿命长，成本低廉，因此本设计选择贴片式白光LED灯作为采集用光源，满足性能指标的同时，也能满足尺寸小的要求。

表1 常用光源性能指标

1.3 积分球的设计

如果光源直接照射到舌体上，会导致舌体某一部分过亮，严重影响色彩还原。通过在不同光照方式下的拍摄实验，我们发现采用漫反射入射，垂直观测[9]的方式能够保证舌体受光均匀。本文通过积分球来实现漫反射。积分球是个椭圆形球体，内部涂满了漫反射材料，且分布均匀。积分球的前后两端分别有一个开口，其中一端为相机放置口，另一端放置目标舌体。舌体开口一端，设置有可调节高度的颌托，颌托采用人体工程学设计，可以有效的固定住患者的面部，保证采集过程中的稳定性。在相机的一端，上下45度的位置各有两个通光孔，用于放置光源，其中上部为主光源，下部为辅助光源。原有积分球设计仅上部有一个光源，这就导致光照无法覆盖整个舌体，导致舌体两侧边缘部分受光不足，而舌两侧同样也是舌象诊断的重要部分，本设计通过增加辅助光源来弥补这一缺陷。通光孔的内部放置有一个涂有漫反射材料的挡板，可以有效的防止光源直接照射到舌体上。图4为所设计的积分球，其中上下两个圆柱状物体为LED光源，光源上有光阑，可以根据需要调节进光量。

图4 积分球

1.4 采集与显示设备的选择

舌象采集系统的实现，需要标准光源、合理的光照环境以及性能优越的图像采集设备。因此，图像采集设备的选择需要满足以下要求：分辨率高，模数转换精度高，信噪比高等。

本系统的图像采集设备，采用大恒公司生产的MER-500-14U3x系列相机，该相机的分辨率达到2 592x1 944，采用COMS传感器，模数转换精度达到12 bit，信噪比为47 db，能够满足采集要求。显示设备统一采用DELL-E1715S液晶显示器。

2 软件系统

舌象采集系统的软件平台是基于Windows系统操作系统和Visual Studio 2013(VS2013)，VS2013是全功能C++集成开发环境，再加上MFC类库，足以满足舌象采集系统的编程需要，程序流程图如图5所示。

图5 程序流程图

在图6所示的舌象采集界面中，共有四大功能区，分别是：舌象显示区、设备控制区，采集控制区，处理控制区。

图中的舌象显示区，直接显示了患者实时的舌状态，医生可以根据显示的图像，指挥患者改变舌姿态，选择最佳的拍摄角度。

第二部分是设备控制，本部分包含4个按钮，“打开设备”按钮用于打开摄像机，注册回调函数；“开始采集”按钮使左侧图像显示区显示视频；“停止采集”用于结束采集功能，“关闭设备”按钮用于关闭摄像机，并且注销回调函数。

第三部分是采集控制，此部分包括保存图像，设置保存路径，设置图片名称，颜色校准等功能。其中“采集图像”按钮功能为保存舌图像，此时视频流定帧，“继续采集”按钮的功能是恢复视频流，保证了下一患者采集的连贯性。可以通过输入的方式对采集到的舌象进行命名，并且选择图像保存的路径。

第四部分是处理控制，其中“打开舌象”按钮用于在打开已经采集到的图像并显示在左侧图像采集区，“舌象处理”按钮功能是调用舌象处理程序，完成对舌象的分析。通过在文本框中输入相应的图片名称，可以实现对特定图片的分析。

图6 舌象采集程序界面

对软件的界面说明之后我们给出部分程序的相关定义，用来说明程序的实现原理。

GX_DEV_HANDLE m_hDevice; ///<设备句柄；

BITMAPINFO *m_pBmpInfo; ///< BITMAPINFO 结构指针，显示图像时使用；

BYTE *m_pBufferRaw; ///<原始图像数据；

BYTE *m_pBufferRGB; ///< RGB图像数据，用于显示和保存bmp图像；

char m_chBmpBuf[2048];///< BIMTAPINFO 存储缓冲区， m_pBmpInfo即指向此缓冲区；

CString m_strSavePath; ///< BMP图像默认保存路径；

BOOL m_bIsSaveImg; ///<标识是否保存图像；

BOOL m_bDevOpened; ///<标识是否已打开设备；

BOOL m_bIsSnap; ///<标识是否开始采集；

BOOL m_bIsImproveImg; ///<标识是否进行；

void GetImageImproveParam();/// 图像质量提升；

void UnPrepareForShowImg();/// 释放为图像显示准备资源；

void DrawImg();/// 显示图像；

void SaveImage();/// 保存图像。

3 白平衡参数设置方法

舌象的颜色识别是进行舌象定量和定性分析的基础[10]，如何保证颜色的准确复现是舌象采集的一个重要问题。相机白平衡参数的设定对彩色重现具有重要的作用。

白平衡分为自动白平衡和手动白平衡。自动白平衡(AWB)是指相机通过拍摄纯白色目标物自动调节RGB三个参数值[11]，但是对于色彩还原度高的舌象采集来说，即使通过相机自动白平衡也无法保证颜色的准确性，因此需要借助手动调节RGB值，并通过多位中医专家比较采集的舌象和肉眼观察到的舌体，确定出最优的RGB参数。RGB色度空间的的缺点是与设备有关，但是由于舌象分析仪的采集设备是固定的，因此可以采用RGB色度匹配。通过实验研究发现：对于RGB值的调节会直接改变图像颜色，当R值过大，即R/G>3，R/B>2时意味着红色起主导作用，拍出的照片会偏红，色温偏低，色调偏暖；当B值过大，即B/G>3，B/R>2时蓝色起主导作用，拍出的照片会偏蓝，色温偏高，色调偏冷。因此针对以上的规律，在完成显示器颜色校准以及设置好相机曝光时间的前提下，对目前使用的相机进行白平衡参数选择时采取以下步骤：

1) 置RGB参数分别为1、1和2，且不再改变G的大小。

2)针对当前参数下的照片进行主观评价，分别调节R值和B值。由于B/R=2，拍出的图像会偏蓝，因此R只能调大，B只能调小，保证比例不会大于2，且不会小于1，以一定的尺度L调节参数，拍出若干图像，记录下每张图像的参数。

3)将拍摄到的舌象同时显示于显示器上，对拍出的图像进行评价。由3人以上的经验丰富的中医专家通过比较肉眼观察的舌象，投票选出显示器上最接近肉眼观察的舌象，并记录下该舌象的RGB参数。

4)若票选出的舌象满足色彩重现，则把该图像的RGB参数作为后续拍摄的标准参数；否则，在此图像基础上，改变调节尺度L1=L/2，在此尺度下拍出若干图像，记录下每张图像的参数，将采集到的舌象显示于显示器上，由观察者比较，选出最接近肉眼观察的舌象。

5)若步骤4选出的舌象能够满足色彩还原的要求，则把该舌象的参数作为后续舌象采集的标准参数，否则返回步骤4。

按照上述方法进行了实验，并在舌体下方放置色标，对比色标颜色可以更加准确地选择合适参数，实验结果如图7所示。其中图7(a)图参数为R=1.2、B=1.8；7(b)图参数为R=1.3、B=1.8；7(c)图参数为R=1.4、B=1.8。7(a)图中由于R值较小，所以颜色偏蓝，调整R值得到7(b)图，并对比肉眼观察下的舌象，此时舌象颜色最接近期望值，继续调高R值，发现舌象颜色偏红(如图7(C)所示)。因此确定7(b)图参数为最佳参数。虽然上述方法在操作上比较繁琐，但通过中医主观观察与客观参数调节的有机结合，不仅保证了在本设备上的颜色重现，而且可以得到一套在此光照条件下标准的RGB参数，并以此RGB值转换为相应的色度值，实现图像颜色数据的规范化，为以与设备无关的CIE-XYZ或CIE-Lab色度空间的变换提供标准的颜色数据，从而为后期通过算法进行颜色校正打下基础。

图7 实验图片

4 实验与分析

为了验证所设计的一体式舌象采集分析系统的工作性能，展开了相应的实验。在光源稳定，整个系统上电之后，实验对象将下巴放置于颌托之上并保持吐舌姿势，如图8(a)所示。操作者打开舌象采集软件界面，设置图片保存路径，点击“打开设备”，设置好相机参数，点击“开始采集”按钮，此时界面显示图像，然后点击“采集图像”完成采集。点击“舌象处理”按钮，如图8(b)所示。通过框选的方式在采集的舌象上选择出诊断区域，双击此区域进行处理，诊断时间大约十几秒，诊断结果如图9所示。

图8 舌象采集与处理

图9 舌象诊断结果

从图8可以看出，本系统可以实现舌象的采集功能，并且采集到的舌象受光均匀，没有出现局部过亮的情况，充分验证了积分球漫反射的作用以及结构的封闭性。图9所示的实验诊断结果，将舌体分为5个部分，并分别对颜色、齿痕和苔厚程度进行判别，并综合中医专家的肉眼观察得出的诊断结果，二者判别结果基本一致，保证了采集过程中的颜色还原，充分验证了手动白平衡调节得到的RGB参数的准确性，从而获得标准的颜色数据。

5 结论

针对目前中医舌象客观化研究的需要，本文提出了一种一体式舌象分析仪的设计方案。首先，设计了系统结构，通过将积分球、光源、显示器以及采集设备整合到暗箱当中，不仅减小了系统体积，而且避免了外部光源的干扰，并且在舌体一端设计了一种T型遮光罩，完全阻隔了外界光源的进入；其次，通过各类型光源的显示性与色温对比，选择了一种最适合用于舌象采集的光源；在照明方式上，通过积分球实现漫反射，保证了舌体受光的均匀性。由于采用积分球使采集设备与舌体之间的距离不会太近，避免了雾化问题。针对自动白平衡在颜色校准上的不足，提出了一种手动白平衡调节方法，获得准确的RGB值作为颜色校正的标准数据，为进一步通过算法进行颜色校正奠定了良好的基础。

[1]黄 丹. 中医舌象的采集与分析研究[D]. 天津: 天津大学, 2008.

[2]邸 丹, 周 敏, 周会林,等.手持式舌象仪的研制[J]. 上海中医药杂志, 2016 , 50(2) :12-14.

[3]卫保国, 沈兰荪, 王艳清, 等.数字化中医舌象分析仪[J].中国医疗器械杂志, 2002, 26(3) : 164-166.

[4]蔡轶珩, 沈兰荪, 刘长江, 等.新型舌象分析仪关键技术研究[J].电子学报, 2006, 34(4): 713-716.

[5]沈兰荪,蔡轶珩,张新峰,等.中医舌象的采集与分析[M].北京: 北京工业大学出版社, 2007.

[6]刘 齐, 黄小阳, 王博亮,等. 自然环境下舌诊图像偏色检测及其颜色校正[J].厦门大学学报: 自然科学版,2016 ,55(2):278-284.

[7]何 岳,刘长江, 沈兰荪. 基于数字摄像机的舌象采集平台设计方案[J].世界科学技术-中医药现代化, 2007, 9(5):102-105.

[8]宋贤杰, 徐晨洁, 刘晓谷, 等. 采集舌象用光谱的研究[J].光谱学与光谱分析，2008, 28(5):978-982.

[9]蔡轶珩, 刘长江, 沈兰荪, 等. 新型舌象分析仪的设计方案[J]. 测控技术, 2005, 24(5): 34-36,47.

[10]郭 睿, 王忆勤, 颜建军, 等. 中医舌诊的客观化研究[J]. 中国中西医结合杂志, 2009, 29(7) : 642-645.

[11]刘天弼, 宋春林, 江兴歌, 等. 基于标准白色模板的扩展RGB颜色校正算法[J]. 计算机应用, 2010, 30(8) : 2083-2087.