基于图像处理的高精度耳蜗三维重建系统

米云珂+李筠+杨海马+徐妤婷+徐斌+徐炜

摘 要：为满足优质助听器需求，设计了一种基于图像处理的高精度3D耳蜗扫描重建系统。系统基于单目视觉方案进行设计，DLP4500投射结构光对耳蜗模型进行扫描，相机高速抓取图片发送给PC机，PC机通过程序调用Opencv链接库函数，对接收到的二维图像进行处理，不断提取点云数据，对提取的点云数据利用三角网格重构算法进行重建。标准立方体的测试结果显示，整个系统的扫描精度在0.2mm以内，扫描时间为2分钟，在保证高精度的同时，运行时间相比同类设备有了很大提高，大大提升了生产效率。

关键词：3D扫描；结构光；点云；三角网格重构

DOIDOI：10.11907/rjdk.172269

中图分类号：TP317.4

文献标识码：A 文章编号：1672-7800（2018）002-0216-03

1 系统介绍

调查数据[1]显示，我国大约有15.8%的人听力存在障碍，而佩戴合适的助听设备能解决90%以上的听力问题。助听器市场主要集中在发达国家，中国的销售仅占市场总份额的3%，有很大的潜力，为此设计了一种基于图像处理的高精度3D耳蜗扫描重建系统。

扫描系统主要利用相移结构光[2]对物体进行扫描，扫描过程中光栅产生变形，相机高速抓取图片发送给PC机，程序调用Opencv里的链接库函数对接收到的图像进行处理，先生成Depth Map（即深度图），从中提取点云数据，然后基于三角网格重构算法对耳蜗模型进行重建。

1.1 方案选择

3D重建有两种不同的设计，一种是基于双目视觉[3]，另一种是基于单目视觉，所以大致可以分为双目和单目两种方案。两种方案都是通过摄像头采集图像数据，然后从图像数据上得到所需要的信息，具体区别如表1所示。

双目方案所需计算量[4]相对单目方案要大很多，除此之外还要考虑整个系统的成本，单目方案仅使用一个相机，系统成本大大降低。综合考虑以上因素，决定采用单目方案进行设计。系统整体结构如图1所示。

1.2 硬件选择与设计

硬件主要由结构光投影设备[5]与相机组成，本设计选用TI公司生产的DLP4500和灰点工业相机[6]进行配套设计，相机型号为FL3-U3-13Y3M-C，最大帧率可达到150帧/s。

采用camera触发lightcrafter4500，即相機触发投影设备[7]的方式，因为这种方式比较好控制同步和延迟。系统设计选用的相机触发端口为TRIG1，相机触发过程中输出3.3V的触发信号，可通过示波器测量得到。

1.3 相机标定

相机结构大多情况下可简化为针孔模型[8]，也即是说，一幅图像的获得通常是先对空间中的三维点进行透视变换，然后再通过图像平面投影得到，其定义如式（1）所示：

或者写成式（2）的形式：

在上述表达式中，（X，Y，Z）代表空间中一个点的世界坐标[9]，与其相对的（u，v）则表示该点投影在图像平面上的坐标，A通常称为内参数矩阵；（cx，cy）是基准点（通常在图像的中心），（fx，fy）是以像素为单位的焦距。使用函数cvCalibrateCamera2[10]进行标定，计算相机内参数和外参数，格式如下：

Void cvCalibrateCamera2 （const CvMat*object_points，const CvMat*image_points，const CvMat*point_consts，

CvSize image_size，CvMat*intrinsic_matrix，CvMat*distortion_coeffs，

CvMat*rotation_vectors=NULL，CvMat*translation_vectors=NULL，Int flags=0）；

函数主要功能是获得相机的内参数，以及每个视图外参数的大致估算值，在大致估算出内参数矩阵和外参数矩阵的初始值后，它们会被优化用来减小反投影误差。

1.4 提取点云数据

要提取点云数据，首先要得到物体的深度图。图像深度[11]指存储每个像素所用的位数，它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。比如一幅单色图像，若每个象素有8位，则最大灰度数目为28，即256。一幅彩色图像RGB 3个分量的像素位数分别为4，4，2，则最大颜色数目为2的4+4+2次方，即1 024，就是说像素的深度为10位，每个像素可以是1 024种颜色中的一种。对图像进行处理并显示的函数如下：

style="font-size：18px；">unsigned short*data=（unsigned short*）（pImg->imageData）

for（i=0；i

for（j=0；j

{

data[j+i*（WIDTH）]=array[j+i*（WIDTH）]；

}

cvMinMaxLoc（dst，&m，&M，NULL，NULL，NULL）；//找出dst中，所有数据的最大值和最小值

cvScale（dst，dst，65535/（M-m），65535*（-（m+1））/（M-m））；//把dst中的数据映射到0-65535的范cvShowImage（"source image"，pImg）；//完成了上述深度转换，接下来才能用cvshowImage来显示

经过预处理后的深度图像具有二维信息，像素点的值是深度信息[12]，表示物体表面到相机之间的直线距离，以mm为单位。

1.5 点云数据重构

提取点云数据后，利用三角网格重构算法[13]进行重建。主要遵循以下3个规则：

（1）探测邻域规则：以活动边Eij的中点M为球心，以探测半径R为半径形成一个球邻域，球邻域中的点就是最初的候选点集，见图2（a）。

（2）活动边内外侧规则：经过活动边Eij并垂直于活动边三角形Δijk的平面，将空间分为两侧，所在的一侧称为活动边Eij的内侧，另一侧称为活动边Eij的外侧，见图2（b）。

（3）局部重叠规则：为了防止新构成的三角形与原已生成的三角形在空间上重叠，对候选点集每个点Vl进行重叠规则测试，将Vi关联三角形的边以及新三角形的两条新边，投影到Vi的局部切平面上。在投影平面上判断两条新边Eij、Eij是否和其它边相交。如果相交，该点从候选点集中删除，对Vj也进行同样的测试，见图2（c）。

确定点的局部切平面[14]实际是求该点的估计法矢量，设已知V的最近点集如式（3）所示。

V点的估计法矢量最小值如式（4）所示。

问题转化为计算协变矩阵C=∑k[]i=1（Qi-V）T·（Qi-V）的最小特征值对应的特征向量，该特征向量即为所求的切平面估计法矢量。

2 系统测试

系统测试分为两个部分，首先利用标准立方体对整个系统进行误差测试，然后再对标准的耳蜗模型进行扫描。

2.1 标准立方体扫描测试

通过对标准立方体进行扫描计算测量精度，使用立方体的参数为：长3.226cm，宽2.172cm，高1.080cm，扫描测试使用的标准立方体，及对立方体扫描过程中提取点云数据并进行重建后得到的结果如图3所示。

误差测试采用多次试验取算术平均值进行测量，获得扫描误差的大致估算值。实验数据如表2所示。

由实验结果可以看出，模型长度平均误差为0.176mm，宽度平均误差为0.174mm，高度平均误差为0.172mm；扫描的平均时间为109.2s。

2.2 实际耳蜗模型扫描测试

经过基本的运行及测试之后，就本系统设计所要扫描的实际对象——耳蜗模型进行扫描，扫描的耳蜗模型实物图，及对耳蜗模型扫描过程中不断提取点云数据并进行重建后得到的结果如图4所示。

3 结语

三維扫描是工业生产及科学研究重要的组成部分，扫描精度和扫描时间直接影响生产的顺利进行以及生产效率。绝大多数设备扫描时间都比较长，检测精度较低。从本实验可以看出，本文设计的系统不仅可以很好地实现所需功能，完成对耳蜗模型的扫描及三维重建，而且精度可以达到微米级。

参考文献：

[1] 李叶红，刘晓英.中国老年人市场的助听器销售模式分析[J].消费导刊，2012（10）：98-99.

[2] 万飞飞.基于图像的人体点云模型重建[D].北京：北京服装学院，2012.

[3] MAOTENG ZHENG，JUNFENG ZHU，XIAODONG XIONG，et al.3D model reconstruction with common hand-held cameras[J].Virtual Reality，2016（20）：221-235.

[4] 黄志伟.基于断层扫描数据三维建模技术研究[D].南京：南京航空航天大学，2015.

[5] XIONG JIE，ZHONG SI DONG，LIU YONG，et al.Automatic three-dimensional reconstruction based on four-view stereo vision using checkerboard pattern[J].J Cent South Univ.，2017（24）：1063-1072.

[6] 祝风翔.基于图像的深度获取方法研究[D].杭州：浙江大学，2016.

[7] 陶旺林，卢选民，刘李娟，等.基于OpenCV的非线性图像畸变校正研究[J].现代电子技术，2011，34（12）：117-120.

[8] 王莉，朱仁江，戴特力.三维测量中的照相机单机定标原理及标定算法研究[J].重庆师范大学学报：自然科学版，2005，22（3）：90-93.

[9] 张俊.基于线扫描的物体表面重构[D].天津：南开大学，2013.

[10] MATTHEW BERGER，ANDREA TAGLIASACCHI，LEE M，et al.A survey of surface reconstruction from point clouds[J].COMPUTER GRAPHICS forum，2017（36）：301-329.

[11] 王蒙.基于大规模点云数据的三维重建和纹理映射研究[D].南昌：南昌大学，2014.

[12] 刘辉，王伯雄，任怀艺，等.基于三维重建数据的双向点云去噪方法研究[J].电子测量与仪器学报，2013，27（1）：1-7.

[13] 赵东威.基于结构光的3D重建系统[D].南京：南京大学，2010.

[14] DIEGO THOMAS，AKIHIRO SUGIMOTO.Parametric surface representation with bump image for dense 3D modeling using an RBG-D camera[J].Int J Comput Vis，2017（123）：206-225.endprint