基于对称性的颌骨复位方法研究及应用

罗月童，徐冰清，薛 浩，石放放，张 伟，丁 胜

(1. 合肥工业大学计算机与信息学院，安徽 合肥 230009；2. 合肥工业大学信息工程系，安徽 宣城 242099；3. 安徽医科大学第四附属医院，安徽 合肥 230022)

基于对称性的颌骨复位方法研究及应用

罗月童1,2，徐冰清1，薛 浩3，石放放1，张 伟1，丁 胜1

(1. 合肥工业大学计算机与信息学院，安徽 合肥 230009；2. 合肥工业大学信息工程系，安徽 宣城 242099；3. 安徽医科大学第四附属医院，安徽 合肥 230022)

针对严重错位骨折的颌骨复位口腔外科手术，提出一种帮助医生进行术前规划和准备的破损颌骨复位方法。首先使用移动立方体(MC)算法从患者CT图像中提取颌骨的面片模型；然后结合图割算法、形状直径函数(SDF)描述子和混合高斯模型的交互式分割方法，允许医生通过简单的勾画快速分割出破损骨块；最后基于颌骨的对称性特性自动完成破损骨块复位。通过破损骨块复位完成颌骨模型重构，能完整保留对医生非常重要的骨折线信息。该方法已应用于自主开发的计算机辅助破损颌骨复位系统，并使用安徽医科大学附属医院的患者数据进行了测试，结果表明了该方法的有效性。

计算机辅助手术；颌骨复位；网格分割；对称性检测

颌骨(如图1所示)因具有形态不规则、骨缝多、骨质薄弱等特点，易在运动、交通事故等过程中受到撞击而出现严重移位骨折，因此颌骨的复位与固定是非常普遍的口腔科手术[1]。CT图像已被广泛用于颌骨外科手术的术前检查和术后效果评估，近年来计算机辅助手术(computer aided surgery，CAS)领域探索基于 CT数据进一步帮助医生进行手术规划、术前准备等的方法，以进一步减少颌骨手术时间、提高手术质量[2]。

图1 颌骨示意图

Patel等[3]较早地研究了基于CT图像的颌骨手术规划和模拟系统的关键技术；Cevidanes等[4]研究了下颌骨手术中的变形计算中相关的图像处理技术；Enciso等[5]和Mollemans等[6]都针对咬合运动模拟中的软组织建模问题开展了研究；Chowdhury等[7-8]基于患者 CT图像为患者重建完整的正常颌骨模型，辅助医生进行术前规划。目前，因受时间、场地等因素的影响，多数临床医生没能使用手术模拟系统，但是完整的患者颌骨模型能方便地被医生采用，尤其随着3D打印技术的普及，完整的颌骨模型可帮助医生进行术前规划、术前准备及与患者进行沟通[9]。本文针对快速、方便重构颌骨模型的关键技术开展了研究。

因为患者两侧颌骨很少同时受伤且正常人的颌骨具有对称性，因此利用镜像原理重构完整颌骨模型是常用的方法[9]，但重构所得模型缺少骨折面信息，而骨折面对医生选择定位位置、预弯钛板等有重要参考价值。文献[7-8]首先对患者CT图像进行精确分割，然后依据分割图像重构骨折面，最后通过使用迭代最近点(iterative closest point，ICP)算法匹配骨折面，将错位骨块恢复至正常位置，从而实现完整颌骨模型的重构。其方法的效果依赖2点：①CT图像的准确分割，保证准确构建骨折面；②骨折面的准确匹配。但CT图像的自动准确分割还是一个没有完全解决的问题，而且因颌骨较薄，骨折面较窄，对很窄的面进行匹配可能带来误差，因此文献[7-8]的方法难以保证精度，或需要较多的后续处理才能满足要求。本文方法基于颌骨的对称性恢复错位骨块的位置，对称信息属于颌骨的宏观信息，具有较好的鲁棒性。

1 方法框架

本文方法的整体流程如图 2所示，即：①读入患者的CT图像数据。因为对于颌骨修复只需要关注其外观信息，无需处理骨骼内部数据，因此本文使用移动立方体算法(marching cube，MC)将CT图像数据转换成颌骨的面片模型，并使用边折叠算法[10]对 MC算法所提取模型进行优化，生成最终的颌骨面片模型。②对颌骨面片模型进行破损骨块分割，获取一组骨块。③基于对称性原理将错位骨块恢复至正常位置，从而构建完整的颌骨模型。④输出完整的颌骨模型。整个过程是一个交互过程，用户如果观察到分割结果或重构结果不符合要求，可以对分割过程或复位过程进行手工干预。

图2 本文方法整体流程

2 基于笔触的半自动骨块分割

2.1 方法选择

由图2可知，骨块分割的本质是网格分割。网格分割因为一直是图形学领域的重要问题而备受关注[11]。早期的网格分割算法多为手工分割，但手工分割费时费力，难以被非专业用户所接受。虽然人们对自动网格分割算法开展了大量研究，但对复杂网格模型进行完全自动分割仍是一个挑战[11]，因此交互式半自动网格分割算法最近颇受关注[12]，基于笔触的半自动分割方法就是其中最重要的方法之一[13]，因此本文采用基于笔触的半自动分割方法实现骨块的快速分割。

基于笔触的分割方法由用户通过绘制指定部分前景网格和背景网格，然后基于某种算法实现整个网格的自动分割，其中有 2个关键点：①如何刻画网格的局部特征，经常被采用的局部信息包括基于曲率图的测地距离[14]、Isophotic度量距离[15]、Lai等[16]提出的特征敏感度量、diffusion distance[17]、参数曲面的各向异性测地距离[18]、形状直径函数(shape diameter function，SDF)[19]等。②如何将用户的少量输入扩展到整个模型，采用算法包括区域增长[20-21]、图割(graph-cut)[22]、random walks[23-24]、hierarchical aggregation[25]等。因为破损的骨块一定是在连接处发生了突变，所以本文选择如下：

(1) 选用 SDF作为网格的局部特征。SDF值能将模型的体积信息反映到表面模型上，破损的骨块在连接处的形状突变必然引起网格SDF值的变化，此变化将成为模型分割的依据。

(2) 选择graph-cut算法。graph-cut通过最大流/最小割算法思想解决图的平滑切割问题，可以综合考虑网格自身的局部信息及相邻网格之间的连接关系。分割破损骨块的主要依据是其连接处的突变，因此将相邻网格的连接关系纳入考虑，符合骨块分割的特点。

2.2 算法步骤

文献[13]所提出的分割方法和本文的需求比较吻合，因此本文基于文献[13]的方法实现骨块分割算法，具体过程如下：

步骤1. 计算SDF值。计算颌骨表面模型S中每个三角面片 fi(fi∈S)的SDF值，记为 SDF（fi）。

步骤2. 笔触交互。用户使用鼠标交互地在需要被分割的破损骨块上绘制若干笔触，假设和笔触相交的所有三角面片属于需要被分割骨块，并记为F。

步骤 3. 建立前景高斯混合模型。对所有fj∈F的 SDF（fj）使用极大似然估计法建立高斯混合模型，记为前景高斯混合模型Gf。Gf的概率分布密度函数为：

其中，

表示第j个分量的概率分布函数；本文方法前景高斯混合模型有2个分量，即K=2。

步骤4. 建立背景高斯混合模型。和步骤3类似，对所有 fj∈（S -F）的 SDF（fj）使用极大似然估计法建立高斯混合模型，记为背景高斯混合模型Gb。Gb的概率分布密度函数为：

其中，背景高斯混合模型有4个分量，即K=4。

步骤5. 使用graph-cut算法分割。对表面模型S进行“前景-背景”分割，分割所得前景即为所求破损骨块。graph-cut算法优化式(3)所示能量函数最小：

其中，lf=1表示三角面片f被标记为前景，lf=0表示三角面片f被标记为背景。

其中，θ（fp,fq）表示相邻面片fp和fp之间的夹角。

步骤6. 观察分割结果，以图3为例。图3(a)为未分割模型，红色虚线内为骨折处。如果分割出的结果不完整或有错误，如图3(b)所示，则返回步骤2继续优化笔触；如果分割出的结果已经完全包含破损骨块，如图3(c)所示，则保留此分割结果，在此基础上进行分割，返回步骤2进行笔触交互；如果分割正确，如图3(d)所示，则转向步骤7。

步骤7. 保存分割所得破损骨块，如果还有破损骨块需要分割，则转向步骤2，否则结束。

图3 分割情况示意图

3 基于对称性的骨块复位

因为颌骨具有对称性，且患者很少出现两侧颌骨同时受损的情况，因此可以通过找到破损骨块的对称骨块，然后基于对称骨块将破损骨块复位至正常位置，这涉及 2个问题：①如何找到破损骨块对应的正常骨块，即对称性检测问题；②如何基于正常骨块将破损骨块恢复至正常位置。

文献[26]详细总结了对称性检测，文献[27]则通过处理采样点对之间的对称矩阵，检测出模型中任意全局和局部对称性，同时计算出对称部分之间的变换矩阵，不仅检测破损骨块对应的正常骨块，而且可以利用变换矩阵直接实现破损骨块的复位(图 4)。本文方法基于文献[27]实现破损骨块复位，具体过程如下：

步骤1. 预处理。

(1) 采样：从颌骨表面模型S中随机抽取N个顶点作为样本点，用SP表示样本点集。综合考虑计算速度和精度，N通常取表面模型S顶点总数的1/10。

图4 利用对称性复位的具体过程

(2) 特征计算：

①构造特征矩阵：为每个pi∈SP按式(6)构造4×4的特征矩阵 E (pi)：

其中，B表示以样本点pi为中心，以一个给定值为半径的球，表示该球的表面积，e为 B中网格的边，为e方向上的单位向量，为e∩B的长度，β(e)是以e为公共边的两个三角形法向的夹角的补角。

②构造样本点的局部坐标系：若特征矩阵E (pi)是非满秩矩阵，则认为该样本点为无效样本，进行剔除，否则求解该矩阵的特征值和特征向量，并将最小特征值对应的特征向量作为局部坐标系的 Z轴，将剩余两个特征值对应的特征向量分别作为X轴和Y轴。另外，将最小特征值和最大特征值分别作为采样点pi的最小曲率rmin和最大曲率rmax。若，则该采样点无效，其中0＜ε≤1，ε默认值为0.75。

步骤2. 对整个颌骨模型，按下列步骤获得主对称面信息F。

(1) 从样本点集SP中挑出所有属于主骨块M的样本点，记为SPM，。

(3) 使用多维尺度(multi dimensional scaling，MDS)算法将所有的 Q(pi,pj)降维到二维空间，并绘制散点图；

(4) 用户在散点图上交互勾画出点聚集密度最高的区域，用该区域中所有的点的平均值作为整个颌骨模型的主对称信息(A、B、C、D)，用该对称信息构造矩阵：

步骤3. 对破损骨块pi，按下列步骤获得将其复位到正确位置的变换矩阵Ti。

(1)从样本点集SP中挑出所有属于破损骨块pi的样本点，记为SPPi，。

(2) 从样本点集SP中挑出所有属于主骨块M的样本点，记为SPM，。

(4) 使用 MDS算法将所有的 M（pi,pj）降维到二维空间，并绘制散点图。

(5) 用户在散点图上交互勾画出点密度最高的区域，用该区域中所有的点的平均值作为破损骨块pi的变换矩阵Ti。

4 应 用

本文基于 Voreen实现颌骨复位算法，Voreen是一个开放源码的跨平台可视化编程库，由明斯特大学计算机系的可视化与计算机图形学研究中心使用 C++语言开发。Voreen提供现有的体绘制算法，也为研究者提供开发新算法的接口，使研究者能将自己的算法集成到Voreen框架中[28]。本系统的开发环境为Visual Studio 2010，在配置为Intel2.93 GHz的CPU以及NVidia GeForce GTS450显卡的个人电脑上能流畅运行。

本文使用来自安徽医科大学第一附属医院的真实数据进行测试。图5(a)为原始模型，其下颌骨中部错位，图5(b)是分割结果；图5(c)是复位后的颌骨模型。

图5 实验效果图

5 结 论

计算机辅助缺损颌骨修复技术能完成复杂骨折的个体化复位和解剖重建，对面中部骨折的治疗具有非常实用的临床价值，同时其所涉及的方面也是计算机视觉中的一个突出难点。在计算机视觉方面，本文实现了一种基于笔触的网格分割方法，对基于对称性的颌骨复位技术进行了进一步研究；CAS方面，本文实现了一个计算机辅助破损颌骨复位系统，对颌面样本数据处理效果良好，可以辅助医生提前做好术前准备和沟通工作。由于颌骨骨折的情况因个体情况不同差异较大，本文系统仍需要在实际应用中不断完善与优化，提供更准确、全面的辅助信息。

[1] King R E, Scianna J M, Petruzzelli G J. Mandible fracture patterns: a suburban trauma center experience [J]. American Journal of Otolaryngology, 2004, 25(5): 301-307.

[2] Chowdhury A S, Bhandarkar S M. Computer vision-guided virtual craniofacial surgery: a graph-theoretic and statistical perspective [M]. London: Springer-Verlag London Limited, 2011: 1-2.

[3] Patel V V, Vannier M W, Marsh J L, et al. Assessing craniofacial surgical simulation [J]. Computer Graphics & Applications IEEE, 1996, 16(1): 46-54.

[4] Cevidanes L H S, Styner M A, Phillips C, et al. 3D morphometric changes 1 year after jaw surgery [C]// Biomedical Imaging: from Nano to Macro, 2007. ISBI 2007. 4th IEEE International Symposium on. New York: IEEE Press, 2007: 1332-1335.

[5] Enciso R, Memon A, Neumann U, et al. The virtual craniofacial patient project: 3D jaw modelling and animation [J]. Studies in Health Technology and Informatics, 2003, 94: 65-71.

[6] Mollemans W, Schutyser F, Nadjm i N, et al. Very fast soft tissue predictions with mass tensor model for maxillofacial surgery planning systems [J]. International Congress, 2005, 1281: 491-496.

[7] Chowdhury A S, Bhandarkar S M. Virtual craniofacial reconstruction using computer vision, graph theory and geometric constraints [J]. Pattern Recognition Letters, 2009, 30(10): 931-938.

[8] Bhandarkar S M, Chowdhury A S, Tang Y. Computer vision guided virtual craniofacial reconstruction [J]. Computerized Medical Imaging & Graphics, 2007, 31(6): 418-427.

[9] Liu H Q, Hu Q X, Li L, et al. A study of the method of reconstructing the bionic scaffold for repairing defective bone based on tissue engineering [C]//Proceedings of PROLAMAT 2006, IFIP TC5 International Conference, June 15-17, 2006, Shanghai, China. Boston: Springer US, 2006: 650-657.

[10] Hoppe H. Progressive meshes [C]//SIGGRAPH’96 Proceeding of the 23rdAnnual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1996: 99-108.

[11] Sham ir A. A survey on mesh segmentation techniques [J]. Computer Graphics Forum, 2008, 27(6): 1539-1556.

[12] 秦绪佳, 欧宗瑛, 纪凤欣, 等. 医学图像的交互分割及三维表面重建[J]. 工程图学学报, 2001, 22(2): 94-101.

[13] Fan L B, Li L G, Liu K. Paint mesh cutting [J]. Computer Graphics Forum, 2011, 30(2): 603-612.

[14] Gatzke T, Grimm C, Garland M, et al. Curvature maps for local shape comparison [C]//Shape Modeling and Applications, 2005 International Conference. Los A lam itos: IEEE Computer Society Press, 2005: 244-253.

[15] Pottmann H, Steiner T, Hofer M, et al. The isophotic metric and its application to feature sensitive morphology on surfaces [J]. Lecture Notes in Computer Science, 2004, 3024: 560-572.

[16] Lai Y K, Zhou Q Y, Hu S M, et al. Robust feature classification and editing [J]. IEEE Transactions on Visualization & Computer Graphics, 2007, 13(1): 34-45.

[17] de Goes F, Goldenstein S, Velho L. A hierarchical segmentation of articulated bodies [J]. Symposium on Geometry Processing, 2008, 27(5): 1349-1356.

[18] Seong J K, Jeong W K, Cohen E. Anisotropic geodesic distance computation for parametric surfaces [C]//Shape Modeling and Applications, 2008. SM I 2008. IEEE International Conference on. New York: IEEE Press, 2008: 179-186.

[19] Shapira L, Sham ir A, Cohen-Or D. Consistent mesh partitioning and skeletonisation using the shape diameter function [J]. Visual Computer, 2008, 24(4): 249-259.

[20] Ji Z P, Liu L G, Chen Z G, et al. Easy mesh cutting[J]. Computer Graphics Forum. 2006, 25(3): 283-291.

[21] Wu H Y, Pan C H, Pan J, et al. A sketch-based interactive framework for real-time mesh segmentation [EB/OL]. [2015-10-15]. http://nlpr-web.ia.ac.cn/2007papers/gjhy/ gh108.pdf.

[22] Brown S, Morse B, Barrett W. Interactive part selection for mesh and point models using hierarchical Graph-cut partitioning [C]//Proceedings of Graphics Interface. New York: ACM Press, 2009: 23-30.

[23] Lai Y K, Hu S M, Martin R R, et al. Fast mesh segmentation using random walks [C]//Proceedings of the 2008 ACM Symposium on Solid and Physical Modeling. New York: ACM Press, 2008: 183-191.

[24] Zhang J Y, Wu C L, Cai J F, et al. Mesh snapping: robust interactive mesh cutting using fast geodesic curvature flow [J]. Computer Graphics Forum, 2010, 29(2): 517-526.

[25] Xiao C X, Fu H B, Tai C L. Hierarchical aggregation for efficient shape extraction [J]. The Visual Computer, 2009, 25(3): 267-278.

[26] 史 川, 叶志伟, 徐鹏捷. 对称性检测方法的研究分析[J]. 现代计算机: 专业版, 2010, 9(9): 67-69.

[27] Mitra N J, Guibas L J, Pauly M. Partial and approximate symmetry detection for 3D geometry [J]. ACM Transactions on Graphics, 2006, 25(3): 560-568.

[28] Meyer-Spradow J, Ropinski T, Mensmann J, et al. Voreen: a rapid-prototyping environment for ray-casting-based volume visualizations [J]. IEEE Computer Graphics and Applications, 2009, 29(6): 6-13.

Symmetry Based Broken Jaw Reconstruction Method and its App lication

Luo Yuetong1,2, Xu Bingqing1, Xue Hao3, Shi Fangfang1, Zhang Wei1, Ding Sheng1

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Department of Information Engineering, Hefei University of Technology, Xuancheng Anhui 242099, China; 3. The Fourth A ffiliated Hospital of Anhui Medical University, Hefei Anhui 230022, China)

For oral surgery of dislocated fracture jaw reconstruction, a broken jaw reconstruction method is presented to help doctors for preoperative planning and preparation. Firstly, marching cube algorithm is used to extract facet model from patient’s CT image data, then a sketch-based interactive segmentation method, which combines graph cut algorithm and SDF descriptor and Gaussian m ixture models, is presented to allow doctors to segment broken jaw rapidly by simple strokes; at last reconstruction is realized automatically based on the craniofacial symmetry. This method accomplishes reconstruction by reposition of broken jaw so that it can fully keep important fracture information for doctors. The method has been applied in self-developed jaw reconstruction system; patient data from The First A ffiliated Hospital of Anhui Medical University has been used for testing, the result demonstrates the effectiveness of this approach.

computer aided surgery; jaw reconstruction; mesh segmentation; symmetry detection

TP 391

10.11996/JG.j.2095-302X.2016030316

A

2095-302X(2016)03-0316-06

2015-11-06；定稿日期：2015-11-25

国家自然科学基金项目(11305205，61370167，61305093)；中石油-中国科学院重大战略合作项目(2015A-4812)

罗月童(1978–)，男，安徽青阳人，教授，博士。主要研究方向为科学计算可视化、计算机图形学和计算机辅助设计。E-mail：ytluo@hfut.edu.cn