张永弟 王浩楠 王伟志 赵立松 杨光
摘 要:
为了提高牙颌数字模型特征提取的准确性和牙齿分割的效率,提出一种几何变换和主成分分析相结合的坐标系标准化方法,并以离散曲率、法向量、形状直径函数和离散测地距离为基础特征对牙颌数字模型进行了特征提取,在此基础上进一步扩展构建了76个特征数据集。采用提出的坐标系标准化方法和数据集对上颌进行了牙齿分割实验。结果表明:改进主成分分析方法能够快速准确地实现牙颌数字模型坐标系对齐,能够准确识别牙齿的特征信息并作出标记,牙齿分割完整,平均分割准确率达到99.74%。基于改进主成分分析方法的牙颌模型特征提取方法能够极大地提高特征对牙齿的区分性,从而降低位姿对牙颌特征提取带来的负面影响,实现在特征数据较少的情况下准确分割牙齿,可为数字化口腔诊疗提供一定的参考。
关键词:
计算机图形学;牙颌数字模型;坐标系标准化;主成分分析;离散曲率;形状直径函数;离散测地距离
中图分类号:
TP301.6
文献标识码:A
DOI: 10.7535/hbgykj.2024yx03007
收稿日期:2023-06-12;修回日期:2023-09-16;责任编辑:王海云
基金项目:石家庄市科学技术研究与发展计划(161460601A)
第一作者简介:
张永弟(1976—),女,河北景县人,教授,硕士,主要从事数字化设计与优化、增材制造方面的研究。
通信作者:
杨光教授。 E-mail: y_guang@126.com
张永弟,王浩楠,王伟志,等.
改进PCA方法的牙颌特征提取和数据集构建
[J].河北工业科技,2024,41(3):212-219.
ZHANG Yongdi,WANG Haonan,WANG Weizhi,et al.
Dental feature extraction and data set construction based on improved PCA method
[J]. Hebei Journal of Industrial Science and Technology,2024,41(3):212-219.
Dental feature extraction and data set construction based on improved PCA method
ZHANG Yongdi, WANG Haonan, WANG Weizhi, ZHAO Lisong, YANG Guang
(School of Mechanical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China)
Abstract:
To improve the accuracy of feature extraction of dental digital model and the efficiency of tooth segmentation, a coordinate system standardization method combining geometric transformation and principal component analysis was proposed. Based on discrete curvature, normal vector, shape diameter function and discrete geodesic distance, the feature extraction of dental digital model was carried out, and 76 feature data sets were further expanded and constructed. The proposed coordinate system standardization method and data set were used to perform tooth segmentation experiments on the maxilla. The results show that the improved principal component analysis method can quickly and accurately align the coordinate system of the dental digital model, accurately identify the feature information of the teeth and mark them. The teeth are segmented completely, and the average segmentation accuracy is 99.74%. The feature extraction method for dental model based on improved principal component analysis can greatly improve the discrimination of features to teeth, so as to reduce the negative impact of pose on dental feature extraction, and realize accurate segmentation of teeth with less feature data, which can provide some reference for digital oral diagnosis and treatment.
Keywords:
computer graphics; dental digital model; coordinate system standardization; principal component analysis; discrete curvature; shape diameter function; discrete geodesic distance
近年来,数字化正畸技术在齿科领域的快速发展使得口腔诊疗更加安全有效。牙颌数字模型是对患者进行正畸诊断的基础。传统的牙颌模型采用石膏翻制而成,石膏在凝固时产生的膨胀会导致模型精度欠佳,且石膏模型不易保存。牙颌数字模型是经数据采集、数据预处理、曲面重构等技术将口腔内的软硬组织进行精确重建而成,解决了传统石膏模型存在的以上问题,在正畸诊疗中被广泛应用。
牙颌数字模型是数字化正畸过程中分析病情、设计矫治方案、实现牙齿分割的基础,模型特征的分类对特征提取的准确率和效率至关重要,有关模型特征的分类,柳伟[1]根据特征与模型方向的相关性将特征描述符分为旋转相关与旋转无关2类。裴焱栋等[2]提出几何特征、视觉外观和拓扑的分类方式。李海生等[3]提出将非刚性三维模型特征分为人工设计的特征描述符和基于学习的特征描述符2类。还有学者基于统计学对三维模型进行特征分类,如MAHMOUDI等[4]提出了测地距离、扩散距离、曲率加权距离等以直方图进行描述的方法。PAN等[5]提出了使用泊松直方图描述模型特征的方法。
主成分分析法(principal component analysis,PCA)是一种用于特征提取的统计方法[6-7]。近年来,不断有学者将其应用到牙颌三维模型特征提取的研究中。NAUWELAERS等[8]将传统的PCA方法和自编码器相结合对颌部形态分析方法进行了研究,结果证明PCA方法的特征提取能力与深度学习结合能够很好地提取颌部形态。ZHOU等[9]使用PCA算法对牙齿三维模型进行了粗配准,基于Delaunay三角形的区域生长算法实现了牙齿分割,但其过程需要手动配合,效率较低。ZHONG等[10]应用传统PCA算法对牙齿模型坐标系进行了对齐,但对齐过程需要多次尝试,导致牙齿分割效率较低。分析上述研究可以发现PCA算法不提供方向信息,在牙齿模型对齐时需要多次手动调整,无法自动对齐。此外,PCA算法提取的特征只能描述图像的局部信息,对于复杂的图像泛化能力较差,且鲁棒性不强[11]。若将其直接应用于牙颌模型特征提取,会影响模型特征提取的准确度和效率,导致无法精确区分牙齿的特征。
为了在牙颌模型特征提取时能够快速准确地对齐模型坐标系,在描述局部特征的同时,降低计算的复杂度并增强鲁棒性,本文对传统PCA方法进行了改进,在牙颌模型标准化的基础上利用离散曲率、形状直径函数和离散测地距离作为基础特征,并对基础特征进行扩展,构建出由76个特征信息组成的牙颌模型特征数据集。
1 牙颌数字模型坐标系标准化
1.1 PCA方法坐标系的对齐
由三维扫描仪获取的牙颌模型位置和方向是不相同的,这会影响后续特征提取的准确性。为解决此问题,本文使用归一化方式实现坐标系对齐,采用PCA法进行坐标系归一化,将模型经过某种方式转换来消除扫描仪带来的差异问题[12-13]。该方法通过协方差矩阵的特征分解寻找包含尽可能多数据的子空间,即寻找主轴建立PCA坐标系,然后将PCA坐标系变换,与空间坐标系对齐,其核心就是计算主轴方向,基于主轴调整数字模型的旋转方向。
本文使用向量矩阵对三维模型进行表示,其中V=[v1,v2,…,vi,…,vm]为模型的顶点坐标矩阵;F=[f1,f2,…,fi,…,fm]为模型的三角面片矩阵;矩阵中vi=(xi,yi,zi)表示每个顶点坐标;fi=vi,vj,vk表示每个面所包含的顶点索引。
PCA方法的几何变换过程如下。
2.3 离散测地距离
对于网格模型来说,测地距离表现了模型上2个点之间的最短距离,用测地线进行切割的结果会得到较小的失真。本文使用MITCHELL,MOUNT和PAPADIMITRIOU提出的精确测地线算法(简称MMP算法)计算离散网格模型曲面上2个点的测地距离,SURAZHSKY等[19]提出了具体实现方法:首先,构建窗口距离场,即将网格的每条边定义为一个窗口,窗口包含这条边邻域顶点的距离信息;然后,使用Dijkstra算法进行窗口的延伸,根据距离信息对窗口进行有选择的增添和删除,使窗口扩展到网格模型的表面;最后,通过回溯的方法,由窗口中记录的距离和顶点信息计算出2个点间的测地距离。
以包围盒顶面与XOZ,YOZ面的交点作为定点,计算模型上的其余点与定点的测地距离,其热力图如图11所示,可以看出测地距离的计算结果在各个牙齿上具有明显的区分性,且通过多个定点的交叉对比使得每个牙齿的区分信息增多。
2.4 牙颌模型特征数据集构建
为了提高对各个牙齿的区分性,制定了以下策略用以构建丰富的特征数据集。
通过2.1项所述方法计算出5个特征:法向量n、平均曲率KH、离散高斯曲率KG、最大曲率K1和最小曲率K2,对上述4种曲率各取其绝对值,扩展出KH、KG、K1和K24个特征值,进一步求出最大曲率与最小曲率差K1-K2 ,共计10个特征。
通过2.2项所述方法,使用30°,60°,90°和120°的圆锥角计算出形状直径函数,并得到每个圆锥射线的加权平均值、中值和平方平均值,进行归一化时分别使用参数α=1,α=2,α=4,α=8,共产生48个特征来表示不同的局部形状。
通过2.3项所述方法计算离散测地距离,使用XOY,XOZ,YOZ平面与牙颌模型外包围框的12个交点,X轴、Y轴、Z轴与包围盒6个面的交点,共计18个特定定点,模型上的全部顶点与这18个特定定点的测地距离作为特征输入,产生18个特征。
根据以上方法提取的特征,构建出由76个特征组成的牙颌模型特征数据集。
3 基于改进PCA方法的牙颌模型分割实验
首先,采用改进的PCA方法对牙颌模型进行坐标系对齐;然后,在此基础上提取76个特征作为特征输入量,选择合适的超参数,应用深度前馈神经网络算法[20]对上颌进行牙齿分割实验。其中,上颌右中切牙、右侧切牙和右尖牙分割效果如图12—图14所示,分割统计结果如表2所示。应用上述方法对上颌6颗牙分别进行分割,分割结果如图15所示。
图12—图14为自动分割牙齿效果图,其中a)图显示了牙体外的多分错点(多分错点为不属于牙体却被识别为牙体的部分,即灰色部分),b)图显示了牙体内少分错点(少分错点为本应属于牙体却未被识别的部分,即蓝色和黄色部分)。
从图15中可以看出,多分错点主要集中在相邻牙冠,少分错点主要集中在牙冠根部,结合表2中的数据可以看出,少分错点数总是少于多分错点数,说明牙冠主体的分割较为准确,且分割准确性由侧牙到尖牙逐渐提高。牙齿主体分割较完整,但存在一些体外错分点,对于体外错分点可以使用基于距离的体外孤点检测方法予以删除,从而避免其影响牙齿分割的准确率。
为评估本文方法的有效性,与YANG等[21]、GUO等[22]和XU等[23]的方法(以下分别简称YANG法、GUO法、XU法)进行了分割准确率对比,结果如表3所示。
从表3中看出,YANG法和GUO法的分割准确率分别为97.04%和97.00%,而本文方法的分割准确率为99.74%,明显高于上述2种算法的分割准确率。虽然XU法99.79%的分割准确率高于本文方法的结果,但本文使用基于改进PCA方法所获得的特征数量远远少于XU法所使用的特征数量,在减少运算时间的同时分割准确率也达到了较高的水平。
4 结 语
本文提出了一种改进PCA方法的牙颌特征提取和数据集构建方法,解决了传统牙齿分割方法准确率和效率之间的矛盾问题,通过牙齿分割实验得出以下结论。
使用离散曲率、法向量、形状直径函数和离散测地距离提取出牙颌模型的76个特征应用于牙齿分割实验后,牙齿平均分割准确率达到了99.74%,分别高于YANG法的97.04%和GUO法的97.00%。由此可以看出本文使用改进的PCA方法可降低位姿对特征提取带来的负面影响,可对牙颌模型特征准确提取,能够以较少的特征数达到较高的分割准确率和效率。
本文仅对上颌的6颗牙齿进行了分割实验,未来需要进一步对其他牙齿进行分割,以验证本文方法在其他牙齿分割中的适用性;另外,本文尚未考虑特征提取后高维特征的降维处理,后续还有待于进一步研究。
参考文献/References:
[1]
柳伟.三维模型特征提取与检索[D].上海:上海交通大学,2008.
LIU Wei.Feature Extraction and Retrieval of 3D Models[D].Shanghai:Shanghai Jiao Tong University,2008.
[2] 裴焱栋,顾克江.基于内容和语义的三维模型检索综述[J].计算机应用,2020,40(7):1863-1872.
PEI Yandong,GU Kejiang.Overview of content and semantic based 3D model retrieval[J].Journal of Computer Applications,2020,40(7):1863-1872.
[3] 李海生,孙莉,武玉娟,等.非刚性三维模型检索特征提取技术研究[J].软件学报,2018,29(2):483-505.
LI Haisheng,SUN Li,WU Yujuan,et al.Survey on feature extraction techniques for non-rigid 3D shape retrieval[J].Journal of Software,2018,29(2):483-505.
[4] MAHMOUDI M,SAPIRO G.Three-dimensional point cloud recognition via distributions of geometric distances[J].Graphical Models,2009,71(1):22-31.
[5] PAN Xiang,YOU Qian,LIU Zhi,et al.3D shape retrieval by Poisson histogram[J].Pattern Recognition Letters,2011,32(6):787-794.
[6] 杜云,张璐璐,潘涛.基于改进的主成分分析法的矿工表情识别[J].河北科技大学学报,2019,40(1):45-50.
DU Yun,ZHANG Lulu,PAN Tao.Miner expression recognition based on improved principal component analysis[J].Journal of Hebei University of Science and Technology,2019,40(1):45-50.
[7] 韩晓伟,田晓蓓.基于HHT及主成分分析的光缆识别信号特征提取[J].河北工业科技,2022,39(5):381-387.
HAN Xiaowei,TIAN Xiaobei.Feature extraction method of optical cable identification based on HHT and PCA[J].Hebei Journal of Industrial Science and Technology,2022,39(5):381-387.
[8] NAUWELAERS N,MATTHEWS H,FAN Yi,et al.Exploring palatal and dental shape variation with 3D shape analysis and geometric deep learning[J].Orthodontics & Craniofacial Research,2021,24(sup2):134-143.
[9] ZHOU Xinwen,GAN Yangzhou,XIONG Jing,et al.A method for tooth model reconstruction based on integration of multimodal images[J].Journal of Healthcare Engineering,2018,2018:4950131.
[10]ZHONG Xin,ZHANG Zhiyuan.3D dental biometrics:Automatic pose-invariant dental arch extraction and matching[C]//2020 25th International Conference on Pattern Recognition (ICPR).Milan:IEEE,2021:6524-6530.
[11]赵双双.基于深层PCA的特征提取算法研究[D].西安:西安电子科技大学,2017.
ZHAO Shuangshuang.Study of Feature Extraction Algorithm Based on Deep PCA[D].Xian:Xidian University,2017.
[12]NG S C.Principal component analysis to reduce dimension on digital image[J].Procedia Computer Science,2017,111:113-119.
[13]MARTENS J,BLANKENBACH J.An evaluation of pose-normalization algorithms for point clouds introducing a novel histogram-based approach[J].Advanced Engineering Informatics,2020,46:101132.
[14]方惠兰,王国瑾.三角网格曲面上离散曲率估算方法的比较与分析[J].计算机辅助设计与图形学学报,2005,17(11):2500-2507.
FANG Huilan,WANG Guojin.Comparison and analysis of discrete curvatures estimation methods for triangular meshes[J].Journal of Computer-Aided Design & Computer Graphics,2005,17(11):2500-2507.
[15]MEYER M,DESBRUN M,SCHRDER P,et al.Discrete differential-geometry operators for triangulated 2-manifolds[C]//Visualization and Mathematics Ⅲ.Berlin:Springer,2003:35-57.
[16]张猛,陈双敏,舒振宇,等.点云曲面上的形状直径函数[J].计算机辅助设计与图形学学报,2017,29(7):1203-1209.
ZHANG Meng,CHEN Shuangmin,SHU Zhenyu,et al.The shape diameter function on point clouds[J].Journal of Computer-Aided Design & Computer Graphics,2017,29(7):1203-1209.
[17]SHAPIRA L,SHAMIR A,COHEN-OR D.Consistent mesh partitioning and skeletonisation using the shape diameter function[J].The Visual Computer,2008,24(4):249-259.
[18]SHAPIRA L,SHALOM S,SHAMIR A, et al.Contextual part analogies in 3D objects[J].International Journal of Computer Vision,2010,89(2):309-326.
[19]SURAZHSKY V,SURAZHSKY T,KIRSANOV D,et al.Fast exact and approximate geodesics on meshes[J].ACM Transactions on Graphics,2005,24(3):553-560.
[20]毛勇华,桂小林,李前,等.深度学习应用技术研究[J].计算机应用研究,2016,33(11):3201-3205.
MAO Yonghua, GUI Xiaolin, LI Qian, et al. Deep learning application technology research [J].Computer Application Research, 2016,33(11) : 3201-3205.
[21]YANG Shijie,LI Liang,WANG Shuhui,et al.A graph regularized deep neural network for unsupervised image representation learning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:7053-7061.
[22]GUO Kan,ZOU Dongqing,CHEN Xiaowu.3D mesh labeling via deep convolutional neural networks[J].ACM Transactions on Graphics,2015,35(1):1-12.
[23]XU Xiaojie,LIU Chang,ZHENG Youyi.3D tooth segmentation and labeling using deep convolutional neural networks[J].IEEE Transactions on Visualization and Computer Graphics,2019,25(7):2336-2348.