基于Stacked Hourglass的智能康复评估系统研究

卢鹏飞　郑建立　尹梓名

摘要：2020年康复领域异常严峻，一方面，疫情爆发，人群不易聚集，患者不方便去医院或者康复中心做康复及检测身体状况，另一方面，全球人口老龄化问题加剧，老人腿脚不方便，不便于频繁地去康复中心复查，并且全国康复中心资源较少，不仅造成康复师工作压力增大，还会出现医患沟通不充分，延误康复等问题。随着人工智能技术不断发展，机器视觉在人工智能中的表现尤为突出，其中骨架识别不断被认可，应用在了多个领域。因此本次研究设计了基于StackedHourglass的智能康复评估系统，期望可以提高康复医师工作效率。本系统主要为智能康复评估，首先构建以量表为中心，建立量表答题结构的数据库，将量表储存在数据库中。其次，将骨架识别移植到移动端软件识别出量表所需数据。然后，将骨架识别数据通过计算，算出填表所需值，智能填表。最后，通过各个量表数据，全部显示出来并提供给康复师，让康复师了解患者状况。通过这些步骤设计量表模型，完成智能康复评估。

关键词：骨架识别;Hourglass;TensorFlow;智能量表

【Abstract】Thefieldofrehabilitationin2020isextremelysevere.Ononehand，theoutbreakoftheepidemicmakesitdifficultforpeopletogather，anditisinconvenientforpatientstogotohospitalsorrehabilitationcentersforrehabilitationandchecktheirphysicalconditions.Ontheotherhand，theproblemofglobalpopulationaginghasintensified，andthelegsandfeetoftheelderlyareinconvenient.Notonlyfrequentvisitstorehabilitationcentersforreviewandfewerresourcesinrehabilitationcentersacrossthecountryincreasetheworkpressureofrehabilitationpractitioners，butalsoinadequatecommunicationbetweendoctorsandpatientsanddelaysinrehabilitationwillalsohappen.Withthecontinuousdevelopmentofartificialintelligencetechnology，theperformanceofmachinevisioninartificialintelligenceisparticularlyprominent，amongwhichskeletonrecognitioniscontinuouslyrecognizedandappliedinmanyfields.Therefore，thisstudydesignsanintelligentrehabilitationevaluationsystembasedonStackedHourglass，hopingtoimprovetheefficiencyofrehabilitationphysicians.Thissystemismainlyforintelligentrehabilitationassessment.First，buildadatabasewiththescaleasthecenter，establishthestructureofthescale，andstorethescaleinthedatabase.Secondly，transplanttheskeletonrecognitiontothemobileterminalsoftwaretorecognizethedatarequiredbythescale.Then，theskeletonidentificationdataiscalculatedtoachievetherequiredvalueforfillingtheform，andtheformisfilledintelligently.Finally，throughthedataofeachscale，allaredisplayedtotherehabilitationpractitioner，sothattherehabilitationpractitionercanunderstandthepatient'scondition.Throughthesesteps，thescalemodelisdesignedtocompletetheintelligentrehabilitationassessment.

【Keywords】skeletonrecognition;Hourglass;TensorFlow;intelligentformfilling

作者簡介：卢鹏飞（1994-），男，硕士研究生，主要研究方向：医学人工智能;郑建立（1965-），男，博士，副教授，主要研究方向：医学信息系统与集成技术、医学仪器嵌入式技术;尹梓名（1986-），男，博士，讲师，主要研究方向：临床决策支持、医学人工智能。

0引言

智能康复评估系统是用户通过手机等移动端使用摄像头等硬件运用机器视觉来非人工填写康复健康表并辅助患者训练的智能系统，让康复师和患者随时随地了解患者或自己的康复状况，可以免去医生和患者必须在固定位置、固定时间诊断所造成的资源浪费，大大地减少了医生和患者双方的时间和经济成本，同时也可以避免一些误诊，错填的意外情况[1-3]。智能量表的准确性和完整性对后续的康复计划和康复实施都具有重大意义。考虑到疫情的影响，许多医院及康复中心每天的接诊人数受限，并需要先预约才能就诊，这就导致预约患者多数时候都要等待数日才能就诊，既耽误康复进度，又可能会进一步加剧医患矛盾。为了改变康复诊断现状，就会希望能够依托骨架识别等智能技术手段，实现智能量表和智能训练，以优化康复流程。智能量表就是智能填写康复量表，患者可以在任意地点、任意时间完成康复量表的智能填写，通过骨架识别的技术，模拟康复师与患者的问诊流程，智能收集患者身体状况等信息，形成初步的康复量表，以供康复师了解康复进度。智能训练就是智能指导辅助患者训练，患者同样解除了时间与地点的束缚，可以随时随地训练。

骨架识别技术是通过深度学习技术学习出人体的骨架，行为识别分析的相关研究可以追溯到1975年Johansson[4]的一个实验，研究提出了12点人体模型，这种描述行为的点模型方法对后来基于人体结构的行为描述算法起到了重要的指导作用。在引发学界广泛关注的同时，骨架识别技术也开始进入发展阶段，通过对多个人物图像数据集进行学习，输出相关的骨架关键点位置数据。目前，世界范围内开放骨架识别主要有OpenPose[5-6]等，中国方面则有清华大学-紫为云使能中心、京东云人体关键点检测等。但在垂直领域，如康复，相关的骨架识别并不多，且多以治疗为主。

本次研究的主要内容是基于StackedHourglass的智能康复评估训练系统。研究中将使用康复中心正规的康复量表建立量表数据库，将一些可以智能量表的数据整理出来，在系统中运用骨架识别技术进行智能量表，并将其数据存入数据库SQLite中，以供康复师使用。此后通过患者类型，将患者分配到不同的训练中，患者可以随同制作好虚拟人物一起训练。通过骨架识别，系统可识别出患者的动作是否标准并给予提示，再对患者的动作进行后续的评估和打分，填入量表中。

1骨架识别模型构建

本系统运用的是StackedHourglass骨架识别模型，该模型是通过多个沙漏网络串联起来得到的，通过各个沙漏模型输出的关节点信息来提高各个关节点的识别精度，再通过中间监督的方式来提高精确度。沙漏网络是StackedHourglass模型的核心部分，可通过提取多层次的特征来识别出骨架的关键点，是对CNN神经网络的一次升级，具有更高的准确性。

1.1沙漏网络

首先，要了解沙漏网络与CNN神经网络的不同。CNN网络是通过不断的分层提取特征，而后使用最后一层的卷积特征进行识别，这会造成一些图片信息的丢失，并且由于骨架关键点的不同最好的识别精度会发生在不同层次的特征图上，由此则会造成骨架识别各个关键点的最佳精度不能统一在一个特征图上，而沙漏网络就很好地解决了这个问题。

沙漏网络中使用了多层的特征，整体结构如图1所示，就像一个沙漏，C1～C7就与CNN网络一样，可进行深层特征提取。而与其不同的是，沙漏网络又在位于其后的C1a～C4a中复用了C1～C4，并运用在后面的层次中，这样就防止了信息的缺失。

在后半部分，沙漏网络通过合并2个不同的层次，如C4b是通过对C7进行上采样扩大一倍后再与C4a合并而来，通过这样的层层叠加后，最后一层C1b就保留了所有图像的信息。

1.2数据集

本次实验选用的是AIChallenger数据集。AIChallenger数据集是由“AIChallenger全球AI挑战赛”提供的，这是目前对于骨架数据标记较为完善的数据集。本数据集包括着70万个人体动作分析标注数据、30万张图片场景标注和语义描述数据，是国内迄今公开的规模最大的科研数据集。

AIChallenger数据集如图2所示。本次实验选取了22447个人体图片数据作为训练集，1501个作为测试集。本实验只需要单人的骨架识别，因此所有的图片数据都是单个人的图像数据，具有很好的针对性。

1.3实验结果

本实验通过对比较常用的开源骨架识别技术openpose和本次研究选用的骨架识别技术Hourglass进行对比。实验结果见表1。

从表1的结果可以看出，Hourglass的关键点正确估计的比例高于目前常用的骨架识别技术openpose，由于openpose主要使用多个CNN进行训练，而在前文的介绍中，提到了Hourglass比CNN所保留的数据更多，并且运用中间监督提升了精确度，所以Hourglass骨架识别整体效率同样高于openpose。

2康复评估系统设计

2.1系统架构

本次研究的康复评估训练系统，以Android手机软件作为系统与患者的交互的载体，通过手机端的摄像头获取图像数据，并对获取的图像数据进行深度学习，将其量化，整理出量表所需要的数据。整体系统架构如图3所示，应用层包括渐进式的情景交互康复评估虚拟场景、康复效果评估和康复量表评估。其中，康复效果评估为动态评估，通过在训练过程中，患者所做出的动作是否标准，进行一个完整性的评估，而康复量表评估为静态评估，让患者做出一个动作，对该动作的程度进行评估。在姿态评估与数据存储层中，姿态评估运用的是StackedHourglass骨架识别技术，由计算机训练出具有较高准确率的模型，再通过TensorFlow-lite技术，将模型移植到移动端，在识别出骨架关键点后通过静态评

估运算和动态评估运算得出量表所需要的数据，存入数据库中，供系统的康复评估使用。

2.2康复评估

康复评估主要是对患者的康复状况进行一次智能填写康复量表，系统会根据患者的个人情况分配患者需要评估的康复量表，患者根据提示进行操作，在许多问题上，可以通过骨架识别技术帮助患者完成康复量表，具体如图4所示。由图4可知，患者登录自己的账号进入主界面2，点击参加评估，进入界面3选择自己要评估的量表，进入界面4，根据提示进行评估，在评估中，如界面4中的题目就可以运用智能评估，点击智能评估，患者将手机放在手机支架上，正对自己，界面上显示患者的图像，系统播放动作动画与语音，患者跟随动画和语音提示来做一些康复量表所需要的动作，手机摄像头会对患者的动作进行捕捉，实时获取其关节点信息保存到数据库中，再将所需数据通过计算得出量表的所填项填写到量表中，展示到界面7上，评估结束后可在主界面2上点击“我的评估”获取如界面8展示的评估信息。

2.2.1静态评估

在该模块中，通过骨架识别出来的数据需要通过计算处理得出系统所需要的数据，如在填写关节活动度量表中，需要测量左肘关节活动的最小角度，此时就需要获取该患者左手肘、左手腕和左肩膀的關键点位置，由于运用的是移动端前置摄像头，所以左手位置也在图像左边，通过对3个关键点的位置数据，计算出其手肘角度。左手肘角度计算流程如图5所示。由图5可知，A表示系统通过骨架识别出来的左手腕、左手肘和左肩的关键点标记，B表示识别出的各个关键点的位置坐标，C为角度计算公式，通过该公式，得出D的结果，再将结果填写进康复量表中。

2.2.2動态评估

康复训练评估主要是帮助患者自己进行康复的训练，通过随同手机屏幕上的虚拟虚线人物的动作进行康复训练，系统会提示患者调整自己的姿势，起到很好的规范动作作用，并对患者训练的动作进行评估。

虚拟虚线人物如图6所示，这个动画是通过MOHO动画制作软件制作，先将头部四肢躯干等绑定好骨骼，对虚拟人物做训练所需要的动作，再将该动画转为gif格式，移植到系统中去。

在评估中，系统通过骨架识别出来的数据需要通过计算处理得出系统所需要的数据，该评估通过计算出人体四肢的角度，实时对患者的训练动作做出评价，系统中会设定好该训练动作于该时段内四肢角度的一个范围，系统识别出的角度如果有一个在此范围之外，会在界面上显示红叉，如果四肢角度都在此范围内就会显示绿勾，最后会根据绿勾与红叉的比例进行一个打分，判断康复训练的完成度，并将该评分计入康复量表中，参与量表的评估。

3结束语

本文设计的基于StackedHourglass的智能康复评估系统能通过骨架识别的技术让患者可以在空闲之余对自己的康复情况进行一定的评估与训练，可以免去医生和患者必须在固定位置、固定时间诊断所造成的资源浪费，大大地减少了医生和患者双方的时间和经济成本，同时也可以避免一些误诊，错填的意外情况。此外，患者也可以随时随地进行康复训练，加快其康复进程。

本系统在疫情期间可以有效防止康复中心人群聚集，减少医患接触，同时也可以缓和医患关系。但是现阶段康复量表数据较少，也只做了骨骼活动度的量表评估和训练评估，具有一定的局限性，因此，如何兼容其他复杂的量表将会是下一步的研究方向。

参考文献

[1]NEWELLA，YANGKaiyu，DENGJia.StackedHourglassnetworksforhumanposeestimation[M]//LEIBEB，MATASJ，SEBEN.ComputerVision-ECCV2016LectureNotesinComputerScience.Cham：Springer，2016，9912：483-499.

[2]BAOWenxia，YANGYaping，LIANGDong，etal.Multi-residualmodulestackedHourglassnetworksforhumanposeestimation[J].JournalofBeijingInstituteofTechnology，2020，29（1）：110-119.

[3]HUAGuoguang，LILihong，LIUShiguang.Multipathaffinagestacked—hourglassnetworksforhumanposeestimation[J].FrontiersofComputerScience（print），2020，14（12）：219-229.

[4]JOHANSSONG.Visualmotionperception[J].ScientificAmerican，1975，232（6）：76-88.

[5]都文龙.基于多尺度级联沙漏网络的人体姿势估计[D].杭州：杭州电子科技大学，2019.

[6]陈汝峰，谢鹏飞，彭成，等.基于OpenPose的人体姿态检测系统设计与实现[J].电子世界，2020（17）：183-184.

[7]曹青峰.基于深度学习的人体骨架动作识别[D].徐州：中国矿业大学，2020.

[8]YANGHaiwei，JIANGPeilin，WANGFei.Multi-view-basedposeestimationanditsapplicationsonintelligentmanufacturing[J].Sensors，2020，20（18）：5072.

[9]MIURAT，SAKOS.3Dhumanposeestimationmodelusinglocation-mapsfordistortedanddisconnectedimagesbyawearableomnidirectionalcamera[J].IPSJTransactionsonComputerVisionandApplications，2020，12（1）：4160-4169.

[10]赵康.利用稀疏编码结合深度学习的人体姿态估计[J].信息技术，2020，44（9）：61-65，69.

[11]BASTIANBT，VICTORJC.Detectionandposeestimationofauto-rickshawsfromtrafficimages[J].MachineVisionandApplications，2020，31（6）：393-403.

[12]LIYang，LIKan，WANGXinxin，etal.Exploringtemporalconsistencyforhumanposeestimationinvideos[J].PatternRecognition，2020，103（1-3）：107258.

[13]BENZINEA，LUVISONB，PHAMQC，etal.Single-shot3Dmulti-personposeestimationincompleximages[J].PatternRecognition，2020，112（1-2）：107534.

[14]BINYanrui，CHENZhaomin，WEIXiushen，etal.Structure-awarehumanposeestimationwithgraphconvolutionalnetworks[J].PatternRecognition，2020，106：107410.

[15]ZHENGGuanghui，WANGSuyu，YANGBin.Hierarchicalstructurecorrelationinferenceforposeestimation[J].Neurocomputing，2020，404：186-197.

[16]YANGXiaohan，LIXiaojuan，GUANYong，etal.Overfittingreductionofposeestimationfordeeplearningvisualodometry[J].ChinaCommunications，2020，17（6）：196-210.