基于用户版自我管理类的移动医疗APP评价体系构建

刘佩玉，何伟嘉，张小曼

徐州医科大学 护理学院，江苏 徐州 221004

引言

用户版自我管理类APP是指面向患者并帮助患者自行做出决策来管理自己疾病的移动医疗APP，以此增强患者的自我效能感，提高患者的生活质量。近年来自我管理类APP在癌症、冠心病、高血压、肥胖等慢性病领域得到广泛应用[1-3]。有数据显示[4]，2018年我国移动医疗市场规模已达到290亿元左右，同比增长45%，预计2020年突破500亿元。但快速发展也导致移动医疗APP行业门槛低，有些用户版自我管理类APP的信息内容和安全隐患会给用户带来误导甚至是伤害[5]。针对这些问题，西方一些机构和研究者开始研究移动医疗的质量标准。其中比较有影响力的质量标准包括美国食品药物监督管理局2015年颁布的美国移动医疗上市的应用指南[6-7]，Stoyanov等[8]设计的移动医疗质量评估工具（Mobile APP Rating Scale，MARS）和Grif fiths等[9]设计的信息质量评估量表（Silberg Scale）等。我国在自我管理类APP质量评价方面的研究多是对某一种APP的可行性和临床效果的评价。如阮佳音等[10]通过统计试用期间软件故障次数和软件使用情况来评价炎症性肠病类APP的可用性；陈可涵等[11]从功能、收费标准和安全性三方面对共享护士软件进行系统性评价。这些不同的应用程序存在评价标准单一或不一致等问题。因此，本研究通过德尔菲法和层次分析法构建用户版自我管理APP的评价指标体系，为进一步的验证和应用奠定基础。

1 研究方法

1.1 指标初步框架

本研究通过文献查阅法，汇总、整理后提取了可用性、技术指标、内容指标、数据安全和基础特征5个方面92项条目。采用目的抽样法对14名医护人员、9名患者进行半结构式访谈。课题小组整理、综合了文献查询和半结构式访谈结果，初步构建评价指标体系。

1.2 专家函询

1.2.1 专家遴选

本研究的函询专家来自临床、教育和信息技术3个领域。专家纳入标准为：临床专家：主管护师或主治医师及以上职称；从事相关领域10年及以上，有丰富的临床经验和使用自我管理类软件的经验；硕士及以上学历。教育专家：副教授及以上职称；从事相关领域10年及以上，在医学信息领域有丰富的教学或科研经验；硕士及以上学历。信息技术专家：从事相关领域3年及以上，有丰富的开发软件经验；本科及以上学历。

1.2.2 制定函询表

专家函询表包含专家一般资料表、评价体系表、专家判断依据和熟悉程度3个部分。一般资料表包括专家姓名、年龄、学历、从事的岗位、工作年限等。评价体系表中各评价指标采用Liket-5级评分法（5=非常重要；4=重要；3=一般；2=不太重要；1=不重要），专家根据理解和经验对各项指标的重要程度进行打分。另外在“修改意见”一栏中专家可以填写各指标的修改意见或增删意见。专家判断依据分为理论分析、实践经验、对国内外同行的了解和专家直觉；专家熟悉程度分为很熟悉、熟悉、一般、不太熟悉、不熟悉。

1.2.3 实施专家函询

2020年6月至8月进行了两轮专家函询。对函询结果的指标筛除标准为：赋值平均值<4，或者满分率＜50%且≥4的选择率<70%[12]。根据专家的意见，并经课题组充分讨论，形成最终指标架构。

1.3 一致性检验及权重计算

利用Yaahp 12.5软件构建层次结构模型和判断矩阵，通过判断矩阵进行一致性检验，并计算得到各指标的权重值。若不满足一致性条件，将会对判断矩阵进行修改，直至一致性检验符合要求。

1.4 统计学分析

使用SPSS 16.0进行数据处理和统计学分析。计数资料以人数、百分比表示。计量资料以均数和标准差（±s）表示。专家积极系数由函询表回收率表示，专家权威系数由Cr表示[12]。专家意见一致性由变异系数和肯德尔系数W表示。使用Yaahp 12.5计算指标权重。检验水准α=0.05。

2 结果

2.1 专家一般资料

两轮均有26名专家完成了函询表，平均年龄在40～49岁，其中临床领域专家7人；教育领域专家5人；信息领域专家5人；临床和教育交叉领域专家3人；信息和教育交叉领域专家6人。

2.2 专家积极系数和权威系数

第一轮共发放函询表27份，回收26份，专家积极系数为96.3%。第二轮发放函询表26份，回收26份，专家积极系数为100.0%。两轮专家权威系数Cr为0.85和0.87。

2.3 专家意见一致性

两轮各级指标的变异系数范围分别是0～0.23和0～0.22。两轮肯德尔系数W分别为0.232和0.227，χ2为150.88和165.37。经显著性检验后，差异有统计学意义（P<0.001），专家意见一致性较好。

2.4 函询结果

第一轮专家函询结束后，结合指标筛选标准和课题组讨论结果，修改了13项指标的文字表述方式，将7个条目合并成4个条目，删除了5个条目，增加了6个条目。

相较于第一轮，第二轮专家提出的意见大幅减少。第二轮修改了4项指标，删除了1项三级指标。最终形成了一级指标4项、二级指标23项、三级指标59项的评价指标体系。

2.5 指标评估值

基于用户版自我管理类的移动医疗APP评价指标体系各具体评估值见表1～2。

表1 一级和二级指标评估值（第二轮）

表2 三级指标评估值（第二轮）

3 讨论

3.1 用户版自我管理APP评价体系构建的重要性

随着互联网时代的到来，互联网与医学技术的结合逐渐密切，形式也愈加多样化。国内关于慢性病患者自我管理的研究相继增多，自我管理类APP的数量和种类也逐渐丰富[13]。但在其蓬勃发展的同时也存在质量良莠不齐的情况。Li等[14]采用MARS和Silberg量表对一些应用程序的有效性进行了测量，但MARS量表目前尚没有汉化版，而且因为国情不同，在我国应用的信效度值得商榷；且Silberg量表仅是针对信息质量，不包括对APP整体性能的评估。2018年，国务院在颁布《关于促进“互联网+医疗健康”发展的意见》中提出要加强医疗质量监管，鼓励出台规范互联网诊疗行为的管理办法[15]。因此，我国亟需构建科学、合理的自我管理类APP评价指标体系，进而使用正确的评估工具、评估方法提高自我管理类APP的质量，为慢性病患者提供一个安全可靠的线上管理环境。

3.2 用户版自我管理类APP评价体系构建的科学性和可靠性

本研究26名专家涵盖了临床、教育和信息技术3个领域。其中临床专家包括临床管理和临床技能；信息技术专家包括医学信息研究员、软件工程师、软件测试工程师、技术经理等；教育专家也是在医疗信息方面有相关研究并熟悉自我管理类APP发展现状的专家。26名专家来自北京、上海、浙江、江苏等9个省市，80%具有硕士及以上学历，88%工作年限在10年以上，69%专家为副高及以上职称。专家结构合理，地域性好，经验丰富。此外，专家积极系数>50%即可分析，>60%即专家积极度较好，>70%即专家积极度非常好[16]，本研究两轮专家积极系数均大于70%，分别为96.3%和100.0%，说明26名专家对本研究的积极程度高。在权威度方面一般认为Cr>0.7即为可接受信度，本研究Cr均大于0.8，分别为0.85和0.87，说明本研究专家所得结果具有较好的权威度。两轮函询变异系数范围为0.00～0.23和0.00～0.22，肯德尔系数为0.227和0.232，P<0.001，说明本研究专家意见趋于一致，协调程度较好。因此，本研究构建的用户版自我管理类APP评价指标体系科学可靠。

3.3 用户版自我管理类APP评价指标体系内容分析

本研究构建的评价指标中一级指标权重由高到低依次为可用性（0.4647）、安全性（0.2929）、信息内容（0.1791）和技术性（0.0634）。二级指标权重排名前五的依次为用户体验（0.2060）、适用性（0.1079）、隐私政策（0.0984）、依从性（0.0751）和准确性（0.0679）。一级指标中技术性权重值最低，这可能是由于本研究是针对用户版自我管理类APP构建的指标体系，其目标人群具有特殊性，因此专家更加注重APP的可用性和安全性。一级指标中权重最高的是可用性，这是由于专家普遍认为可用性是用户版自我管理类APP的重点。可用性是指特定用户在特定环境下使用某一产品有效、高效、满意地达到特定目标的程度。可用性评价是为了自我管理类APP更有效、更安全、更好用和更有针对性地改进[17]，且可用性又与其他指标息息相关、层层相扣，相互影响。此外，用户体验作为二级指标中最高权重指标，是自我管理类APP评价中的重要体现，也是提高其质量水平的根本保证[18]。用户体验属于TAM的内部变量，它与外部变量相互协调，继而影响用户的行为意向和实际实用情况。MARS中也是将用户体验最为该量表的一个重要维度[8]。此外，二级指标排名后五分别为响应速度（0.0105）、运行稳定性（0.0082）、兼容性（0.0067）、界面设计（0.0034）和内存占比（0.0024）。虽然这五个指标权重值较小，但作为用户版自我管理类APP却又必不可少，若是APP没有达到这些指标要求可能会直接影响到用户体验。Seow[19]认为系统响应速度延迟对用户的性能和体验是有害的，使得用户对应用程序满意度降低。其次运行稳定性、兼容性等也同样对其他指标存在影响。

4 总结

本研究通过文献查阅法、质性访谈法、德尔菲法和层次分析法构建了用户版自我管理类APP评价体系，最终确定了4个一级指标，23个二级指标和59个三级指标。该评价体系内容全面，专家积极性、专家权威度和专家意见协调程度较好，具有较高的科学性和可靠性。但由于人力、物力和时间的限制，本研究构建评价指标体系未进行实践检验，今后将根据自我管理类APP的发展状况，不断修订该评价体系，将其应用到实践中以检验适用性和可操作性。