基于Aho_Corasick算法的中医药数据清洗方法

郭春丽　纪树峰　林源　黄海松　王俐良

摘  要： 中医药经过数千年的发展，积累了大量的各种类型的数据。很多研究人员利用大数据技术，对方剂或药品数据预处理后，使用相关算法挖掘和探寻疾病诊疗规律，为新药研制、疾病诊治、醫学科研提供科学的依据。但随着方剂规模的增大，人工预处理的方式效率低且易出错。因此，文章提出一种基于Aho_Corasick算法的清洗方法，将药物作为模式串，对方剂或药品的药物信息进行识别，规范统一方剂中的药物名称，为后续挖掘工作提供高质量的数据。实验结果显示，准确率达到95%以上，数据清洗效果明显。

关键词： 中医药; 大数据技术; Aho_Corasick算法; 预处理; 数据清洗

中图分类号：TP3          文献标识码：A       文章编号：1006-8228（2022）03-77-04

Abstract： Traditional Chinese Medicine （TCM） is accumulated a large number of various types of data after being thousands of years. Many researchers use big data technology to mine and explore the rules of disease diagnosis after preprocessing the data of prescription and/or drug， so as to provide scientific basis for new drug development， disease diagnosis and treatment， and medical research. However， with the increase of prescriptions' scale， it is inefficient and error-prone in the manual pre-process method. Therefore， a cleaning method based on Aho_Corasick algorithm is proposed in this paper. The drugs are used as pattern strings， and then their names are identified from prescriptions or TCM to make them a standard and uniform， so as to provide high-quality TCM data prepared for subsequent mining work. The experimental results show that the accuracy are more than 95%， and the data cleaning effect is obvious.

Key words： TCM; big data technology; Aho_Corasick algorithm; pre-process; data cleaning

0 引言

中医药是我国传统文化灿烂宝库中的重要组成部分，蕴藏了丰富的中医经验知识。很多研究者利用大数据技术从中医药挖掘药物的配伍规律，为中医药的临床推广提供科学的量化依据。

文献[1]从4000余首经典方剂中，根据中药方剂特性构建中药网络模型，从1577味中药节点和97103条边中挖掘出复杂网络中配伍关系紧密、相似度较大的药物群。文献[2]利用国医堂名老中医治疗肺癌的2666条处方数据，处理方剂信息和药物属性信息，构建中药加权网络，找出核心药物再进行药物社团划分。文献[3]应用关联规则分析技术，挖掘隐含在消渴病复方数据中的配伍规律。文献[4]采用FP-Growth算法挖掘中药方剂的隐藏信息，分析中药的配伍规律和斗谱的编排，提高中药调剂效率。……