张志强,王伟钧,周利军,黎忠文
(成都大学 计算机学院,四川 成都 610106)
在文本挖掘领域的研究中,很多学者提出分词的产生以及新词的发现都是极其重要的处理过程[1-2].在这些过程中,会产生海量的分词数据和新词候选词数据,对这些海量数据的处理效率极大地影响着整个文本挖掘项目运行的进度.如何提高数据的处理效率是文本挖掘研究的重要问题[3-5].
通常,海量数据一般都存储在数据库中,若要进行数据处理,就必须进行数据库的读写操作,由此需要设计相应的数据库读写策略.而采用常规的数据库读写策略实现的处理方式尽管可以完成海量数据的处理,但数据处理的效率较低.为了提高数据库读写的速度和数据处理的效率,本研究对常规的数据库读写策略进行了优化分析,提出并设计了优化后的数据库读写策略,最后利用JAVA 语言实现了该策略.实验结果表明,优化后的数据库读写策略实现的数据处理速度比常规数据库读写策略实现的数据处理速度更快,从而其数据处理效率更高.
本研究所涉及到的分词数据处理过程,是在文本挖掘中,从数据库中读取分词数据,根据新词候选词的产生算法生成多个新词候选词,并将新产生的新词候选词写入数据库中,为文本挖掘后期的分析处理提供基础数据.
在分词数据处理过程……