基于Web 服务的分布式数据挖掘系统探究

孙铁成

（天津大学管理与经济学部，天津，300072)

数据挖掘技术又叫做资料探勘和数据采矿技术，是数据库知识发现的一个重要步骤，数据挖掘技术通常就是指通过算法对隐藏的信息进行挖掘，它与计算机科学有着密切关系。是利用统计，分析处理以及情报搜集等。这种技术目前得到了非常广泛的应用，并为我国经济的发展提供了巨大的积极作用，因此，科学的对其展开分析和研究，是促进其作用发挥的有效措施。

1 相关技术

1.1 分布式数据挖掘

目前，我国数据挖掘技术在社会上受到了很多人的瞩目，其最为主要的原因是由于企业所保存的数据和历史数据，能够得到更加广发的应用。数据挖掘技术在获取知识之后，这些知识能够应用到很多领域，其中有商务管理，生产控制等。近些年来，分布式数据挖掘技术又被很多研究人员所关注，正是因为这些人的关注，使得这项技术得到了更近一步的发展。而分布式数据挖掘技术在应用的过程中，需要特别四个方面，分别为数据集中、并行以及分布式数据挖掘算法、知识吸收以及分布式软件设计。

1.2 Web 服务及其特性

所谓Web 服务，实际上是微软提出的定义，值得就是一种Web 服务为基础的逻辑应用单元，其最为主要的任务就是为其他应用程序提供数据和服务。主要是采取统一的协议以及数据格式，这种服务的最大优势，就是细节服务到位。如果从表面上看，Web 服务就是一个应用程序，它对外界所展示出来的形式，就是一个API，并由Web 进行调试。也可以这样理解为这种服务是以URL 做定位的资源，同时就是还能够将自动将信息收集及反馈回来。Web 服务还可以将客户快速的集中在本地应用程序中，或者是另外的Web 服务中，其具有很多特性，具体分析如下：

1）可以说这种服务是一个“黑匣子”，就对于客户而言，不必对其的工作有所关心，它的一切工作都是自行实现和维护的，客户只需要通过它所提供的借口来适用既可。

2）Web 服务应该实现自我功能描述，以便向客户介绍自己。

3）Web 服务需要提供一种发现机制，使得客户能够在Web上找到该服务。

4）Web 服务应该跨语言、跨平台。

5）面向消息，松散耦合

总而言之，计算机中大部分的程序都会应用到Web 服务，其主要的任务就是将当前基于组建的各种程序进行扩展的一种混合结构，同时也能够在第三方的应用程序中使用。Web 服务还有一个特点就是能够将自身的应用程序功能提供给别人使用，因此，Web 服务是值得更大范围推广和使用的。如下图1 所示为 Web 服务体系架构。

图1

2 基于Web 服务的分布式数据挖掘体系结构

所谓的体系结构，是建立在web 服务分布计算机体系基础之上的，其各个部门的模块都具备独立的功能，具有一致性好，跨越性以及数据结构异构性强的特点，另外还能够使防火墙的功能得到了最大限度的发挥。Web 系统结构主要有一下几个部分，分为为用户借口、用户信息库以及全局数据挖掘应用等。该系统结构如图2 所示。其所包括的主要功能有一下几个部分：

1)用户接口:用户接口建立计算机与用户之间联系的媒介，是以最为直观的方式，将数据挖掘技术体现出来的一种方式，同时，它还能够根据不同用户，为其提供各种不同的需求，而且为了方便用户适用，这种系统还会将这些客户的信息储存在数据库中，随时准备调取和再次应用。这种方式不但能够降低成本费用，同时维修以及用户适用都非常便捷。

图2 基于Web 服务的分布式数据挖掘体系结构

2)用户信息库:在用户信息库中有两种信息类型，一种为管理信息，是以注册，维护以及管理为主的类型，主要是针对注册以及维护等方面的服务，同时对用户登录以及权限等进行相应设置。而另外一种就是根据用户自身的洗好，来对结构进行推理规则。

3)全局数据挖掘应用:这个模块是整个计算机系统地核心组成部分，其主要是通过挖掘请求，并结合全局知识库，为客户解决需求。同样，全局数据挖掘应用技术也能够进行注册以及发布并未其他应用程序适用。

4)系统挖掘知识库:该知识库用来以适当的方式存放不同的用户所挖掘出来的感兴趣知识,为用户的决策提供依据。

5)注册中心:注册中心是一个Web 服务的注册地,汇集了很多在线的Web 服务。各个局部数据挖掘应用的Web 服务就在这里进行注册,以供调用者查找。

6)Web 服务封装模块:该模块把本地的局部数据挖掘应用封装成Web 服务。

7)局部数据挖掘应用:该模块实现对本地数据库中数据进行挖掘分析。首先它接受来自全局数据挖掘应用的动态调用,对调用进行分析, 选择合适的挖掘算法进行本地数据挖掘。然后把挖掘结果传递给全局应用。由于Web 服务的平台以及语言无关性,该模块可以采用任何编程语言进行编码。考虑到代码的重用和执行的效率, 往往就采用已有的遗留系统。

8)数据预处理模块:根据挖掘要求,抽取与发现任务相关的数据源,根据一定的约束规则对数据进行合法性检验,通过清理和约束等操作,生成供挖掘过程使用的目标数据,使数据挖掘可在“干净”的数据中进行。

9)数据库引擎和数据库:目前各个大型的数据库厂商都推出了自己的数据库系统,如著名的ORACLE/DB2/SQ LSERVER2000 等等,而数据库引擎如ODBC/JDBC 等的作用就是方便用户用统一的接口来访问这些不同的数据库。

通过对Wep 服务进行分析和总结，能够发展，该项技术是一个非常系统，精密且复杂的计算机技术，在现代化的生活以及工作环境中，计算机已经成为了人们的必须物品之一，而文章所研究的服务技术，作为目前计算机技术中的重要组成部分，其作用也不容小觑，为了能够更好的完善和改进Wep 服务，使其作用能够得到最大限度的发挥，全面，客观的对其各种功能进行分析，是非常必要的。

3 结束语

在分布式数据库系统以及因特网技术不断发展和完善的新时期，过去的集中式数据挖掘技术已经无法适应新时期的需求，研究并发展分布式数据挖掘技术，即成为了相关工作人员的重点工作内容，而基于Web 服务的数据挖掘技术，极大程度的顺应了时代发展的需求，不但有效的提高了数据挖掘的效率和质量，同时也为人们的生活和工作提供了巨大便利。但是，毕竟我国在这个领域起步较晚，因此，数据挖掘技术中还存在一些问题，很多技术还不是十分完善，这就要求相关技术人员还需要进一步努力，只有这样才能够才能够提供我国在这个领域的成就，推动我国经济的发展。

[1] 文林彬.基于Web 服务的工作流协作技术研究[J].软件导刊.2011(01)

[2] 蔡孝武,韩永国,蓝科.一种轻量级工作流引擎的研究与设计[J]. 计算机工程.2010(20)

[3] 高新勤,李宗斌,杜轩.工作流管理系统动态变更模型与实例迁移方法研究[J].计算机集成制造系统. 2008(08)

[4] 张宁,余霏.分布式工作流技术研究综述[J].贵州大学学报(自然科学版).2008(01)