IT基础设施监控系统中数据挖掘技术的应用

吴纪安 中国人民银行西宁中心支行

数据挖掘是从数据仓库、数据库等数据平台中挖掘所需内容的过程，是信息技术日益发展与完善的必然结果。数据挖掘和多学科技术的集成之间有着十分密切的关系，如信息检索、模式识别、神经网络及统计学等。通过进行有效、深入的数据挖掘，能从数据库当中调取或抽选那些有趣、满足自身需要的知识与信息。本文就IT基础设施监控系统中数据挖掘技术的实际应用作一探讨。

1 项目决策阶段

针对此阶段而言，其注重从决策层面或视角去理解、认知项目的相关要求与目标，并且把这些内容实时转化为有助于目标实现的初步规划，或是帮助数据挖掘的具体问题定义。数据挖掘目标定义为：（1）探究系统负载规律。找寻处于隐藏状态的系统运行方面的负载规律，以便为系统维护人员提供准确依据与支撑。（2）定位系统性能瓶颈。针对系统整体效能来讲，可能有瓶颈存在，通过开展数据挖掘工作，应能够对系统瓶颈进行准确定位，对于比较缺乏的系统资源，及时给予补充，如升级网络设备、扩大内存容量等。（3）评估系统生命周期。伴随人民银行业务种类日益增多及业务量的持续增加，系统负载势必会增大，如果其潜能被完全开发之后，系统便需要更新换代，此时，对系统寿命进行准确评估十分必要。

2 数据理解阶段

此阶段初始点为汇总数据，后逐渐深入，包含了解数据、对数据质量进行鉴别并探究数据的内在含义。通过了解初期项目，得知监控数据主要包含2部分，其一，数据库、主机与网络设备的运行指标，如数据库数据字典命中率、网络设备丢包率等，这些数据能够用于对系统性能瓶颈的定位，还可以用作探寻系统的负载规律。其二，数据库、主机与网络设备的事件数据。针对数据库、主机的事件来讲，其由IR Prognosis将SNMP Trap发送至HP Network Manager，而关于网络设备的事件，则由SNMP Trap发送SNMP Trap至HP Network Manager，然后通过HP Network Node Manager将数据写库。

3 数据准备阶段

对于此阶段而言，其包含了全部自原始数据当中构建的数据集活动。针对数据准备的任务而言，可能执行多次，包含有属性、记录与表格的选取，另外还囊括数据的清理与转化。通过分析原始数据，从中可发现数据当中有不一致的情况，如在发送的SNMP Trap当中（由IR Prognosis发送），把事件依据严重程度进行分析，即危急、错误、警告与信息；而HP Network Node Manager把事件划分为5级，即危急错误、初级错误、警告、正常与主要错误。须转换与清理数据，以此来清除数据的不一致。对此，可构建2个模型。（1）模型Ⅰ。确定主机CPU、内存利用率、网络设备CPU、缓存利用率，构建系统负载模型；（2）模型Ⅱ。确定每周故障发生次数，构建系统故障规律模型。

4 模型建立阶段

此阶段会运用各种建模技术，并且调校它们的参数，使其维持在最佳值。通常来讲，针对同一个数据挖掘问题类型而言，其会有许多建模技术，其中的部分建模技术对数据格式有着特殊要求，所以，须从此阶段返回至数据准备阶段。

5 模型评价阶段

基于数据分析层面而言，进此阶段便证明已构建一个或多个高质量模型。在还未进入模型最终部署前，为确保模型能将研究目标切实体现出来，需全面、细致的评估模型，并对模型的各个步骤进行审查。在此项目当中，利用负载模型，数据挖掘人员得出的结论如下：（1）网络设备的负载，包含其两部分内容，即CPU利用率与缓存利用率，相比与主机类全部负载指标，普遍偏高，所以，需对网络设备进行适当性升级。（2）系统的整体负荷呈现出缓慢上升趋向，符合系统维护人员的预期。

利用故障模型，可得出如下结论：（1）网络部分出现的故障数量较主机部分，明显偏多，所以，在配置系统维护人员方面，应偏向于网络维护部分；（2）通过运用一元线性回归方程对本行系统的健康运行时间进行预测，得知其符合预期要求与目标。

通过验证，表明上述结论参考价值高，准确性高。另外，还提出了修改意见，如加大趋势的全面性，增加负载模型具体的指标类型；更改故障模型的一元线性回归，使之转变为高阶多项式回归，以此来实现预测准确性的提升。

6 结语

综上，数据挖掘是各学科融合的框架下的前沿领域，能从各学科当中获取有用内容，切实做到博采众长、为我所用的目的。因此，在IT基础设计监控系统中运用数据挖掘技术，有着广阔的应用价值及实际意义。

[1]张卉.数据挖掘技术在B2B电子商务商品销售中的应用研究[D].北方工业大学，2013.

[2]朱德志.数据挖掘中的数据质量检验[J].金融电子化，2007(7):55-56.