纪 冲,刘 岩
(内蒙古农业大学计算机与信息工程学院,内蒙古 呼和浩特 010018)
大数据挖掘是将数据作为组成知识的主体,从大量随机的数据里,挖掘出潜藏在数据库内人们不知道的有用知识[1]。互联网技术的高速发展、网络资源使用率的不断提升使得各行各业对大数据挖掘的重视程度也越来越大,特别是在一些特殊网络环境下,由于大数据各类特征参数较多,则数据挖掘前需要对各类数据进行集成处理[2-3]。
数据挖掘是一种比较广义的交叉学科,数据集成最为常见的方法是模式集成方法,这种方法是一种非常经典的集成算法,中间件算法是模式集成算法里比较经典的,该算法会将所有独立的数据源,根据Wrapper进行转换同时封装,这些数据的存储位置不会出现变动,利用Mediator对所有封装之后的数据源进行视图统一,Mediator会把浏览的历史请求变换成局部数据源模式的搜索,利用Wrapper进行结果提取,同时使用Mediator对数据集成,之后撤回至其它中间件或用户中。Mediator主要提供全局优化查询处理,不会提供实际的数据储存[4]。由此可见传统的数据集成挖掘方法,都存在较为一致的缺陷,即数据集成与数据挖掘之间存在检测或分类的误差,这种误差严重的会致使在结束挖掘之后,出现乱码,数据显示不全的问题。
针对上述问题,提出基于半监督深度学习法的网络大数据集成挖掘。该方法会通过半监督深度学习算法来检测并分类大数据种类和特性,为后续挖掘提供较好的网络环境,通过网格服务对大数据集成,使各不相同的数据能够处于同一坐标处,使用关联度挖掘算法对数据高精度集成挖掘。……