数据流挖掘及其主要解决问题

杨展

网络动态数据挖掘模式主要是基于分类分析方法、聚类分析方法、关联分析方法、异类检测方法的动态数据挖掘，引入概念漂移问题、自适应改变，设计新的频繁数据挖掘模式。目前，比较成熟的方法包括窗口方法、衰减方法、模式增长方法、近似方法、假阳性与假阴性方法，每种模式都有优劣，有关键问题需要解决。

【关键词】网络 动态 数据挖掘 技术

网络技术已深入到人类社会生活、生产之中，在健康管理、市场管理、科学研究等领域发挥重要作用。各类信息充分交融、汇集，使数据渗透至每一个行业和职能领域，成为重要的职能要素，人类正进入大数据时代。在大数据背景下，数据产生的量是前所未有的，如何充分的挖掘数据信息值得深入研究。网络动态数据是指基于时间变化网络数据，产生的数据往往是海量的，本次研究尝试简单探讨数据挖掘模式及其关键技术。

1 数据挖掘模式

目前，可供选择的数据挖掘技术主要包括机器人学习、数据库技术以及统计学，而数据挖掘的模式主要包括分类分析方法、聚类分析方法、关联分析方法、异类检测方法。动态数据是按照时间顺序、快速变化的数据，产生俞网络，如网络日志、交通流量、电力供应、电信数据、金融等，这些专业的网络每时每刻都产生大量的数据，这些数据是高速流动的、海量的、快速变化。如Google每日处理约10亿条搜索。针对动态的数据挖掘技术以上传统的模式还存在明显的不足，不同于传统的数据库，除数据挖掘、分类，还需要进行查询等过程中，需要考虑数据时空变化带来的概念漂移问题，设计网络动态数据挖掘算法引入自适应改变。同时在利用传统模式进行挖掘时，还引入频繁模式，进行多项基础挖掘。频繁数据挖掘是当前动态网络数据挖掘热点，目前主要挖掘模式包括频繁序列、高效用、子图、频繁项集，国内外许多学者对频繁数据挖掘模式开展研究，基于传统挖掘模式，进行组合，开发新的挖掘模式。近年来，随着存储技术等信息技术的发展，动态数据分析也越来越快，传统数据挖掘模式也迈入了新的阶段。以分类分析为例，基于集成学习的分类器，有高精度的特性，将概念漂移影响削弱在共同决策中，常用的集成方法包括Boostin、Bagging、自适应集成方法等。以聚类分析为例，基于聚类的网络动态数据挖掘主要包括Clustream算法，将聚类过程中分为在线部分以及离线部分，在线部分周期的存储概要统计信息，该算法设计了椎体时间框架、微聚类方法，这种分布式算法，能够减少维度与通信负担。D-Stream算是一种基于密度的数据流计算方法，也分为在线以及离线部分。除以上模式外，动态数据分析还发展出了窗口方法、衰减方法、模式增长方法、近似方法、假阳性与假阴性方法。

2 网络动态数据挖掘主要需要解决问题

目前可供选择的网络动态数据挖掘模式基于传统的分类方法，发展出窗口方法、衰减方法、模式增长方法、近似方法、假阳性与假阴性方法等，不同模式方法关键技术主要体现在以下几个方面：

（1）窗口方法的关键技术是窗口大小的控制算法，窗口大小的由达到数据的概念改变数量动态决定，设计一种能够可变大小滑动窗口发现数据变动频繁模式。

（2）衰减方法，强调新近事务产生模式的重要性。

（3）模式增长方法，在处理长模式或支持度低时，处理的效果较差，需要严重一种模式树结构存储有用的模式信息，以解决先验方式的不足。

（4）近似方法，在大多数情况下，需要的模式是通用，算法需要适应弹性最小支持度。

（5）假阳性与假阴性方法，算法得到的频繁模式需要保证概率。

3 以微博社交网络为例

互联网信息抓出主要采用爬虫原理，基于微博摘要自动获取，包括文档权重、词条权重、单句权重。在进行数据挖掘时，先进行微博社交特征的分析，以新浪微博为例，回复某条微博则评论数量+1，转发某条微博，则转发数量+1，转发数量与评论数量存在区别，也存在联系。

本次研究以新浪微博作为搜索项，以“滑雪”为收索词，不同时间段的数据信息如下：

（1）时间1，标签用户977例，粉丝+好友64764个，微博数量162052个，评论数量745923次；

（2）时间段2，标签用户972个，粉丝+好友数目95976个，微博数量210975个，评论数量127144次。用户与用户之间存在有向的连接关系，拓扑关系G，前后两个时间段获得了119766个不重复的独立用户，分析显示用户呈三段分布规律，46位好友的用户数量最多，80～100的用户呈现幂分布特征，拥有好友数量较大的用户，约30～32%的对象为广告用户。进一步分析显示，粉丝数量与评论、转发也存在显著相关性。时间点分布显示，15～17点、20～22点是转发的密集时间段，16点达到高峰期，此时不同用户不同时间段活跃度存在显著个体差异。

尝试分析每个用户最新200条微博，类似分析显示评论数量與转发有较强的相关性，高评论数量有较强的传播性。新浪公司自身统计显示平均每条微博恢复为2.3～2.4之间，转发数在2.5～2.6之间，但转发、评论与微博的内容有关。图片等多媒体信息更有助于评论、传播，则进行数据分析还需要考虑到图片信息。

此外，老用户影响力也更为显著，用户粉丝特征等成为微博影响力的重要影响因素。故，针对微博网络数据挖掘，便需要解决微博影响力分析，计算用户的活跃度。目前针对用户特征的推荐算法，推荐采用微博话题短文本聚类算法、偏好性分析，考虑采用NBI个性化推荐算法。除进行用户影响力分析外，需要充分考虑社交网络拓扑关系，考虑用户相似度，利用信息学理论蒙特卡罗仿真模型、机器学习进行信息的验算。信息在微博社交网络传播过程中可以视为某一个用户t0时刻发布一条微博，于是用户粉丝，即1阶用户t1时刻选择是否传播，决策过程利用蒙特卡罗随机取样，用户存在对该条微博是否进行传播的先验概率prior（t1），每个用户根据自身特点先验概率不尽相同，进行多阶分析，最终能够初步评估该微博的转发、评论情况。当然需注意的是，每条微博都有其活跃区，先验概率会随着转发阶数的上升而出现显著衰减。故，若想要分析某一个明星影响力，能够通过模型以数学方法描述微博的影响力。

4 小结

网络动态数据挖掘具有巨大的发展潜力，在未来将容易到生产、生活的方方面面，我国是网民最多的国家，有巨大的数据资源，信息工作者需要抓住机遇，积极学习多学科特别是数学、数据库、信息技术，信息行业需要做好跨学科合作，掌握更多网络动态数据挖掘模式及其关键技术。

参考文献

[1]王靖夫.基于数据挖掘的烟草行业网络安全动态监测[J].电子技术与软件工程，2016（06）：171.

[2]黄晓斌，张兴旺.网络动态数据挖掘研究进展与展望[J].图书情报工作，2015，59（10）：6-13.

[3]黄晓斌，张兴旺.网络动态数据挖掘模式及其关键技术[J/OL].图书情报工作，2015，59（10）：21-28+47.

作者单位

中央财经大学 北京市 102206