基于通信大数据挖掘的网络业务类型划分方法研究

李强　金雨超　郭景赞

在传统的Gn数据解析过程中，业务类型里“未知服务”的占比通常在70%以上。为了提高解析结果的分析价值，结合数据分析和数据挖掘技术对DNS解析流量字段进行细分，该设计方案在最大化利用原始数据的同时，能从多维度细分用户网络业务，优化结果可以为用户画像、用户标签、用户群体特征等分析应用提供有力支持。

数据挖掘 数据解析 网络业务类型划分 聚类算法

1 引言

21世纪信息和通信技术高速发展，技术的进步给人们的日常生活带来了诸多便利。通讯是社会交往中的重要纽带，推动着数字信息的发展。通信行业的大数据应用，能够优化移动通信网络，开拓更丰富的服务业务，为移动用户提供更精准、更便捷的服务。

Gn数据是Gn口原始码流解析得到的数据，主要反映用户使用各类数据业务的详细情况。在传统的Gn数据解析过程中，流量类型里“未识别TCP流量业务”、“未识别UDP流量业务”和“DNS解析流量业务”等类型均被划为未知服务。这样的计算模型会导致解析结果里未知服务的占比很高。

本文针对原始Gn数据，提出了一种新的网络业务分类方法：利用大数据并行计算模式解析DNS业务里的URL，解析结果通过挖掘算法（基于密度的聚类算法）模型处理，以确立新的网络业务类型。

2 技术介绍

2.1 大数据处理步骤

大数据的飞速发展已经影响到了各行各业，其中信息、互联网和通信行业受到的影响最大。大数据的到来恰逢通信行业的转型过渡阶段，给这个行业注入了新鲜的血液。……