白 鹤,崔竞飞,张国庭,李婷婷,赵 明
(国家广播电影电视总局 广播科学研究院,北京 100039)
随着中国移动多媒体广播电视(CMMB)技术标准体系的成熟和产业链的完善,全国已有220多个城市进行了CMMB单频网的建设,覆盖测试是建设过程必不可少的环节,对测试数据进行分析能够指导网络规划、优化以及评估效果,但是作为后续处理基础的测试数据可能因为设备异常等因素造成数据失真,因此,需要检测异常值以保证测试数据的真实性和可靠性。
在城市的CMMB覆盖测试中,数据多元、大量,含有地理和时间等多维标记信息。目前,业界还没有针对CMMB信号测试数据进行异常值检测的有效方法,而利用统计学中的一般异常值检测方法的甄别效果也不理想。笔者基于对CMMB网络信号特征的分析,在采用欧氏距离对数据样本进行聚类之后,使用Z-统计量进行度量,可以有效地检测出CMMB测试信号异常值。
异常值[1]定义为“严重偏离了样本集合中其他观测值的观测值”,包括某样本的单个属性与该属性的大多数值出现分布偏离,或者该样本的属性间的结构和相关关系与整个属性集的属性之间结构和相关性不同。
异常值检测是数据挖掘中数据准备的重要环节,也是学界探讨和研究的内容[2]。目前主要有3种策略:
1)统计法。对样本总体分布作出假设的基础上,构造如四分位点、标准差等统计量进行检测,主要适用于单属性值的情况。
2)距离法[3]。……