基于深度学习和时空关联的大数据分析系统研究*

李 威

（1.北京锐安科技有限公司，北京 100192；2.北京市网络空间数据分析与应用工程技术研究中心，北京 100192）

0 引言

随着深度学习技术的发展，人脸识别、声纹识别、命名实体识别技术得到了广泛应用[1-2]，但是传统方法采集的人脸、声纹、实体和其他结构化数据存在数据孤立的问题。例如，虽然采集到了人脸，但是人脸的身份难以确定。因此，充分发掘数据的关联关系，利用关联关系对实体进行多维度刻画，是提升数据价值的重要手段。文章提出一种基于深度学习进行实体识别，并利用同一时空获取关联关系，通过大数据分析获取多时空中关联强度的方法。智能采集设备具有丰富的采集能力，广泛采集声光电信息，一类形成视频、图像、声音以及话语等非结构化数据，一类形成如经纬度、射频识别ID、电子设备ID 以及操作信息等结构化数据。基于深度学习的数据处理特点，非结构化数据经过预处理后形成特定大小数据作为深度神经网络的输入，统一视同图片，利用深度学习进行图像的实体识别和特征归一，基于同一时空，将实体与其他实体、实体与结构化数据即属性进行关联。随着不同时空采集数据的积累，实体之间、实体与不同属性之间的关联度产生显著差异，因而能够揭示客观世界的规律。系统将实体和属性数据聚合形成档案，提供查询分析功能。文章介绍了基于深度学习和时空关联的大数据分析系统的需求分析、系统架构以及系统数据流，并对数据预处理、数据存储组织、数据分析挖掘的算法和实现等关键子系统展开阐述。……