交通时空大数据分析平台设计与实现

2019-10-14 21:30杨星浩王瀛赵记伟朱桑李志敏
西部论丛 2019年31期
关键词:智慧交通数据分析

杨星浩 王瀛 赵记伟 朱桑 李志敏

摘 要:随着城市规模的不断发展,智慧交通也是城市化进程不断向前推进的产物,是城市交通问题日益严峻和土地资源短缺状况共同作用下的必然结果。[1]因此,本文希望能够搭建智慧交通时空大数据分析系统,以手机信令数据为对象,现有的大数据体系架构和大数据服务组织为基础,为规划和管理的预测分析和决策提供准确的数据基础,促进城市宏观交通规划和微观交通设施建设以及土地利用规划的科学有效,减少道路规划不合理导致的交通问题,方便居民的出行。

关键词:智慧交通;手机信令数据;数据分析

引 言

隨着我国经济状况的高速发展,城际之间的交通越来越繁忙,交通管理和交通参与对交通信息需求也越来越高,发展基于互联网和大数据技术的智慧交通系统的建设是交通领域深化政府体系,提高政府有效治理能力,顺应新一代信息技术和互联网发展趋势的重要手段。

同时随着蜂窝网络的全面密集覆盖和手机的普及,手机信令数据、POI兴趣点数据、地图定位数据来获取交通信息参数在目前以及成为一种有效可行的方式。其中,手机信令数据因其实时性、完整性、时空全覆盖性等优点,成为近年来智慧交通体系建设的最主要的数据源,为城市交通规划管理等领域提供了有力的数据基础。

因此,本平台在调查分析现有的智慧交通体系的基础上,对手机信令数据进行全面清洗,深入分析,挖掘潜在价值,建立交通时空大数据分析平台,实现人口分布分析,驻留出行分析,交通态势监测预警,个性化出行推荐等功能,以充分利用城市大数据,改善人们便捷顺畅出行的需求,满足政府对交通数据科学监管的需求以及辅助科学决策的要求。

一、系统架构设计

交通时空大数据分析平台总体框架设计(如图1所示)具有扩展性,适应处理业务的拓展,采用分层设计思路,实现数据接入、数据存储资源管理、计算处理、应用展示等功能。

数据层主要是实现对手机信令数据、地图定位数据、规划指标数据的采集、存储、接入和建库。

计算层主要是实现对于原始手机信令数据的数据清洗、匹配、分析、挖掘,是整个平台系统建设的核心。

应用层主要是实现对手机信令数据处理与分析成果在交通领域的应用方案,提供数据基础,辅助决策。

展示层主要是实现对应用层手机信令数据处理与分析成果的前端可视化展示。

二、功能设计

交通时空大数据分析平台包含数据开放接口、人口分布分析、城市出行分析、交通态势预警和个性化出行推荐等功能。

数据导入与条件选择:按照指定格式导入手机信令数据文件后,可以进行省份、城市、时间、粒度等多维度条件进行筛选。

人口分布分析:按照所选择的粒度,以热力图的方式显示各个区域各个时段的人口分布状况,并提供时间轴对热力图进行历史回溯。

城市出行分析:通过对人口出行方式等特征进行统计分析,展示不同出行方式所占比例,以及各个出行方式与出行距离的关系,动态监测城际之间人流迁入迁出情况。

区域洞察分析:选择需要查看的区域,将显示对应区域各时段的交通状况、高峰时段及实时拥挤指数,并实现短时人流预测,给出热点景区排行榜。

交通态势预警:展示实时拥堵指数,各时段人流与车流走势、热门站点,并针对异常拥堵进行研判和智能预警,提升紧急情况应急能力。

个性化出行推荐:根据出行的起止点及实际,结合用户标签画像以及交通状况,给出最短出行路线和出行成本的建议。

三、关键技术实现

多步数据清洗提高数据准确性

在数据清洗阶段,由于手机数据产生的无规律性,导致信令数据采样频率不均,轨迹点时间间隔非常不规则,轨迹点密度分布不均,且易受手机信令工作机制的影响,用户身处的实际位置所连接的基站可能与其自身位置相差较远,因此直接进行轨迹点的识别是不合理的。并且由于某些区域的基站密度较大,某一地理位置可能同时被几个基站所覆盖,因此在此区域内的手机信令会随着基站信号强度的变化而不断切换基站,从而产生乒乓切换现象。一般来说基站有负荷优化机制,当邻近的基站用户负荷过大,会自动切换到更远的基站从而产生了信号漂移。

针对以上提到的乒乓切换、漂移数据,重复数据问题,本文结合了多种清洗思路,使用Hadoop平台作为数据处理平台,Spark作为计算框架,从速度、距离、加速度、重复值等角度进行清洗数据,通过对原始数据进行无效数据清洗、乒乓现象消除、数据降噪、算法优化,形成可靠、可用的数据。

高效的交通分析模型精准实现驻留出行分析

在信令数据挖掘阶段,传统驻留点识别通过速度和距离特征对用户轨迹点进行距离,得到用户驻留区域和 出行轨迹,经试验我们发现数据容易出现 1001,101 等,多个小驻留点簇情况,经过计算发现部分小簇驻留区域前后两个区域距离较小,而区域间的出行段却较大,这种情况可能是因为噪声消除不完全导致,噪声干扰驻留点识别。

本文根据信令数据的时间性,在 DBSCAN 聚类算法的基础上定义时间维度,找出用户信令数据中的驻留点和出行点。根据用户出行轨迹结合高德地图 API 得到用户单次出行轨迹的 OD 和各种出行方式的方案轨迹点,再结合时空匹配度算法得到用户单次出行的出行方式等数据。

智能化态势监测及时预警异常情况

在交通态势监测预警阶段,本文根据信令数据 OD 明确、时间连续的特点,定义交通拥堵指数,将交通拥挤指数定义为用户单次运动的实际在途时间与畅通在途时间的比值,拥挤指数越大代表交通越拥堵,计算出当天车流拥堵指数。根据轨迹点网格化思想,将沈阳市划分成n*n个网格使得每个网格的边长处于100~400m范围,将用户信令数据归入网格中,以网格序号作为横纵坐标代替经纬度,计算每个网格区的时刻人流量。并通过小波神经网络实现短期的人流预测,采用对于非线性和随机性的时间序列预测方面具有优势的神经网络并加入小波分析建立了基于小波神经网络的短时交通预测模型,根据现有交通流量数据对未来几小时的人流量情况进行预测。再结合四分位数展布法对人流进行异常监测,实现智能预警。

根据用户标签化提供个性化出行推荐服务

在个性化出行推荐阶段,本文根据用户出行的出行时长、出行目的、出行距离或用户驻留的驻留区域、驻留时长等时空轨迹行为的一系列标签对信令数据进行标签化,通过TF-IDF算法根据这些标签的发生时间、行为次数、 行为类型能够统计出用户与某些标签之间联系的紧密程度。对用户标签加权得到用户偏好标签,获得个体用户用户画像和群体用户画像,调用高德API并结合协同过滤算法,精准定位用户画像,掌握用户时空轨迹偏好,为用户提供个性化出行推荐服务。

多维度细粒度的可视化数据展示

在数据可视化阶段,本文采用vue.js、ECharts、DataV等开源组件开发完成前端可视化平台,提供直观、多维度、细粒度、可交换、个性化的数据可视化图表,多种数据展示模型配合数据混搭解决方案,实现交通时空状况及预测结果的展示,提供对外数据导入通用接口,以及便捷的交互式查询,增强用户体验,满足用户需求。

结 语

智慧交通的建设是城市发展的抓手,是缓解交通压力、助力智慧城市发展的重要手段。本文开发的交通时空大数据分析平台,以国家政策以及系列指导为依托,进行指挥交通顶层规划,充分复用现有数据资源,深度挖掘手机信令大数据的价值,构建优化模型,实现了人口分布分析、驻留出行分析、交通态势监测预警分析、人流分析、个性出行建议等等,提供数据通用接口并辅以直观友好的展示。抓住痛点,让提升居民获得感体验的公共交通出行服务为实施策略,打造智慧化的公众出行服务,用大数据等技术充分挖掘和利用信令数据的价值,为交通治理提供科技,数据数据,提升紧急状况应急能力,实现交通规划决策智能化。

参考文献

[1] 吴为强. 基于大数据挖掘的智能交通决策分析系统[J]. 机电工程技术, 2017(S2).

(第一作者)作者简介:杨星浩(1999-07-),男,汉族,浙江温州,本科生,数据处理与分析。

通讯作者:李志敏(1975-02-),女,湖北,研究生,副教授,医学数据处理与分析。

猜你喜欢
智慧交通数据分析
宁夏银川:创新驱动“智慧交通”
一种基于像素分析的夜间交通路况侦测方法
新常态下集团公司内部审计工作研究
浅析大数据时代对企业营销模式的影响
基于读者到馆行为数据分析的高校图书馆服务优化建议
“互联网+”背景下的智慧交通大数据应用创新研究
基于FPGA的智能流控交通灯设计
城市智慧交通发展水平评价指标及方法研究
智慧交通对城市发展的影响研究