大数据技术在油品销售企业的应用研究

陆卫良

一、引言

随着工业互联网、泛在电力物联网、智能制造、“中国制造2025”战略规划等大型项目的实施与推进，各种新技术在信息化领域的应用与推广都被加快。人工智能、云计算、大数据等新技术在各行各业都有广泛的应用，对人们的生产和生活产生了深远的影响。油品销售业是我国主要支柱产业之一，其信息化建设已取得了很好的成绩，随着人工智能、大数据等新技术的应用，将会对我国油品销售业的发展产生巨大的推动作用，从而带动我国互联网和中国制造2025 战略的发展。

二、油品销售行业大数据特点

大数据是一种新兴的技术，在各个行业范围内都开展了充分的应用和融合探索工作。“十四五”期间，国家对油品企业提出了加快转型升级，增强科技创新能力，深化两化融合，提高企业效益的目标，为我国进入高端制造强国提供坚强的动力支撑。油品销售业是传统工业，我国油品销售业在信息化方面的技术革新，使其在全产业链中的应用水平有了很大的提高。

1.数据体量大

图1 油品销售业大数据平台

油品销售业从上至下，涉及油气勘探、油气管道建设、炼油化工、仓储运输、销售管理等多个方面，这些环节彼此衔接，构成了一个完整的产业链。整个产业链的每一个环节都在快速地进行发展，大量的数据被实时的生成和更新，这就导致了海量的数据的产生，这些数据不能用MB、GB 来衡量，而是用TB、PB、EB 来衡量。

2.数据类型多

由于信息化技术的飞速发展，所收集到的数据可以是反映设备状态、化工产品属性的模拟值等，也可以是反映设备状态的图像、视频等多维数据。数据类型主要是结构化数据、非结构数据、半结构数据，比如化工装置的操作参数，数据是结构化数据，监控生产自动化操作的音频和视频等非结构化数据，这些数据转换后存入数据库，两者之间的数据属于半结构化数据。

3.数据时效性快

运用大数据技术，数据的产生、采集、处理、分析、存储等各个方面的效率都很高，比如生产和运营自动化系统，数据的生成和采集周期都在毫秒之内，而数据处理和分析等方面的效率也极高。

4.数据显性和隐性信息复杂

对大量收集的数据进行分析，其中一些能反映出信息的价值，比如：生产车间的设备运行参数，能反映出设备目前的工作状况，从而为生产的安全运行提供可靠的判断基础。而对于更多的资料，则要经过深入的挖掘与分析，才能得到有用的资料，比如对海洋石油、天然气的海底生产系统进行监控，通过水下机器人或摄影机进行巡检，通过对视频、图片、音频等进行深入的分析，从而得出海底仪器的工作状态。大数据的隐含和显性信息是复杂的，因此，在大数据技术的应用中，需要着重解决。

三、大数据平台架构

我国的油品销售企业在经历了数年的信息化建设和现代化转型的过程中，已积累了大量的业务销售经验、储存了大量的客户数据和管理数据，但是由于“烟囱式”的发展方式，造成了系统之间的信息“孤岛”，无法有效地整合和挖掘数据的价值。构建统一、规范、共享、服务化的大数据平台，整合各个业务系统的数据，为企业提供深度服务，不断推动业务创新，从而促进企业数字化转型，形成企业新的核心竞争能力。

1.全局架构

本文正是在这样的背景下，进行了系统的顶层设计与整体规划，并在此基础上，给出了具有普遍性的油品销售业大数据平台的总体结构，如图1 所示。

该体系结构以数据公用层为基础，由ODS、DWD 和DWS 三层组成。在数据底层，通过数据源层来访问原始资料，在结构上与源系统基本一致，保证了原始资料的质量。详细层是对数据底层的数据进行清理，按照业务领域进行重组，统一数据标准和规范，同时对数据进行宽表处理，适当增加数据的冗余，为数据应用打下坚实的基础。在数据汇总层中，对一些常见的指标进行了初步的汇总，建立了统一的命名规范、口径一致的通用小样本数据，以提高数据的检索和利用效率。

在系统结构中，数据算法是一个很重要的部分，它是建立一个基于机器学习的系统，对算法进行建模，并对其进行预处理，然后利用机器学习和深度学习的方法对其进行建模，从而达到对数据进行深入的分析和科学的预测。数据应用层面，为企业内外用户提供大数据分析工具、大数据产品、大数据服务，为企业内部、外部用户赋能，提高企业的数字化经营水平。

2.技术路线

在整个技术路线中，本文利用Hadoop、Spark 等大数据生态系统的产品和构件，构建了以上的平台体系结构，见图2。在硬件配置上，可以选择租借公共云或者私人云，根据实际的数据量来决定初始的硬件规模。通过Sqoop、DataX、Kettl实现数据同步，利用Canal 技术实现MySQL 的CDC 数据同步，利用Kafka 和SparkStream 进行数据流处理，实现数据的实时同步。算法模型采用了基于Hadoop/Spark 的技术架构，支持分类、回归、预测等机器学习算法，包括逻辑回归算法、决策树算法、随机森林算法、XGboost 算法、SVM 算法等。同时，该框架可以同时支持Scala 和Python 的开发。

图2 平台体系结构

四、大数据应用规划

1.大数据在经营决策中的应用

市场竞争中，管理人员对数据的时效性和丰富性有更高的要求，不但要能够实时地获得现有的数据，还要能够准确地预测油品的销量和效益，以及客户的购买需求，以此来指导企业的运营决策和规划。在对销售的效益预测中，利用网络爬虫收集市场价格变化和竞争对手价格战略等关键信息，并将自己积累的商业和市场数据汇总为原始数据库，进行数据预处理、深入分析关键信息和数据，选取影响最大的几个因子进行模型化。由于模型具有大量的特征值，因此可以通过比较复杂的深度学习算法如RNN 或者LSTM 进行建模。根据该模型的结论，提出了一种基于竞争战略的确定方法，可以为各油站制定最佳的定价策略，从而对各油站进行竞争定价，从而最大限度地进行优化。在顾客购油需求预测中，根据各顾客以往购油记录、价格、优惠等资料，并利用现有的油价、市场活动等资料，运用广义线性回归、时间序列等机器学习方法，对下一个购油时间阶段及购油情况进行预判。

2.大数据在客户营销中的应用

在油品销售业领域，由于新零售业务的迅速发展，线上线下的业务逐渐融合，应用了以网络技术为基础的App、小程序等客户服务平台，从而导致客户行为、客户交易等方面的数据量都在快速增长，相较于传统的线下交易，呈现出几何式的增长趋势。具体到企业的实际情况，可以从三个方面来看。首先，通过对客户基础信息、消费信息、行为数据的整合，运用规则定义和机器学习方法建立360 度的客户画像系统，通过从顾客的支付习惯、效用、忠诚度和消费偏好等方面来建立顾客的品牌。利用AHP 方法建立用户活跃度模型，利用决策树方法建立用户的预失率模型，以留住潜在的流失顾客；基于以上的顾客标记与模式，利用定制的组合，产生新的目标顾客，并进行有针对性的市场营销和顾客分析。其次，从营销活动设计、营销活动实施、活动效果评估、营销战略优化等方面建立以客户形象为基础的营销系统。最后，建立消费者的真实度模型，从顾客的合理需求出发，对顾客的评价进行分类，针对得分较低的顾客采取市场约束策略，降低市场资源的浪费。该平台包含用户标识生成与定制组合、用户模型生成、营销活动配置、营销效果分析与评价等核心功能，支持对用户进行精准营销。

3.大数据在现场管理中的应用

如何提高油品销售的现场管理和服务质量，是油品销售企业经营管理的基础和核心，也是油品销售企业长期面临的一个难题。关于如何利用物联网、人工智能等技术，构建新型数字化、智能化的现场管理系统，提高油品销售企业的数字化运营能力，油品销售企业在这方面进行了探索与研究，并在实践中取得了一定的效果。

在人工智能技术的应用上，将AI 摄像头、边缘计算服务器配置到加油站，利用计算机视觉识别技术建立智能识别网络，对进出站的车辆进行精确的识别，汇聚车流、交易数据、客户数据。运用大数据挖掘与分析技术，对加油站的生产效率进行数字化处理。该系统既能准确地进行道路及进站车辆的准确统计，又能对进站率与销售的变动趋势进行分析，从而提高进站率，同时还能对加油站服务时间的变化进行数字化分析，找出问题的根源及解决办法，从而提高车辆的通过率。进一步的数据挖掘技术，可以将牌照作为用户的唯一识别，对加油站的新老顾客进行动态分析，并根据当期的市场活动对营销战略的合理性进行分析，从而提高顾客的回头率。最后，利用人脸数据库对员工的工作状况进行分析，提出合理的排班方案，从而提升油品销售企业的管理水平。

4.在大宗油品销售数据分析中的应用

在互联网大潮下，传统零售企业纷纷涉足电子商务，利用互联网拓展销售，强化供应链管理，聚集行业资源，提升企业地位。按照成品油从炼厂到最终消费者的流通环节，我国成品油销售主要包括批发和零售两大市场。成品油批发环节从炼厂买入成品油，再销售给零售企业；成品油零售则主要通过加油站等零售网点向千家万户供应成品油。此外，中石油和中石化还向终端用户和大型用户直接销售部分成品油。成品油销售产业链如图3 所示。

五、结语

图3 成品油产业链

综上所述，在油品销售企业中，广泛地使用大数据技术能够提高油品销售企业的管理效率、准确地进行市场营销、做出科学的决策。未来，依托强大的技术与人才系统，油品销售企业可以通过大数据驱动业务和应用创新，催生新场景、新体验，通过分析所得数据预测业务发展趋势，让数据能够成为预测权威，应用大数据可以更好地实现油品销售企业的预期目标，提升人们对油品销售企业的业务满意度，使得大数据技术真正赋能业务，从而推动企业的数字化转型，提升企业的综合竞争力。