大数据时代工作中的模型思维构建

卢志强

(中国铁路上海局集团有限公司信息技术所 上海 200071)

以大数据、云计算、物联网等为代表的信息技术正加速推动着社会信息化进程，各个行业积累的数据资源也越来越多，人们的工作也越来越依靠数据。大数据分析领域也对大数据专家技能需求分为“数据管理、数据运营、洞察分析、算法模型”四个层次，其中算法模型这个层次就是数据价值挖掘能力。为了更好地适应大数据时代的发展，工作中需要加强对业务的思考和总结，将日常工作中发现的规律和经验融入大数据模型，提高数据应用能力[1]。

一、数据建模原理

在大数据分析中，模型是非常有用的工具，模型很多时候就是一个类似Y=f(X)的函数，即从参数X（也可以理解为条件、现象、特征）到结果Y的一个推导（映射）规则。在掌握足够经验时，结合一些基础的统计分析，依靠人工规则定义就可以实现建模；而人工对错综复杂、大量的数据无法处理时，逐渐转化为依靠人工指导的数据挖掘，再到完全依赖机器进行的深度学习算法去完成建模。挖掘算法包括分类、聚类、关联规则、回归等，而深度学习主要是依赖神经网络模型[2]。

数据挖掘的实质是通过计算机的计算能力在一堆数据中发掘出规律并加以利用的过程。如图1所示，数据挖掘通常通过已知输出的结果的数据作为训练集产生出模型，再用另外一部分知道已知输出结果的数据作为验证集来验证模型的可信程度，通过验证后，再用到测试集中去取得实际的效果。……