大数据技术在交通检测机构中的应用研究

蔡笑冬

（苏交科集团股份有限公司，江苏 南京 210001）

0 引言

大数据技术属于先进技术之一，对诸多行业都产生了非常大的影响，可以有效提高实际工作效率与质量。目前，我国已经完成了互联网普及，为大数据技术普及打下了扎实的基础，将大数据技术应用在交通检测机构中，不仅可以提高实际工作效率，还可以更好地完成数据记录与传输，为客户提供全新沟通渠道，对推动行业发展有着非常大的帮助。

1 智慧交通检测系统建设

智慧检验检测实验室（intelligent inspection and testing laboratory）又称为“智慧实验室”，它以现代化信息技术与先进检测技术为基础搭建的具有智能检测、智能感知、信息融合与分析、科学决策等多项功能的检测实验室。智慧实验室是以大数据技术为基础建立的综合、全面、立体、创新、智能的综合类实验室信息服务平台，可以高效率、高质量地完成信息采集、分析、整理等工作。其中凭借大数据技术可以使用户间、实验室间、用户与实验室、用户与信息资源间完成智能信息传递，不需要进行人工干预。

通常情况下，智慧实验室框架由三部分组成，分别是感知层、网络层以及应用层。其中感知层组成内容为RFID、传感器等设备，网络层组成内容为有线网络与无线网络，应用层组成内容为门户网站、实验共公共数据库以及其他智能监管系统，详细情况如图1所示。

图1 智慧实验室框架

2 基于大数据的智慧交通检测机构管理系统

2.1 数据仓库平台子系统

智慧实验室数据仓库平台主要功能为数据收集整理，即在实际工作中，将相关业务系统所产生的数据进行筛选、整理，然后将其传递给所对应平台，在进行数据加工，为后续工作提供数据支持，满足不同人员所提出不同需求[1]。综上所述，数据仓库平台运行本质就是将业务系统整合、集成。其工作流程如图3所示。

图2 数据仓库平台运行流程

2.2 数据采集子系统

通常情况下，数据采集子系统包括五大组成部分，分别是数据采集、数据传输、数据接收、数据清洗以及数据入库。其中，数据采集模块位于实验室检测设备终端中，与分站业务系统相连，需要与数据转换模块建立合作关系，确保服务端可以接收到相关数据。当分站数据采集模块进行数据传递工作时，数据接收模块不仅需要完成数据接收，还需要完成数据解密、数据清洗以及数据入库三项工作。现阶段，数据采集子系统主要存在两种工作模式，分别是定时采集与手动采集，图3为数据采集模块与子系统转换模块功能图。

图3 数据采集模块与子系统转换模块功能图

2.3 数据挖掘与分析子系统

数据挖掘子系统主要职责为处理数据采集、办公OA、业务管理等系统所产生的数据，筛选所收集数据中的有用信息，为企业发展提供数据支持，其运行流程如图4所示。在实际运行中可以选择使用的方法有很多，比如计、在线分析处理、情报检索、机器学习、专家系统等等。

图4 数据挖掘子系统运行流程

2.4 数据应用子系统

数据应用子系统是指在数据采集与数据挖掘工作结束后，合理完成数据分配，其服务对象为应用层，自身包括权限认证与数据展示两部分。其中，权限认证是指为不同权限用户提供不同操作界面，用户可以根据自身权限做出具体操作。数据展示是指数据库服务器在接收到用户所递交申请后对其进行权限认证，然后将权限认证结果以文字、图表、文档等形式反馈给用户，为用户进行后续操作提供参考依据。

3 系统设计重点

3.1 数据采集接口

智慧实验室拥有多个分站，不同分站所承担业务不同，因此各个分站都需要使用不同的数据采集接口，以确保在实际工作中可以根据各个分站实际情况完成部署工作。为确保实际工作可以顺利完成，所选择系统接口必须具备扩展性特点与兼容性特点。现阶段，常用接口主要有两类，分别是标准ODBC 与OLE DB 接口，这两类接口可以满足绝大多数主流数据源。

3.2 数据传输效率及安全性

因为智慧实验室拥有众多分站，所以对数据采集、转换效率提出了较高要求。在搭建数据采集系统时，应尽可能选择高效率压缩算法，在实际工作中，选择压缩传送方式完成数据包发送与数据文件发送，这一做法可以尽可能提高工作安全性与效率。

3.3 数据接口规范化

由于有多个分站，且每个分站都属于独立系统，因此在进行分站增加工作时，一定要保证新增分站数据收集工作不会对其他分站造成影响。即在实际工作中，应对企业总部数据库进行优化，在总部数据库增加一个标准接口数据库，提高总部与分站之间的联系。在开展数据清洗工作时，首先应对分站数据进行标准化处理，然后将其导入到标准接口库中，最后，使用标准流程将数据汇总在总部数据库中，图5为具体数据转换流程[2]。

图5 数据转换流程

3.4 多元数据采集模式

现阶段，智慧实验室拥有两种数据采集模式，分别是手动采集与定时采集。如果分站网络情况较好，应优先选择定时采集，降低人工操作率，提高工作准确性，但是在出错后，应转为使用手动采集，弥补定时采集的缺点。

4 大数据技术应用需要面临的问题

大数据来源范围丰富，比如传感器、物联网、社交媒体等等都可以被视为数据来源。目前，市场中还存在许多从业人员没有发现的数据源。与传统商业智能分析项目所不同的是，大数据分析项目具有极强的探索空间，在探索过程中，所使用数据源多为检测机构之外的IT 体系框架结构，因此所获得的结论可能与常规认知不符。受此影响，技术人员在开展具体工作时，应提高沟通频率，不断提高自身专业素质。除此之外，检验机构管理人员应尽可能对项目进行扶持，给予充分的资源，确保可以高效率、高质量的完成分析工作。

5 大数据技术在交通检测机构中的其他应用方式

5.1 在客户服务中的应用方式

交通检测机构主要职能是为市场主体提供相应检测服务，伴随市场竞争日益激烈，因此在发展过程中应遵守一般市场主体竞争规律。主动完成客户需求分析，为客户提供针对性服务与差异化服务。当客户需求被满足时，客户满意度与忠诚度将不断提高，可以帮助机构营造良好社会形象，可以降低客户维护成本与吸收成本。同时，这一做法还可以帮助机构提高市场影响力，可以通过规模效应控制经营成本，提高自身ROIC。同时，参考数据收集关系信息系统所掌握的客户数据与业务数据完成数据分类与客户划分。在实际工作中，工作人员多选择聚类方法，此方法属于一种常见方法，可以凭借对象属性分析对象之间的相似性，然后对相似对象进行整合，完成统一数据探析。当工作人员完成数据提取后，每个客户都应被视为研究对象，随后通过客户信息对比确定客户属性，比如客户组织性质、业务类型、成立时间、组织规模、销售收入、检测频率、检测费用等等。同一组内各个客户都具有一定的相似性特点，可以根据这些共同点完成客户画像，为后续研究提供方向[3]。

5.2 在产品安全风险预警中的应用方式

产品出现质量安全风险的原因有很多，比如企业内部工作环节存在缺陷、所制定管理计划存在漏洞等等。同时，这些原因之间存在一定的关联性。产品质量安全风险传到具有选择性特点与感染性特点，在供应链环境中，会以愈演愈烈的趋势逐级向下传递，在传导过程中还会表现出扩散性特点。当交通检测机构出现质量安全事件后，会在社会、行业、企业以及个人之间造成非常大的损失。即在实际工作中，工作人员必须重视质量安全风险工作，及时完成各项风险预警工作对推动企业发展有着非常大的帮助。

交通检测机构每天都需要完成大量的产品检测工作，每天都会生产大批的检测报告，所生成报告数据会被记录在信息系统数据库中，另外，仅对孤立数据进行分析，这些数据背后包含有部分有用信息。借助MapReduce 技术对数据库所存储信息进行整理分析，并构建风险评估模型，可以对在检样品进行实时监控，提高实际工作效率。除此之外，应对企业信息库、产品信息库、监督抽查信息库、伤害主题库、产品缺陷信息库等数据进行整理处理，凭借联机分析与建模技术完成查询工作，为管理人员制定最终决策提供参考依据，提高所制定工作计划的科学性与合理性，为企业发展提供帮助。

5.3 在内部质量控制中的应用

交通检测机构属于第三方检测实验室，检测结果需要向社会公示，因此为保证自身社会公信力不受影响，在实际工作中，必须严格遵守相关法律法规，不断提高自身技术水平与专业素质以增强客户认同感。在当今社会，市场竞争日益激烈，这对企业提出了更高的发展要求。在实际发展过程中，企业应结合市场需求不断提高自身技术能力与质量保证能力。交通检测机构为提高自身质量保证能力，那么就需要提高自身质量控制能力。在外部质量控制工作中，交通检测机构应尽可能选择科学合理的方法，比如能力验证、测量审核、实验室间比对等等，将具有统计意义的结果作为质量保证数据，完成外部质量控制。在内部质量控制中，由于涉及多种因素，因此工作人员必须选择不同方法，在不同场景选择不同的统计方法，保证结果权威性与公正性。除此之外，在开展质量控制工作时，工作人员可以凭借成熟度较高的统计分析技术完成相关测量工作，形成数据累积，发现更多重要信息，提高自身工作质量。

6 结语

交通检测机构以大数据技术为基础，对所产生的数据进行处理，可以对自身工作进行更加全面、具体的分析，找到自身不足之处，为自身后续发展提供支持。对现有工作情况进行分析发现，此做法不仅可以优化用户与检测机构之间的关系，保证信息时效性，使客户对交通检测机构有一个更加详细的了解。将大数据技术应用在交通检测机构中拥有非常广阔的应用前景，但是此项工作仍处于探索之中，工作人员应加大研究力度，加快研究速度，推动行业发展。