大数据收集协议测试的研究与分析

李志涛　耿伟峰

【摘  要】随着汽车电子电器技术的发展，信息化技术与汽车领域的融合，车辆智能化、科技化、网联化发展迅速，同时大数据技术在汽车行业中得到快速应用，为汽车产业的研、产、供、销提供了新的机遇与新的服务模式。针对汽车行业的特点与大数据技术在车辆上的应用，本文主要对大数据技术的特点进行概述，同时介绍大数据收集的系统架构，阐述大数据收集协议的测试环境、主要测试范围、测试方法及相关测试示例等。

【关键词】大数据；协议；TSP；测试；TBOX

中图分类号：U463.6    文献标志码：A    文章编号：1003-8639（ 2023 ）06-0059-04

Research and Analysis of Big Data Collection Protocol Testing

LI Zhi-tao，GENG Wei-feng

（Baoding Technology R&D Branch of Great Wall Motor Company Limited，Baoding 071000，China）

【Abstract】With the development of automotive electronic and electrical technology，the integration of information technology and the automotive field，vehicle intelligence，science and technology，and networking have developed rapidly. At the same time，big data technology has been rapidly applied in the automotive industry，providing new opportunities and new service models for the research，production，supply，and marketing of the automotive industry. In view of the characteristics of the automobile industry and the application of big data technology in vehicles，this paper outlines the characteristics of big data technology，introduces the system architecture of big data collection，and describes the test environment，main test scope，test methods and relevant test examples of big data collection protocol.

【Key words】big data；protocol；TSP；testing；TBOX

伴随着时代的发展和信息技术、汽车技术的不断进步，全球汽车行业正迅速从硬件定义车辆向软件定义车辆发展，许多传统上由机械系统驱动的功能转变成软件控制，软件定义汽车已成为大势所趋，因此，从研发、生产、销售，再到售后，加之汽车在使用过程中的人-车-环境数据，可以产生海量汽车相关的数据[1]，促使汽车行业正快速进入大数据时代。对这些数据加以挖掘利用，将有利于汽车产业的创新升级、汽车生态的持续发展。本文从大数据的定义和特点出发，结合大数据在汽车研发应用的基础上，对大数据收集协议的测试进行相关研究和分析。

1  大数据概述

互联网的兴起促成了数据量的第3次大规模增长，在互联网时代，数据的产生形式极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为中被记录、搜集的数据。时至今日，移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长。在数据爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。

大数据在信息获取、信息存储以及信息管理与分析方面具有较强的数据整合能力，同时还能根据海量的数据找出想要的资源，能够适应多种数据类型快速实现数据共享、数据交流[2]。在汽车行业，车辆智能化、网联化的发展，导致车辆数据也在爆发式增长，依據车辆系统自身和用户的需求，需要获取车辆数据，从而对这些数据进行有效、专业的加工处理，从多样化的数据中提取关键数据进行挖掘应用，让数据产生最大的应用价值，其意义对于OEM来说已经不言而喻。通常大数据处理过程分为数据采集、数据存储、数据清洗/转换、数据建模、数据计算与数据展示。

数据处理首先基于应用需求，确定合规的数据收集信息，采集车辆运行应用过程中的数据存储到目标ECU中；选择数据收集技术方法，开启车辆数据收集，进行数据信息的收集并上传至服务器，完成数据信息的存储，然后进行数据清洗转换（如格式的转换等）、数据建模，进行共同属性、业务逻辑的整合，提供给不同的场景与业务方使用，最终根据不同的业务需求进行数据的分析、计算，完成数据的展示等。

大数据面向的对象为数据，其主要的特征表现为数据的体量大、多样化、价值高与时效性。如：①数据采集存储单位从过去的GB到TB，甚至更高；②数据类型复杂多样，包括结构化、半结构化数据、视频、音频及图片等；③原始数据经采集、挖掘后，结合应用场景具有较高的价值；④数据经采集、计算处理后，需要满足不同场景的时效性需求。因此，面对数据固有的复杂特征，实现数据的正确收集至关重要。

2  数据收集系统架构

为实现车辆数据的收集，设计了一种基于车载以太网总线的系统架构，其基本功能主要为车辆数据采集、存储，以及传输车辆总线数据、车辆运行记录、车辆状态信息等，为实现车辆诊断、系统优化、智能驾驶等功能提供必要的数据信息。该系统是一个分布式系统，系统架构示意图见图1。

2.1  数据收集系统架构

数据收集系统包含3个模块，分别为数据收集管理模块、数据收集主模块、数据收集客户端模块。数据收集管理模块在后台服务器上（TSP）实现，负责数据收集请求的下发以及数据报文的收集和解析。数据收集主模块位于TBOX控制器内，负责与TSP中的数据收集管理模块交互，获取数据收集请求报文。数据收集主模块将数据收集请求报文下载至TBOX后，检验请求指令的合法性。如果合法，解析数据收集请求报文中的信息，然后向目标ECU发送数据收集请求信息，目标ECU收到数据请求报文后发送数据收集请求应答报文，发送至TBOX，然后经TBOX发送至TSP。

每个目标ECU节点都应集成数据收集客户端模块，数据收集客户端模块负责检查数据收集请求报文的具体内容，并且在自身条件满足时执行数据收集请求并采集到相关的数据后，将收集的数据报文发送至TBOX，TBOX再将收集到的数据包报文发送至TSP，TSP收到数据报文后发送数据应答报文，发送至TBOX，然后发送至各目标ECU。

2.2  数据收集报文

数据收集报文分为4类，分别为数据收集请求报文、数据收集请求应答报文、数据报文和数据应答报文。数据收集请求报文，其作用为向目标车辆的目标ECU下发数据收集指令；数据收集请求应答报文，为目标ECU客户端对数据收集请求报文接收处理后，把相应状态反馈至TSP；数据报文，用于各目标ECU上传数据采集结果；数据应答报文，用于TSP对数据接收及处理状态的应答，发送至车辆通知相关目标ECU。

数据收集报文的类别取决于数据收集报文头中的报文类型，数据收集报文通用报文头主要包含报文类型（Message Type）、功能识别号（ActionID）、指令识别号（CmdID）、目标（Target）、启停（StartStop）、届期（Expiry）字段，不同类型的报文携带的Payload不同，通用报头结构定义如图2所示。

MessageType长度为1个字节，用于标识当前报文类型，通过不同数值表示数据收集请求报文、数据收集请求应答报文、数据报文和数据应答报文；ActionID表示由TSP发布的数据收集功能识别码，该识别码帮助TSP管理数据收集功能，用于记录和识别所采集数据的用途；CmdID表示数据收集指令任务识别号，用于对具体需要收集的指令集进行管理，TSP每发送给某个目标ECU的数据收集请求报文后，CmdID都应当累加，累加到最多值后，重新从0开始循环；Target用于表示数据收集请求的目标ECU，由OEM预先定义；StartStop代表数据收集请求报文的控制码，用于通知目标ECU开始或停止数据收集；Expiry表示数据收集请求的失效日期，数据收集请求在有效期内执行。TSP与TBOX之间采用以上4种类型的数据收集报文进行信息交互。

2.3  数据收集流程

车辆内部，TBOX和车内ECU之间数据收集请求与应答报文的传输，采用基于SOME/IP的协议设计，数据收集流程见图3。

目标ECU向TBOX传输采集的数据信息同样采用基于SOME/IP-SD的协议设计，数据封装在SOME/IP协议格式中进行传输。TBOX和目标ECU需同时支持数据周期收集、数据完整收集、数据触发收集方式。当整车总线唤醒后，车辆应具有大数据收集功能，相应地，当车辆休眠后，需关闭大数据收集功能，TBOX的大数据收集工作状态依赖于是否有接收到目标ECU发送的目标数据信息。

3  数据收集协议测试

数据收集协议测试是指为获取车辆内部产生的目标数据信息，对其所应用的数据收集方法、规则的测试验证。目前行业内尚未发布相应的数据收集协议测试规范标准，OEM主要结合协议需求规范、通信模型、传输机制，并围绕数据收集在车载应用中的场景、关注点等制定相应的测试范围与测试内容。

3.1  测试范围

在汽车电子电气领域，典型的V模型在OEM电子电器产品开发中广泛应用。依据此V模型，左侧为需求的开发设计工作，右侧对应各阶段的测试工作[3]。对于数据收集协议测试，可划分为ECU级、系统级、整车级3个阶段的测试，零部件供应商进行ECU级测试，验证产品需求的实现与正确性等，OEM开展系统级与整车级测试，系统或整车集成阶段侧重于系统集成的正確性、协议一致性及稳定性等方面的测试。因此，数据收集协议测试范围可划分为协议一致性测试、系统通信正确性测试、功能应用测试等，主要测试内容见表1。

系统及整车级测试，各测试的关注点不同，协议一致性测试侧重协议的符合性与一致性，系统通信正确性侧重于整个系统通信特性，功能应用测试需嵌入应用场景进行测试，重点关注数据的完整性、准确性，同时考虑自定义及一些特殊的需求，开展相应测试验证等。

系统及整车级测试，是协议测试流程中的关键阶段，不仅需考虑协议基本需求的实现，在此阶段，需基于整个系统维度，结合功能需求的应用，车辆使用场景、非预期操作等开展相应的测试，验证系统正确性与稳定性。系统级测试主要是在集成所有相关ＥＣＵ的情况下，对系统或整车进行验证，查看是否满足设计时的规格要求。对于较为复杂的系统，为保障测试的覆盖率并节省测试时间，需结合相应测试内容的特性，转化为自动化测试，其中自动化测试工具的选择和测试环境的搭建十分重要。

3.2  测试环境

数据收集测试基于Vector测试工具链，通过CANoe软件开发测试脚本和测试工程，集成Vector硬件设备，完成测试环境的搭建。测试环境示意图如图4所示。

本测试环境采用VN5640实现以太网数据的采集，VT系统用于以太网链路的自动化故障注入，如断路、短路，同时匹配VT系统，匹配相应的IO激励和测量板卡，仿真相关ECU的外围IO信号或者总线信号，模拟实现车辆端数据收集触发的车辆环境和条件；PC访问TSP网页，用于触发数据收集指令，如数据收集方案配置、数据收集开启、停止，LOG文件获取等。

大数据收集协议测试与传统车载总线协议测试具有一定的区别，主要为技术门槛高、测试效率低、数据类型复杂多样，如实时数据、离线数据的架构、框架都是不一样的，存在结构化、半结构化的数据，还有一些视频、图片的数据；数据链路长，数据收集任务运行时间比较长，回归测试难；环境问题比较多，场景缺乏统一的标准，测试人员无法感知到收集的数据是不是准确、完整等。开发符合测试业务需求及应用场景的自动化测试系统，开展相应的自动化测试，至关重要，并贯穿于整个研发过程中，满足产品迭代开发的测试环境。

4  测试示例

本示例为车辆完整数据收集请求报文格式及响应数据报文格式正确性的测试验证，测试车辆TBOX节点所发送的数据收集请求报文的ReqFunCode、ReqSubFunCode、Complete Collection Version等字段格式是否与设计需求相符。测试前，参照图4搭建测试环境，连接测试设备，完成CANoe软硬件配置。

系统上电，车辆与TSP后台建立连接，PC登陆访问该被测车辆的数据收集操作界面，车辆系统处于正常运行模式中。采用CANoe工具与匹配的第三方软件，触发车辆的完整数据收集请求，通過TSP平台发送至车辆的TBOX节点，其中ReqFunCode=0x12；ReqSubFunCode=0x03；Complete Collection Version=0x011C；在CANoe软件中查看完整收集的请求报文和响应报文，查看请求报文与响应报文中的各字段数值是否符合预期要求，见图5。

CANoe采集TBOX节点发送的数据收集请求报文与收到的数据收集响应报文，查看并分析所采集的数据收集请求报文，请求报文中的ReqFunCode=0x12；ReqSubFunCode=0x03；Complete Collection Version=0x011C；查看并分析所采集的数据收集响应报文，响应报文中的ReqFunCode=0x12；ReqSubFunCode=0x03；各报文中的字段数据格式与相关数值等，经分析符合预期需求。同样按以上测试要求及步骤进行数据收集协议报文数据格式及正确性的测试验证。

5  结束语

随着汽车智能化和网联化的快速发展[4]，智能的车、智慧的路、高效便捷的网络必将逐步普及应用，具备自动驾驶功能的智能车辆，未来将成为我们生活中的一部分，而大数据作为自动驾驶的核心，可将汽车连接到周围的环境并进行更好地交互，使我们拥有更高效的享受，以及更安全、更愉悦的驾驶体验。大数据在汽车行业中将拥有更加广阔的应用空间与无限的遐想，同样大数据收集协议的测试方法及测试技术也需伴随着技术的发展进行不断探讨和创新。

参考文献：

[1] 徐海涛. 大数据在汽车行业的运用及影响分析[J]. 汽车工业研究，2017（11）：4-10.

[2] 吕超. 大数据在汽车行业中的应用探讨[J]. 专用汽车，2022（7）：73-75.

[3] 李志涛. 车载以太网系统测试的研究与分析[J]. 汽车电器，2019（10）：9-12.

[4] 孟祥坤，张起朋，张宏伟. 车载以太网技术发展与测试方法研究[J]. 汽车电器，2019（5）：40-44.

（编辑  凌  波）