云控远程驾驶系统的设计与实现

高洪伟　吕贵林　陈涛　韩爽　隋聪

【摘要】为了加速自动驾驶商业化落地，为自动驾驶汽车提供远程控制能力，提出一种融合5G通信网络、云控平台、视频监控等多项技术的远程遥控驾驶系统，车辆可以通过云平台与远端用户连接，将车辆的速度、挡位、位置、胎压等信息实时发送到系统，驾驶员可通过系统实时监测车辆的状态信息，进行综合决策，实现远程控制车辆行驶，可以为高等级自动驾驶的商业落地提供安全冗余和有力保障。主要研究分析了基于5G通信技术的远程驾驶系统的总体架构和基于系统各部分的架构设计方案。通过实车测试，验证了云控远程驾驶系统的性能，以及系统实际应用的可行性与先进性。

关键词：5G网络；远程驾驶；云控；视频监控

中图分类号：TP273   文献标志码：A  DOI： 10.19822/j.cnki.1671-6329.20220165

Design and Implementation of Cloud-Controlled Remote Driving System

Gao Hongwei， Lü Guilin， Chen Tao， Han Shuang， Sui Cong

（Global R&D Center， China FAW Corporation Limited， Changchun 130013）

【Abstract】 In order to accelerate the large-scale commercialization of autonomous driving system and provide the remote control capability for autonomous vehicles， this paper proposes a remote driving system by integrating 5G communication network， cloud control platform， video monitoring and other technologies. The vehicle can connect with remote users through the cloud platform， and send the vehicle speed， gear， position， tire pressure and other information to the system in real time. Drivers can monitor the vehicle status information in real time through the system so as to make comprehensive decisions， and realize remote driving. It can provide safety redundancy and strong guarantee for the commercial landing of advanced automatic driving. The framework of the remote driving system based on 5G technology and the architectural design based on each part of the system are analyzed in this paper. Through the real vehicle test， the performance of the cloud-control remote driving system and its feasibility and superiority in application are verified.

Key words： 5G network， Remote driving， Cloud monitoring， Video monitoring

缩略语

IoT Hub  Internet of Things Hub

API  Application Programming Interface

GNSS  Global Navigation Satellite System

CAN    Controller Area Network

GPS  Global Positioning System

CPE Customer Premise Equipment

TSF Tencent Service Framework

IMU      Inertial Measurement Unit

SAAS Software as a Service

PAAS Platform as a Service

IAAS Infrastructure as a Service

CI Continuous Integration

CD Continuous Delivery

0 引言

在智能交通领域，5G通信技术以其高性能、低时延和高容量等优势，为智能交通系统提供了技术支撑，为实现自动驾驶奠定了基础[1，2]。当前，由于技术限制和制造成本高，自动驾驶技术仍处于L3级别，即有条件的自动驾驶。在这一背景下，车联网成为解决自动驾驶技术和安全难题的有效途径[3]。然而，目前自动驾驶技术仍不成熟，为了弥补技術不足，远程驾驶技术备受关注[4]。远程驾驶技术是非常精确的远程操作，有着广泛的应用前景。该项技术使得车辆在恶劣环境、危险工作区域（如煤矿、锡矿等地区以及人类无法到达的地方），可以通过远程驾驶实现危险品以及矿区车辆运输[5]。为了提高驾驶安全性，通过无线通信网络连接远端车辆，并在远程驾驶平台通过采集驾驶模拟器的控制信号下发至车辆，进行远程驾驶[6]。同时，该技术如果能够投入到物流行业及共享汽车领域，未来调度车辆的成本也将大幅降低[7]。因此，对5G远程驾驶技术进行研究有着非常重要的现实意义。目前，大多数远程驾驶技术仍受到场景的限制，通常基于设计的模拟驾驶舱来实现。文献[8]、文献[9]通过设计模拟驾驶舱成功实现了远程驾驶车辆。张凯[9]将远程驾驶技术应用到自动化集装箱码头，拓展了该项技术在物流领域的应用。王远渊[10]专注研究智能船舶的远程驾驶技术，分析了远程驾驶在海运行业的技术前景。

本文聚焦智能网联汽车中的远程驾驶技术，通过将车辆的状态信息实时发送到远程驾驶平台，实现对车辆的远程监测和操作。尝试将远程驾驶技术的控制媒介从传统的驾驶模拟舱转变为更为日常化和频繁使用的移动应用程序（APP）。这一设计降低远程驾驶的成本，并摆脱了以往对特定场景的依赖，为远程驾驶技术的推广和应用提供了可行案例。

1 远程驾驶系统架构设计

对于远程驾驶而言，为了保证安全性和可靠性，系统需要具备以下4个特点。

（1）低时延：视频传输时延和车辆控制信息传输时延应尽可能低，让驾驶员能实时观察到车辆周围环境，同时在驾驶员做出操作时，车辆能够实时响应。

（2）合适的控制信息发送频率：信息发送频率直接影响到远程驾驶的驾驶体验和安全性。过快的发送频率会导致网络拥塞，过慢的发送频率会导致车辆反馈不及时，操作有明显的滞后感。

（3）稳定性：数据传输过程中的丢包问题会导致汽车控制指令失序和控制不当[11]。因此，远程驾驶在数据传输过程中，可以对报文增加时间戳和任务编号等辅助信息，确保车内指令按顺序执行。

（4）清晰且流畅的视频画面：远程驾驶过程中，驾驶员只能通过视频信息判断车辆周围环境，视频卡顿或者不清晰会增加驾驶员的反应时间，增大事故发生的可能性。

远程驾驶目前仍采用远程驾驶舱的形式[11]（图1）。考虑到以往的远程驾驶会受到驾驶舱的限制，不能随时随地进行远程操作，本文采用手机APP作为远程控制系统的载体。

本文设计的远程驾驶系统主要包含4部分：车端、手机端、云端、通信网络，具体架构如图2所示。

远程驾驶系统分为用户端、云端和设备端。用户端为用户直接使用的远程驾驶平台（手机APP），包括视频监控、车况显示、最大速度控制、挡位和驻车控制、车辆横向控制和纵向控制功能。云端分为应用层、业务服务层、设备接入层和通信链路。云端和设备端、用户端的通信链路主要分为3种。

（1）长连接物联网通信网关（Internet of Things Hub， IoT Hub）：其主要应用于设备端和云端之间传输车况和故障信息，以及用户端向云端发送控车指令。

（2）短连接应用程序编程接口（Application Programming Interface， API）：其主要应用于用户端调用云端对外暴露的API接口，如车况请求接口、视频请求接口。

（3）长链接协议：用于云端和设备端使用消息队列（Rabbit Message Queue， RabbitMQ）传输视频数据。RabbitMQ是由Erlang语言开发，基于高级消息队列协议（Advanced Message Queuing Protocol， AMQP）实现的消息队列。设备端即本系统中的车端，其中全球导航卫星系统（Global Navigation Satellite System， GNSS）天线和定位装置用于提供车辆定位信息，5G客户前置设备（Customer Premise Equipment， CPE）作为通信单元，摄像头用于提供车辆周身的视频信息，车内部件和网关与车内控制器局域网络（Controller Area Network， CAN）总线相连，用于提供车辆在行驶过程中的车况信息和故障信息，计算单元用于数据处理。

1.1 车端系统架构设计

1.1.1 车端硬件架构

基于5G通信技术的远程驾驶系统的车端硬件架构基于车内计算单元实现，其主要分为4个模块：视频模块、通信模块、信息处理模块和定位模块，车端整体硬件架构如图3所示。

其中，視频处理模块采集车辆前方、后方和左右后视摄像头的视频流，通过通信模块推流到视频服务器；通信模块为车端的硬件设备提供5G通信网络服务；信息处理模块根据车辆CAN总线协议，提取报文经解析后通过通信模块发送，同时接收远程驾驶平台下发的控制指令，封装为总线报文，下行传输控制车辆；车辆定位模块，通过惯性导航设备和GNSS天线采集车辆的GPS值和航向角，再通过通信模块发送到云平台。

1.1.2 车端软件架构

本系统车端软件架构功能主要分为视频采集、发送车端数据、接收云平台数据执行3部分。车端软件架构如图4所示。

视频模块从摄像头采集原始视频流，使用OpenCV对视频进行编码，最后压缩成Base64编码推流到视频服务器。车云之间通过IoT Hub进行通信，使用消息队列遥测传输协议（Message Queuing Telemetry Transport， MQTT）传输JSON字符串，数据传输分为数据上行和数据下行，数据上行传输部分从解析车辆CAN总线数据开始，到封装成固定格式的JSON字符串，最后通过5G通信网络传输到远程驾驶平台[13]，车辆上传的消息所包含字段见表1。数据下行传输部分包括车端接收远程驾驶平台控制指令、解析指令、计算单元下发指令，执行控车[14]，车辆接收到的消息所包含具体字段见表2。

1.2 远程驾驶平台（手机APP）架构设计

在本系统中，开发手机APP来实现远程驾驶平台，主要工作包含APP前端界面设计和后端应用服务开发2部分，APP界面设计如图5所示，主要包含以下9部分。

（1）最大速度选择按钮：可以实现对车辆最大速度的设置，可以实现不同速度下的车辆控制。

（2）退出：退出远程驾驶页面，并结束控车。

（3）拍照：拍摄车端前后左右摄像头当前图像，并上传到云平台进行存储。

（4）转向盘：实现车辆横向控制。

（5）前进、后退：实现车辆纵向控制。

（6）紧急制动：以设定的最大减速度实现减速制动。

（7）车速和挡位：显示车辆当前车速和挡位信息。

（8）遥控开始：表示启动远程遥控功能。

（9）左右+前后视角：显示车辆左右视角和前后视角，其中，前后视角根据挡位状态自动切换。

APP后端应用服务主要包括接收车端上行传输的数据包、解析车端数据包、拉取视频流、转发数据包至界面程序、采集用户操作信号、发送控制指令至车端等功能。

1.3 云平台架构设计

云平台满足远程驾驶平台（手机APP）和车端远距离通信的要求，应该具备以下基础功能：APP和车端的信息交互；记录车辆遥控过程中的车况、故障；管理车辆上传和APP拉取的视频流。

本系统的云平台分为业务服务层、基础平台层、基础设施层，云平台架构（图6）。基础设施层包含服务器、网络、安全、业务监控等。基础平台层包含设备接入网关、数据库、组件库和微服务平台（Tencent Service Framework， TSF）框架。业务服务层基于先进的微服务架构开发，各微服务业务解耦。

1.3.1 APP后台

APP后台在网关（GateWay）类中开放接口，接收手机APP发送的远程请求，包括远程打开/关闭视频、查询车况、打开/关闭遥控驾驶的功能。APP后台将接收到的JSON消息进行解析，填充VideoRequest，VehicleStatusRequest，RemoteDrivingRequest，CloseRemoteDriving实体类数据。同时将视频请求通过声明式服务调用（Feign）发送给视频处理服务，将启动/关闭远程驾驶请求发送给远程驾驶服务。

1.3.2 视频处理

视频处理服务主要实现请求/关闭视频流和拍照的功能，根据VideoType字段判断对哪个视频流进行操作，根据ServiceType字段判断对视频流进行何种操作。将接收到的请求通过Feign转发给远程控制服务，将消息实时发送给车端或者APP端。其中，若收到关闭视频的请求，除了转发请求外，还需要对相应的视频流进行主动关闭。

1.3.3 远程驾驶服务

远程驾驶服务主要实现2个功能：

（1）接收车辆故障信息，在接收到车辆故障信息后，将信息转发给远程控制服务。

（2）开启/关闭远程驾驶，若接收到开启/关闭远程驾驶请求，则发送控制指令给远程控制服务。

1.3.4 数据上行

在IoT Hub上配置Kafka消息队列，数据上行服务作为消费者，使用MsgConsumer类来循环读取消息队列中数据，对数据进行Base64解码，使用JSON消息格式解析数据，并将解析后的数据根据消息类型，使用MsgProducer类将不同的消息发送到对应的Kafka 主题（Topic）中。

1.3.5 数据下行

数据下行服务使用MsgConsumer类消费Kafka数据，根据Type字段区分接收消息是发送给车端还是APP端。根据不同的消息读取对应的IoT Hub配置信息，利用配置信息生成hmac-sha1签名，将签名和发送信息进行拼接，完成鉴权，最后通过Post请求发送给IoT Hub。

1.3.6 车辆状态机

车辆状态机服务使用VehUpStreamReceiver接收数据上行分发到Kafka中的车况信息，然后根据Vin字段写入到对应车辆的Redis中间件中。同时通过StatusMachineController类提供查询车况的功能，返回数据库内当前车辆的车况信息。

1.3.7 远程控制

远程控制主要实现远程发送控车指令和视频请求的功能，供上层微服务调用，同时对指令消息发送频率进行控制，控制上层服务不能短时间内发送大量消息，以防Kafka消息队列堵塞，或者超过IoT Hub的最大消息频率。在接收到上层微服务发送的请求后，使用MsgProducer类对消息进行封装，送入Kafka对应的Topic中。

1.3.8 事件监听消息分发

事件监听消息分发使用KafkaReceiver类从Kafka中读取对应Topic的故障信息，将故障信息进行记录并通过RemoteDrivingNoticeFeign类将故障信息发送到远程驾驶服务和APP后台服务。

1.3.9 车辆状态机

车辆状态机用于接收车况信息，根据车架号对不同车辆的车况信息进行持久化存储，支撑远程驾驶平台获取车辆实时状态数据，也可以对车辆行驶状况进行还原和异常情况分析。车辆状态机数据库设计见表3。

2 远程驾驶系统验证

2.1 试验系统搭建

2.1.1 车端系统搭建

车端硬件设备组成包括摄像头、计算单元、5G 客户终端设备（Customer Premise Equipment， CPE）和定位设备等，具体设备部署如图7所示。

在本系统设计中，车端前保险杠部署了环视相机，用于拍摄车辆正前方景象；在车端左右后视镜下和车辆正后方部署了三路摄像头，用来模拟车辆后视镜画面，提供车后画面；车辆经过改装，车内设备采用12 V电压供电，工控机需要将电压转为24 V進行供电。

在车端部署了惯导设备，惯导设备是车辆定位的核心设备，包括惯性测量单元（Inertial Measurement Unit，IMU）和GNSS[15]。根据性能需求，选择了戴世IFS2000，设备支持多星座多频段定位，能够自主识别卫星数据的定位方差和速度方差，再结合设备标定参数值决定是否融合卫星定位数据。其内置算法支持从CAN总线直接读取轮速和挡位信号并进行滤波融合，且在没有GNSS的情况下依然能够持久地进行运动测量和输出高精度的定位数据。

车端计算单元使用研华工控机宸曜Nuvo-8240GC，5G通信网络由华为5G CPE提供，该设备内置5G/LTE主集天线，插入5G SIM卡后可提供5G网络，车端摄像头视频流可直接通过CPE提供的5G网络推流到视频服务器。

2.1.2 云平台系统搭建

云平台采用容器部署方式，部署在TSF微服务平台，使用MySQL、Redis等数据库和中间件。云端部署架构见图8。

2.2 实车验证

2.2.1 视频模块验证

在5G网络条件下使用客户端对视频进行拉取，对视频性能进行定量分析。选取PC和安卓手机2个设备作为客户端，对视频进行拉取，PC端测试网络为百兆网络，安卓手机测试网络为5G，试验的视频流分辨率为720和1 080。针对以上试验环境，试验视频传输所需带宽、网络波动和视频延时的性能。其中，网络波动采用1 min内视频每秒传输数据量的极值差和平均值的比值来衡量，具体测试数据见表4。

2.2.2 远程控车模块测试

将APP和车端用同一个对时服务器（Network Time Protocol，NTP）进行时间校准，APP下发控车指令时带上当前时间戳，将车端接收到指令后与当前时间戳的差值作为延迟值。针对3个指令进行试验，分别为制动指令、挡位指令和基础控车指令（车辆前进后退）指令，试验结果见图9～图11。因为在实际操作过程中，挡位和制动指令的发送频率要远低于基础控车指令，因此对于制动和挡位指令在不同时间段试验15次，对于基础控车指令，在不同时间段试验100次。每条控制指令的平均延迟，最大延迟和最低延迟见表5。结合试验结果和实际体验发现，此时延迟在低速情况下满足远程驾驶的延迟要求。

2.3 试验结果分析

低视频延迟在远程驾驶中至关重要。视频延迟相当于延后了驾驶员看到周围环境的时间，增加了驾驶员做出反应的时间。就视频传输方案而言，对比王锐松等[12]采用的视频传输方案，其传输时延在187.74～567.48 ms，本文提出的视频传输方案在分辨率为720和1 080的下传输延迟均可以达到100 ms以内，大大减少了视频延迟。此外，由于存在视觉暂留现象[16]，视神经对物体的印象却不会立即消失，而是要延续0.1～0.4 s的时间，这就需要保证视频刷新率至少为10帧/s，本文中的视频刷新率均为24帧/s，且支持分辨率为720和1 080，保证视频清晰度。

车辆控制延迟和控制频率影响车辆响应时间和驾驶员的驾驶体验。本系统中控制频率为50 Hz，操作过程中没有明显的滞后感，且车辆控制的平均时延在80 ms以内，考虑到网络波动问题，假设延迟为100 ms。结合文献[17]，以制动的反应时间为例，无事故驾驶员的平均制动反应时间为0.377 s，出事故的驾驶员平均制动反应时间为0.393 s，故假设驾驶员的制动反应为0.4 s。将视频延时，控车指令传输延时和驾驶员反映时间考虑在内，驾驶员的制动反应时间约为0.6 s。郑彬双[18]指出自动驾驶车辆制动减速度处于－2～0 m/s2时，自动驾驶汽车的驾驶舒适度更高、更安全。因此在本系统中，车辆设置制动减速度为－1 m/s2，考虑不同车速，理想条件下车辆应保持的安全距离见表6（高速情况下制动距离过大，不适合进行远程驾驶，故不列出）。

综上可知，远程驾驶视频传输应满足刷新率至少为10帧/s，分辨率为720。同时在网络通畅、无丢包的情况下，应该在不同的车速下保持不同的安全距离。鉴于车辆的制动距离与信息传输延迟、车速呈正相关这一特点，在网络延迟较大的情况下，应保持更大的安全距离。除此以外，为了应对网络丢包等极端情况，车辆应配备应急程序，实时监控网络环境，在网络环境不佳或存在碰撞风险时，采取紧急制动。

3 结束语

汽车自动驾驶技术一直不断发展、不断进步，在这个领域内有很多企业持续加大研发力度，而远程驾驶技术作为自动驾驶的关键技术之一，可以更好地辅助自动驾驶技术的发展。因此，远程驾驶系统的开发对于自动驾驶汽车有着重要意义。

（1）视频模块部分，在整个系统的数据传輸中，由于视频需要较高的分辨率，视频传输对带宽的要求很高，可以通过应用基于深度学习框架的端到端的视频压缩技术，提高压缩效率。

（2）车辆摄像头所采集到的视频存在视野盲区和图像畸变，视频传输和APP控车也存在一定的延迟，这些都会导致远程驾驶员错误判断当前车辆周围环境，做出错误的决策，因此车辆需要紧急避障功能，在驾驶员远程操作失误时，能紧急应对危险情况。

参 考 文 献

[1] 刘津晶. 5G车联网不仅为自动驾驶而生[N]. 中国电子报， 2020-01-07（8）.

[2] 商立昌， 赵怀党， 王健宇. 物联网环境背景下的 5G 通信技术应用研究[J]. 电子通信与计算机科学， 2023， 5（1）： 111-113.

[3] EL MADANI S， MOTAHHIR S， EL GHZIZAL A. Internet of Vehicles： Concept， Process， Security Aspects and Solutions[J]. Multimedia Tools and Applications， 2022， 81（12）： 16563-16587.

[4] WISEMAN Y. Autonomous Vehicles[M]//Research Anthology on Cross-disciplinary Designs and Applications of Automation. Pennsylvania： IGI Global， 2022： 878-889.

[5] 隋聪. 基于 V2X 的碰撞预警提示与远程驾驶系统的设计与实现[D]. 长春：吉林大学， 2021.

[6] AMADOR O， ARAMRATTANA M， VINEL A. A Survey on Remote Operation of Road Vehicles[J]. IEEE Access， 2022， 10： 130135-130154.

[7] HAN W， MA J Y， LIU H. Application of the Internet of Vehicles in Logistics Management System[C]//Proceedings of 2019 2nd International Conference on Computer Science and Advanced Materials， 2019.

[8] 楊良义， 邓长祯， 刘飞洋. 面向 5G 远程自动驾驶的 CPSS 控制系统研究[J]. 重庆理工大学学报 （自然科学）， 2022， 36（2）： 20-27.

[9] 张凯，王学谦，张煜，等.自动化集装箱码头远程驾驶控制系统设计[J]. 起重运输机械， 2022（6）： 65-68+72.

[10] 王远渊， 刘佳仑， 马枫， 等. 智能船舶远程驾驶控制技术研究现状与趋势[J]. 中国舰船研究， 2021， 16（1）： 14.

[11] 朱陈伟， 郑佳， 关宁. 基于5G网络的车辆远程驾驶场景研究[J]. 汽车制造业， 2021（5）： 15-18.

[12] 王锐松， 吴晓东. 面向远程驾驶的数据通讯交互时延分析[J]. 电子技术与软件工程， 2021（22）： 22-25.

[13] 吴敏捷. 基于CAN总线的车辆远程监控系统硬件设计[J]. 机电产品开发与创新， 2010， 23（6）： 109-111.

[14] JIAN Y M. Design and Production of Bluetooth Remote Control Smart Car[C]//Proceedings of 2020 5th International Conference on Mechatronics， Control and Electronic Engineering， 2020.

[15] 宁予， 张智清， 刘明春. 基于惯导系统的智能汽车定位技术应用[J]. 智能网联汽车， 2020（5）： 88-91.

[16] 王立文， 王剑薇. 视觉暂留[J]. 中国科技教育， 2019（2）： 52-53.

[17] 刘志强， 赵艳萍， 汪彭. 道路交通安全工程[M]. 北京： 高等教育出版社， 2012.

[18] 郑彬双. 无人驾驶车辆制动过程沥青路面抗滑特性及感应需求研究[D]. 南京： 东南大学， 2021.

（责任编辑 明慧）

【作者简介】

高洪伟（1982—），男，中国第一汽车股份有限公司研发总院，高级工程师，研究方向为智能网联汽车技术。

E-mail：gaohongwei@faw.com.cn

吕贵林（1980—），男，中国第一汽车股份有限公司研发总院，高级工程师，研究方向为智能网联汽车技术。

E-mail：lvguilin@faw.com.cn

陈涛（1984—），男，中国第一汽车股份有限公司研发总院，高级工程师，研究方向为智能网联汽车技术。

E-mail：chentao5@faw.com.cn

韩爽（1991—），女，中国第一汽车股份有限公司研发总院，工程师，研究方向为智能网联汽车技术。

E-mail：hanshuang@faw.com.cn

隋聪（1993—），男，中国第一汽车股份有限公司研发总院，工程师，研究方向为智能网联汽车技术。

E-mail：suicong3@faw.com.cn