船舶与海洋大数据算法模型资源共享系统

石 刘，杨镇宇，赵泽学，王佳奇

(中国舰船研究院，北京 100192)

0 引 言

海洋大数据的使用管理涉及国内十多个国家部委、央企集团和军队等，海洋大数据领域资源共享是个公认的难题[1]。海洋大数据智能分析系统[2]由多源异构引接汇聚子系统、异构数据存储子系统、海洋大数据治理子系统、海洋大数据分析子系统、可视化分析子系统、统一访问门户子系统等[3]组成，整合多源异构数据引接、超融合共享存储[4-5]、高通量实时流数据处理[6]、海量动态目标高效渲染及实时展示等技术，实现海洋大数据引接、存储、分析、可视化等功能。

船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统构建。船舶与海洋大数据算法模型资源共享系统以通用大数据分析架构[7]为基础，研制船舶与海洋大数据应用相关的领域专用算法模型，推动形成良好的船舶行业与海洋领域算法模型资源共享[8]生态环境，系统以对外提供Restful API 编程接口的方式，支撑基于云服务的船舶与海洋外部智慧应用系统快速高效研制。

1 系统构建

船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统的“统一访问门户子系统”和“行业分析子系统”进行构建，如图1 所示。船舶与海洋大数据算法模型资源共享系统主要使用海洋大数据智能分析系统的接口21、接口22 进行数据访问交互，2 个接口数据传输规则如表1 所示。

表1 接口数据传输规则Tab.1 Interface data transmission rules

图1 船舶与海洋大数据算法模型资源共享系统结构Fig.1 Structure of ship and ocean big data algorithm model resource sharing system

在海洋大数据智能分析系统的基础上，设计了海洋环境综合观测[9]、海洋目标识别跟踪[10-16]、风机故障诊断等3 类10 个示范性对外服务模型的Restful API 接口，为外部应用系统提供智能分析计算及数据访问服务，如表2 所示。服务模型接口的具体互联网地址，可配置为互联网公网IP 地址或内部局域网IP 地址。外部船舶与海洋应用系统可通过互联网远程调用云端API 的方式访问船舶与海洋大数据算法模型资源共享系统的算法模型资源，实现船舶行业和海洋领域专用算法模型资源高效共享。

表2 船舶与海洋算法模型资源共享系统服务列表Tab.2 List of services for ship and ocean algorithm model resource sharing system

共享的算法模型资源，可通过跨域资源集成方式，按需扩展到整个船舶行业和海洋领域。对于已共享的算法模型资源，也可由不同的领域专家提供不同的优化版本，由船舶与海洋算法模型资源共享系统集成后供不同用户选择使用。

2 性能测试及分析

2.1 系统部署

海洋大数据智能分析系统的硬件部署架构如图2所示，采用防火墙、VPN、访问程序权限控制等方式解决安全保密问题。

图2 海洋大数据智能分析系统部署架构Fig.2 Deployment architecture of ocean big data intelligent analysis system

系统共部署了1 036 TB 的磁盘存储空间，包括结构化和非结构化共享服务集群2 个部分，共有360 个CPU 物理计算核心、10 块Tesla V100 显卡，CPU 采用虚拟化技术管理，典型的CPU 型号包括Intel Xeon Gold 6248R 等。船舶与海洋大数据算法模型资源共享系统性能测试基于图2 的部署架构开展。

2.2 系统结构化性能测试及分析

船舶与海洋大数据算法模型资源共享系统结构化性能测试采用的软件环境为Centos7.7、MySql5.7、Tomcat8，使用Java 自定义脚本作为测试工具进行测试，测试硬件资源如表3 所示。

表3 系统结构化性能测试硬件资源Tab.3 Hardware resources for structured performance test of system

测试方法为设计编写一个独立的Java 脚本，通过多线程实现随机的API 调用，根据实际情况模拟多个用户、多种语言案例和不同的时间间隔。测试调用案例为5 种语言集成案例：Java 语言海流预测、Python 语言航迹预测、R 语言测试案例、C 语言测试案例、Scala 语言风速案例5 种。测试时记录每次API 调用时返回的日志信息，包括用户名、调用时间、调用案例、返回结果等。

多编程语言模型共享服务间隔60 s、90 s、120 s、150 s，分别进行1 h 并发性能测试，每隔10 min 记录一次CPU 使用率。多编程语言模型共享服务并发稳定性测试，连续测试24 h，记录CPU 平均使用率。

测试结果表明，船舶与海洋大数据算法模型资源共享系统在提供结构化数据算法模型服务时CPU 运行稳定未过载，具备提供船舶行业和海洋领域专用结构化数据算法模型的共享服务能力，且结构化数据算法模型共享服务性能稳定。

2.3 系统非结构化性能测试及分析

船舶与海洋大数据算法模型资源共享系统非结构化性能测试采用的软件环境为Centos7.7、Docker19.03、Kubernetes1.17 、Rancher2.2、Postgresql12.3，使用Jmeter5.4 测试工具进行测试，测试硬件资源如表4 所示。

表4 系统非结构化性能测试硬件资源Tab.4 Hardware resources for unstructured performance test of system

非结构化性能测试案例为YOLOV5-GPU，在单个副本包含6 核CPU 和1 个GPU 的情况下，进行10、20、30、40 个并发案例测试，记录CPU、GPU 的使用率情况。

在并发数为10、间隔60 s 的典型负载情况下，非结构化模型共享服务的吞吐量与GPU 数量的关系如图3所示。可以看出，系统非结构化数据算法模型的共享服务能力具有可扩展性。

图3 非结构化共享服务吞吐量与GPU 数量关系Fig.3 The relationship between the throughput of unstructured shared services and the number of GPUs

非结构化共享服务稳定性测试，使用1 个节点训练（K8s3）及5 个节点模型预测服务的混合模式，在所有节点均使用最大资源24 核CPU 和1 个GPU 的情况下，连续测试24 h，记录CPU、GPU 平均使用率。

测试结果表明，船舶与海洋大数据算法模型资源共享系统在提供非结构化数据算法模型服务时，CPU和GPU 运行稳定、负载均衡未过载，具备提供船舶和海洋领域专用非结构化数据算法模型的共享服务能力，且非结构化数据算法模型共享服务性能稳定。

3 结 语

本文构建了船舶与海洋大数据算法模型资源共享系统，解决海洋领域跨域算法模型资源共享的问题。该系统支持船舶和海洋领域专用算法模型资源的跨域集成和共享，对外提供Restful API 接口供外部应用系统远程高效编程调用，支持多用户访问，可同时为结构化与非结构化数据算法模型资源提供常态化服务，极大提升了船舶行业和海洋领域应用系统关键模块的研制效率。该系统中的算法模型资源可扩充，可以通过源代码或二进制库等方式进行持续集成，在达成算法模型资源共享服务目标的前提下，较好地保护了模型算法原有的知识产权。测试结果表明，船舶与海洋大数据算法模型资源共享系统在并发性能测试、可扩展性测试及稳定性测试中都取得了很好的表现，系统服务算法模型种类、数量可扩充，并发服务用户性能可扩展，并可连续长时间稳定提供船舶行业与海洋领域专用算法模型资源共享服务。