地方电子口岸运维可视化应用研究

郑向平 章溯 杨进彬 林宇彬

摘  要：电子口岸是一个公众数据中心和数据交换平台，近年来随着国际贸易规模持续增长，新型贸易业态不断涌现，电子口岸数据交换量也在快速增长。在此基础上，地方电子口岸对运维服务的需求也进一步提高，在传统运维模式下，无法及时反映电子口岸运行状态。文章对地方电子口岸运维过程中面临的问题进行了梳理，在分析问题的基础上提出地方电子口岸运维可视化应用架构和设计范例，对提升运维服务能力具有一定借鉴意义。

关键词：电子口岸;可视化;运维;应用

中图分类号：TP39    文献标识码：A文章编号：2096-4706（2021）21-0133-03

Abstract： E-port is a public data center and data exchange platform. In recent years， with the continuous growth of international trade scale， new trade formats are emerging， and the data exchange volume of E-port is also growing rapidly. On this basis， the demand for operation and maintenance services of local e-ports has also been further improved. Under the traditional operation and maintenance mode， the operation status of E-ports cannot be reflected in time. This paper combs the problems faced in the process of local E-port operation and maintenance， and puts forward the visualization application architecture and design examples of local E-port operation and maintenance on the basis of analyzing problems， which has a certain reference significance for improving the service capacity of operation and maintenance.

Keywords： E-port; visualization; operation and maintenance; application

0  引  言

電子口岸是一个公众数据中心和数据交换平台，近年来随着经济全球化的发展，国际贸易规模持续增长，新型贸易业态不断涌现，电子口岸数据交换量也在快速增长。以某地为例，2020年报文数据交换量达到3亿6千万条，处理数据量达6.7 TB，整体业务量仍处于高速增长态势。在此基础上，地方电子口岸对运维服务的需求也进一步提高，在传统以“非可视化”的“以人为主”运维模式下，无法及时反映电子口岸运行状态，在资源调度、资源利用、业务关联、排障清障、实时展示等方面存在薄弱环节，对各地电子口岸运维带来较大挑战。

可视化是指将计算机数据信息转化为图形符号的表现形式，常被作为复杂数据的优化处理方法，重点服务于大数据下的数据分析呈现。对于承担了海量区域数据交换业务的地方电子口岸而言，可视化改造对于提升电子口岸运维服务能力意义重大。在地方电子口岸交换业务量日趋增长的形势下，面临越来越高的运维服务能力提升需要，亟须借助可视化改造提升电子口岸运维服务能力。

1  目前面临的问题

地方电子口岸运维可视化应用在现阶段不够完善，尽管有一些应用研究和实际案例，但仍然在很大程度上存在局限性，局限性的产生源自各地实际情况的不同，比如有些地方数据交换的业务量急剧增长，资源配置与业务增长不成比例，也源自各地电子口岸对于可视化功能的需求存在不一致的情况，总体而言地方电子口岸可视化设计研究相对较少且有较大优化和延伸空间。当前存在可优化的方面主要有以下几点。

1.1  数据可视化服务能力不足

系统可视化服务能力开发不够，导致数据交换处理性能有余，数据可视化服务能力不足，能够处理大规模数据交换业务，但无法实时呈现电子口岸整体运行状态，在及时获取数据交换通道、服务器资源、存储空间、数据库表空间状态等数据时存在短板，响应时间滞后无法及时发现数据通道拥堵、资源空间满或报文传输异常等现象。

1.2  管理功能分散不集中

系统运维管理功能分散在各硬件设备管理端，运维分析、业务监控、配置管理、审计管理等功能分散于不同系统，各系统孤立存在无法形成管理闭环，无法提供标准化、统一化数据服务，整体管理过程烦琐而效率低下，间接提高了运维成本。

1.3  缺乏用户需求导向

现有运维体系下的可视化功能主要以各信息系统与功能门类为主要需求，未关注实际业务场景下平台用户的可视化需求，因此需要用户按照系统与功能逻辑进行学习，再分别进入各信息系统实现可视化展示，此一来不仅降低资源配置效率，还增加了用户学习成本。

2  可视化应用需求和设计架构

2.1  可视化应用需求

（1）提升可视化服务能力。从各环节收集业务运行状态、硬件设备情况、软件运行情况等原始数据，经过清洗、筛选、提炼、挖掘后进行统计分析汇总，按照使用场景和功能区分进行分类呈现转化，以直观的方式扩大数据可视范围，以场景页面实现不同主题呈现，以数据挖掘提升可视化数据深度，进而提升整体可视化服务能力。

（2）面向用户需求。关注实际业务场景下平台用户的可视化需求，将原本面向技术运维人员呈现的运维数据，转化为非专业运维人员可以理解的可视化业务图表及有关数据，按照用户需求、用户权限定制个性化使用场景，分为管理人员、运维人员、业务人员界面，为管理人员提供决策支撑，为运维人员提供机房服务器、存储、数据库等设备状态，为业务人员提供电子口岸跨境电商等业务实时状态，以实现不同可视化功能的分类呈现。

2.2  可视化设计架构

可视化平台可采用多层B/S结构的方式进行设计，架构方面参考目前流行的kappa架构或者lambda架构模式，在数据接入层、用户引导层、数据处理层实现应用内部业务逻辑的构建，在数据展示层、应用体验层实现用户界面的呈现，此架构模式能够在控制成本的基础上实现一体化管理，把应用的业务逻辑与用户界面分开，为后期进一步完善应用开发建立基础框架。具体到各层级，通过接入企业申报的报文数据、服务器资源数据、交换平台业务通道数据等多个数据来源，在中间层进行数据清洗、数据转换、数据抽取、数据集成等预处理工作，同时结合用户需求和实际使用场景构建数据分析模型，进而在数据处理层进行数据多维分析、数据挖掘、实时计算，经过筛选分析的标准格式数据落地存储，并通过数据展示层进行实时数据推送、图表组件选定、页面排列设计、信息发布管理，最终在应用体验层实现不同应用端的用户桌面呈现，地方电子口岸运维可视化应用设计架构如图1所示。

3  可视化应用设计

3.1  数据接入层

数据接入层是实现整体应用功能设计目的且引导设计方向的重要基础功能层，其主要功能是数据接入和用户引导，数据接入方面提供内部和外部数据接口，供源数据接入系统，用户引导方面获取用户需求和使用场景，引导最终的应用设计与用户需求相互对接。该层对接的数据源包括企业申报的报文数据、服务器资源数据、交换平台业务通道数据等多个数据来源，既有外部数据也有内部数据，外部数据可能来自不同节点不同系统不同数据库，其输出的数据又可能面向不同用户身份和不同使用场景，因此对于数据兼容性有一定的要求。为此，在该层应用开发前期首先应详细梳理数据来源，构建系统元数据，对整体数据画像进行大概描述，勾勒数据从产生到消费的完整链路;其次，设计通用分类数据表单，建立初步的系统数据预处理逻辑，进而为下一层处理标准化、统一化的格式数据做好准备;最后，对内部、外部数据分别进行接口标准化开发，设计统一的数据通道。

3.2  数据处理层

数据处理层是进行数据分析的主要功能层，需要完成数据从来源端经过抽取、转换、加载至目的端的整体功能。该层可分为数据预处理层和数据分析层，通过构建实时与离线ETL功能，实施数据清洗、数据格式转换、数据补全、数据质量管理等功能。数据处理层支持消息系统、文件系统等多种数据源，对于跨境电商此类标准格式报文，能够分析报文结构数据，提取指定字段，实现字段归类和批量组合检索等方式的统计分析功能，对于服务器、存储等消息系统为主的设备，能够实时提取设备状态信息，实现实时消息推送;支持多种算子，过滤、分割、转换、输出、查询数据源补全等算子能力;支持动态变更逻辑，可通过动态jar方式提交系统，做到不停服发布变更。

3.3  数据展示层

3.3.1  大屏综合展示

支持通过大屏显示技术和可视化的解决方案，支持多种类型的数据接口，从数据仓库中抽取出各种各样的数据，依据事先设定的应用逻辑，梳理出资源数据对应的使用逻辑关系，利用数据加工技术和渲染技术进行可视化处理，依托可视化引擎，实现涉及相关指标数据的大屏幕的自动呈现。

3.3.2  交互式Web展示

用戶直接通过查询设计界面，在可视化界面中以交互方式构建查询，直接查询数据平台的数据。即席查询应满足业务人员自助式的、快速定制的查询需求。

3.3.3  多维度的联机分析功能

用于展示重要业务指标的统计数字和分析比较，使内外部的用户访问关键数据，可以从任意角度探察和分析任何形式组合的数据，快速识别使用其他分析方式无法发现的影响环境的因素，从而提高工作效率。

3.4  其他展示功能

提供各种快速和高级查询功能，支持通过向导式查询，提供向导界面，通过选择查询字段、查询条件，快速完成数据查询过程;支持用户对即席查询的结果进行灵活的排序、过滤、分组、小计、合计等高级功能，并选择要展现的方式，如表格、柱图、趋势图等;通过在界面上选择查询条件，可以快速地进行数据过滤，查看所需的数据。

3.5  应用体验层

结合可视化平台电子口岸运维监测的核心目标，将主题功能按照跨境电商（业务类）、电子口岸运行（管理类）、运维监控（技术类）进行布局板块划分，分别设定各自的核心信息反馈条件，使用简洁的功能布局和主题展示色调进行区分，使用对比度较高的色调进行区分，比如使用绿色、黄色、红色等，分别对应主题色、强调色和警示色。同时，在不用用户端进行不同针对性设计，针对手机、平板端进行适当美术优化，以提升不同用户端使用体验。

3.6  应用效果

在短期效益方面，地方电子口岸通过运维可视化应用，可使运维工作的实时性和有效性大大提升，运维工作能根据不同业务特点而有所侧重。系统在高速处理业务的同时也能更加直观的展示系统运行情况、展示具有地方特色的数据信息，能在资源调度分配、业务监管、故障排查等方面提供快速的、直观的、具有指导意义的参考信息。如图2所示。

在长期效益方面，直观的数据提取与呈现，可以帮助更好的应对业务增长带来的挑战，助力提升企业的通关效率，也可为管理部门提供决策参考。同时，通过灵活的分层设计，也可以作为将来该应用接入数据源后，进一步拓展开发提供基础。

4  结  论

本文对地方电子口岸运维过程中面临的问题和挑战进行了梳理，归纳了数据可视化服务能力不足、管理功能分散不集中、缺乏用户需求导向三大问题，在分析问题的基础上提出提升可视化服务能力、实现管理功能集中、面向用户需求三个应用研究需求，以多层B/S结构设计电子口岸运维可视化应用架构，按照数据接入层、数据处理层、数据展示层、应用体验层进行具体应用分层设计，提供了整体性、系統性、理论性的可视化设计应用范例，对地方电子口岸通过可视化应用促进运维服务能力提升具有一定借鉴意义。

参考文献：

[1] 刘永红，刘帆宇，宋一鸣.基于生态资源信息反馈的可视化设计研究与应用 [J]. 生态经济，2021，37（10）：222-229.

[2] 吕纯.上海电子口岸建设问题研究 [J]. 中国管理信息化，2017，20（18）：131-132.

[3] 浙江电子口岸有限公司课题组.国际贸易“单一窗口”地方特色版的定位与优化发展研究——以中国（浙江）国际贸易“单一窗口”实践为例 [J].海关与经贸研究，2019，40（4）：29-40.

[4] 工业和信息化部.工业和信息化部关于加快推进虚拟现实产业发展的指导意见（工信部电子﹝2018﹞276号） [S/OL].（2018-12-26）.http：//www.cac.gov.cn/2018-12/26/c_1123903256.htm.

[5] 晋浩达，王威，王翔，等.大数据可视化工具设计及应用——基于电商行业 [J].科技传播，2021，13（9）：149-151.

作者简介：郑向平（1985—），男，汉族，福建莆田人，高级工程师，工程硕士，研究方向：信息系统工程;章溯（1974—），男，汉族，福建蒲城人，副主任理学硕士，研究方向：信息化管理;杨进彬（1985—），男，汉族，福建连城人，高级工程师，工学学士学位，研究方向：网络规划、数据安全;林宇彬（1988—），男，汉族，福建福州人，工程师，工学学士，研究方向：系统分析。