云存储在地铁视频监控系统中的应用研究

陈 涛 黄 柳

（1.杭州市地铁集团有限责任公司，浙江杭州 310000；2.杭州地铁运营有限公司，浙江杭州 310000）

0 引言

近年来，随着信息科学技术的迅猛发展，国家对信息化、智能化的要求也不断提高，各类新兴技术给社会的蓬勃发展带来了强劲动力。地铁作为关系民生的重要行业，也积极投入到科技创新推广应用行列。其中，地铁视频监控系统将传统的模拟信号切换为数字信号，并进行联网统一管理，大大提高了运营管理效率。同时，高清摄像头逐步替代了传统的标清摄像头，为智能分析识别等信息化应用提供了必要的数据支撑。

但随着城市规模的扩大和跨地域融合趋势的发展，地铁的覆盖范围呈指数级增长，海量的高清视频监控资源对数据存储提出了新的要求。传统的IPSAN数据存储方式由于读取速率低、发生异常时数据易丢失、故障恢复时间久、系统扩容配置复杂等诸多缺陷，已成为制约视频监控系统发展的瓶颈。针对上述问题，杭州地铁在16号线建设了一套视频监控系统云存储方案，本文将从系统可靠性、系统易用性及成本分析三方面，详细对比分析云存储系统和传统IPSAN存储系统的成果效益。

1 系统可靠性

云存储系统的文件系统架构为横向分布式，对于数据存储节点间的数据容错有相应功能支持。若多数据存储节点发生故障，可以通过其他功能完好的节点进行自动数据恢复，实现不丢失历史数据，不中断相关业务，不影响数据的持续写入和读出。同时，云存储系统支持云内所有节点根据服务器CPU、内存、网络利用率及设备读写负载情况，基于性能和容量自动进行负载均衡和系统资源分配[1]。

传统的IPSAN数据存储采用烟囱式纵向扩展架构，受限于单机性能，读取速度慢，无法支撑大规模视频的调阅和下载，也无法支撑视频大规模智能分析和大数据分析应用。同时IPSAN数据存储容错能力有限，可靠性无法保障，只能做到硬盘级容错，无法实现设备级容错；故障恢复耗时久，硬盘故障要及时处理，维护压力大。针对以上问题，云存储系统通过单独网络心跳机制、纠删码冗余等先进技术及应用机制，大幅提高了运营管理过程中视频监控系统的可用性和可靠性。

1.1 单独网络心跳机制

元数据服务器是分布式文件系统的核心，负责调度所有元数据，其可用性高低直接影响云存储系统的可用性。本系统采用高可用性技术，保证元数据服务器集群实时同步元数据，迅速检测异常情况，必要时及时接管服务。

如图1所示，CCTV视频监控云存储系统的元数据服务器集群分布在不同站点，以避免冗余的元数据服务器同时故障，通过单独网络连接，进行实时错误检测，保证同一时刻只出现单台元数据服务器故障的情况下，不影响对整个文件系统的管理。

图1 单独网络心跳机制示意图

单独网络确保了链路的可靠性，心跳和数据中心其他网络通信相互独立。心跳机制还可以实时监测集群服务器间的错误，方便完成主备快速切换功能。当主元数据服务器发生异常情况时，备用元数据服务器可以自动及时接管服务，实现系统7×24 h不间断服务，支持应用系统对数据的持续读写[2]。同时，每台元数据服务器安装的磁盘包含固态硬盘和机械硬盘双副本备份，再加上自身的RAID1备份，相当于每台元数据服务器里面的数据都有4个副本，充分保证了元数据的高可靠性。

1.2 节点间纠删码冗余技术

云存储系统采用节点间纠删码冗余技术，保证数据高可靠性的同时，追求更高的存储利用率，当节点持续故障只剩下1台设备正常时，数据仍可正常写入。而IPSAN数据存储采用传统RAID可靠性技术，仅支持1个RAID组内单硬盘故障，且设备故障时需要人工干预保证写入正常。

如图2所示，CCTV视频监控云存储系统采用存储节点间4+1冗余策略，在元数据服务器的调度下，将一定长度的文件内容切分成4个数据块（S），再通过纠删码算法计算得到一份冗余数据（P），然后将这5份数据定向分发到指定的5台存储节点（DN）上，5台存储节点独立设置在5个不同的车站站点内，这就完成了一次数据写入动作。由于数据存储时被分片存储在不同车站的存储节点上，假设某个车站任意一台设备故障或节点内存储这份数据的磁盘故障，元数据管理服务器会调度其他的存储节点和硬盘，通过纠删码及其他数据块以最快的速度恢复丢失的数据，数据恢复速度＞1 TB/h，从而实现了任意车站、任意节点、任意硬盘出现故障情况下数据的高可靠性。

图2 节点间冗余示意图

2 系统易用性

传统的IPSAN数据存储扩容操作复杂，当存储空间不足时，每增加一台节点，都需要进行复杂配置，工作量大且存在数据丢失风险，同时升级扩容时会拉低业务系统处理能力，扩容升级风险高。针对以上问题，云存储系统通过手动和自动结合的恢复机制、在线扩容机制、数据离散技术、界面化运维管理等先进技术及应用机制，大幅缩短了运营管理过程中视频监控系统的升级、恢复过程，减轻了维护工作压力。云存储系统增加了智能化运维管理模块，系统会轮询各个节点的监控项，对于严重的系统错误，通过数据上报方式发送给运维人员，让运维人员能第一时间介入恢复系统。

2.1 手动和自动结合的恢复机制

CCTV视频监控云存储系统可以全存储节点参与恢复，保障数据恢复效率，采用手动和自动相结合的方式，提供多样化的数据恢复机制。当然，系统支持通过手动方式来快速恢复重要文件，而对于不太重要的文件，云存储分布式系统通过数据冗余机制，不降低数据可靠性，屏蔽集群内任意硬盘故障、任意节点故障以及任意车站存储设备整体故障对系统的冲击，保证数据可访问的同时自动延迟进行数据恢复。云存储系统的核心是一个分布式文件系统，分布云内任何两个地理站点的存储设备遭受毁坏性损坏后，云内其他站点可接管存储，并且原历史视频可复原不丢失。云存储系统具备磁盘漫游功能，支持在已存在多种冗余级别文件情况下，将任何一个节点的某一块磁盘对调到另外一个节点，或新增全新节点，这些都不会影响数据的完整性和可读性。

2.2 在线扩容机制

云存储系统包含集群管理、数据冗余和恢复等功能，是一种各机制综合的集合体，支持在线扩容，在业务正常运行的前提下，可以通过增加或删除存储节点，动态改变云存储的容量，实现业务层面无感知的存储容量调整。1 min内便可以完成在线扩容，无须配置网络RAID组，当用户需要新增节点时，只需要配置对应节点的网络地址即可，真正实现快速部署、一键扩展。对于不同型号、不同存储盘位的数据节点，云存储系统都可以统一进行管理。同时，云存储系统具有线性扩展的特性，得力于非对称系统架构，在实际使用过程中可以实现灵活多变的业务扩展，保持稳定持续的性能增长。在系统使用后期，可以通过提升硬件设备规模或增加存储容量，确保系统性能与存储容量的线性增长。

2.3 数据离散技术

如图3所示，当车站工作人员需要使用云存储系统进行数据访问时，首先会将访问需求发送给元数据服务器，并返回相应数据存储节点的具体信息，之后再去存储节点中进行实际数据的读取和写入操作。这样一来，客户端和元数据服务器之间就没有数据流，只有控制流，极大地提升了系统性能，降低了元数据服务器的负载。由于一份文件会生成5个数据块完成分布式存储，车站工作人员操作的客户端可以同时访问多个数据存储节点，系统的输入/输出实现高速并发访问，提升了系统的整体性能[3]。

图3 数据离散技术示意图

2.4 界面化运维管理

分布式文件云存储系统容错能力高，由于采用了节点间纠删码的容错技术，系统数据出错后无须马上维护，且当硬盘故障数量持续增加时，数据可自动进行恢复，系统仍然可用，无须立刻更换故障硬盘，运维人员可以不定期统一进行坏盘更换，大大降低了维护压力。同时，视频监控系统会轮询各个节点的监控项，对于严重的系统错误，会通过短信或邮件方式推送给运维人员，相关人员可以第一时间介入恢复系统。整个云存储系统通过可视化界面提供设备管理、系统监控、故障提醒、告警信号等功能，方便实现集群管理、维护、监测等功能，极大地提升了视频监控运维的效率。

3 成本分析

杭州地铁16号线共有12个车站，其中绿汀路站为三线换乘超大车站，但公共区由其他线路建设，本次只统计设备区。按每6个车站建设一朵云存储系统进行成本计算，每路视频按照4 Mb/s存储，存储容量计算公式[4]如下：

公式（1）中，全车视频录像存储容量单位为MB；摄像头码率单位为Mb/s；时间单位为s。

3.1 云存储系统建设成本

5个普通车站加绿汀路站组成一朵云，普通车站95路IPC存储90天，25路设备区IPC存储30天，绿汀路站设备区50路存储30天，存储容量=[4×（95×5）×（3 600×24×90）+4×（50+25×5）×（3 600×24×30）]/（1 024×1 024×8）≈1 977.539 1 TB。

6个普通车站组成一朵云，每个普通车站95路IPC存储90天，25路设备区IPC存储30天，存储容量=[4×（25×6）×（3 600×24×30）+4×（95×6）×（3 600×24×90）]/（1 024×1 024×8）≈2 298.889 2 TB。

存储容量预留15%空间，硬盘有效使用率93%，纠删码利用率80%（采用4+1），5%缓存空间，计算出5个普通车站加绿汀路站存储容量=[（1 977.539 1×1.15/0.93）/0.8]×1.05≈3 209.514 1 TB，采用36盘位储存节点，6T硬盘存储，需要数量=（3 209.514 1/6）/36≈15台。支持一个车站存储节点故障后数据不丢失，共需要36盘位的磁盘柜数量为15+3=18台。6个普通车站存储容量=[（2 298.889 2×1.15/0.93）/0.8]×1.05≈3 731.060 1 TB，共需要36盘位的磁盘柜22台。

云存储系统配置的设备数量：4台元数据服务节点、40台36盘位的存储节点（1 440块6T硬盘）。

3.2 IPSAN存储RAID5配置成本

36盘位的IPSAN设备除去RAID消耗，实际可用硬盘容量为30盘位，6T硬盘存储，预留15%空间，硬盘有效使用率93%。因此，5个普通车站加绿汀路站需要[（1 977.539 1×1.15/0.93）/6]/30≈14台，支持一个站点的设备故障需要额外增加设备数量为3台，共需要36盘位的磁盘柜数量为17台。6个普通车站需要[（2 298.889 2×1.15/0.93）/6]/30≈16台，支持一个站点的设备故障需要额外增加设备数量为3台，共需要36盘位的磁盘柜数量为19台。

IPSAN存储RAID5配置的设备数量：36台36盘位的存储节点（1 296块6T硬盘）。

3.3 成本分析

从表1可知，全线路云存储方案仅比IPSAN存储方案增加投资91.28万元，而且针对后续扩容升级成本，云存储系统可靠性和易用性强，不需要双控制服务器和复杂RAID配置，只需要采购通用的X86服务器和企业级硬盘，服务器和硬盘的成本也相对便宜。纠删码算法通过4+1模式，可以用很小的数据冗余度完成视频数据高可靠性存储，相对于其他存储冗余的通用做法，存储空间的利用率更高。云存储系统软件的兼容性好，可以利用公司既有服务器或存储产品等实体资产，进一步降低系统建设成本。

表1 云存储与IPSAN存储成本对比表

4 结束语

云存储方案并不是视频存储的简单堆积，而是作为存储和管理的中心节点，它是将云设备、云软件、云服务整合后提供一套完整的解决方案，运用虚拟化技术、集群化技术、离散存储技术等对系统内的设备资源、存储容量资源进行专业化整合，为用户提供大容量、高性能的透明存储服务。元数据服务器和存储节点采用集群架构和分布式对象存储架构，虽然存储设备硬件分布在不同的车站，但是软件层面可以形成集成统一的数据存储池，对外只有唯一一个IP地址，可以灵活扩展，具备多种接口，以适应各种存储与应用的需求，在运营可靠性、可用性，维护便捷性、舒适性等方面起到了非常关键的作用[5]。

16号线视频监控系统云存储方案的建设，也为后续地铁线网的视频结构化及大数据应用提供了视频存储底层技术支持，支持对实时视频流、录像视频的结构化，给智能结构化设计的应用层提供强大的性能支撑以及强大的写入能力。在人工智能、大数据等大发展环境下，以视频分析为应用表现方式，对地铁安防、数据分析及人性化服务进行应用扩展，对视频数据进行智能化分析，让CCTV视频监控系统不再是人工监控和事后追溯的工具，而是转变为主动发现、实时发现、触发业务流程、形成业务闭环、可观测业务效率数据的基础赋能平台。