十二运IBC赛事信息共享系统全镜像架构设计

粟迎南

（辽宁广播电视台 网络技术部，辽宁 沈阳 110003）

第十二届全运会（简称十二运）IBC赛事信息共享系统是IBC公共信号制作的核心系统，系统主要为各持权转播商提供赛事公共信号资源，同时提供节目制作平台。该系统完成赛事公共信号的收录、场记，并支持以场记点为基础的查询检索，支持高清节目制作，并提供多种格式及文件方式的上、下载。系统存储了所有全运会制作的赛事资源，不仅在赛事期间供持权转播商查询调用，还需要在赛事结束后，使用离线介质备份后存档，作为组委会的媒体资产长期保留，待以后需要时调用。体育比赛无法重复，所以存储的数据不容有失，系统的数据安全非常重要。系统必须按照广电总局的标准提供安全文档的数据服务[1]。

十二运IBC赛事信息共享系统首次将存储访问的全镜像设计应用于大型赛事信息管理系统，在文件系统层面实现赛事素材数据和元数据全镜像存储与共享管理，并利用应用软件的功能实现数据在文件系统间的备份，确保赛事数据安全。系统配置4台相同配置的光纤存储和2组文件系统服务器，任意一台存储故障，不需要调整系统和配置即可自适应使用。客户端可以同时访问4台存储的全部数据，网络带宽成倍提升，并实现了多台存储间的负载均衡。

1 传统的IBC数据安全机制

在以往IBC的备份方案中，主要采用2种备份方式，数据迁移式备份和文件系统数据级备份。

1.1 数据迁移式备份

这种备份方式采用备用的存储搭建一套备份文件系统，通过备份服务器将文件定期从主文件系统复制到备份文件系统中。当主存储出现故障导致主文件系统不能访问时，客户端挂载起备份文件系统，应用程序切换到备份文件系统继续工作。这种基于文件复制的方案，解决了盘阵整体故障后数据彻底丢失不能访问的问题，但从应用容灾的角度看主要有几个问题：1）业务中断；2）数据丢失；3）业务恢复时间长。

1.2 文件系统数据级备份

这种备份方式是基于文件系统的功能来实现的，在十二运之前的几次国内大型赛事的IBC存储网络都使用这种数据备份方式[2]，其数据结构如图1所示。

图1 文件系统数据结构

2套在线存储中只有1套元数据卷（META-LUN），而数据卷（DATA-LUN）是完全镜像的，这种方式的缺点显而易见，如果存储2出现存储级故障，数据不会丢失，也不会对应用造成影响，如果存储1出现故障，则元数据卷丢失，存储2中的数据卷也无法访问，所以这种数据存储方式不能保证安全，元数据卷所在存储成为故障单点。

2 全镜像架构设计

本次全运会的赛事信息共享系统采用了一种全新的网络架构设计，彻底解决了以前使用的网络架构在数据备份方面存在的问题，系统采用的全镜像架构是一种高安全的存储网络架构，其网络结构示意图如图2所示。

图2 存储网络架构示意图

全镜像架构采用FC-SAN结构，它是一种存储网络架构，包含存储、交换设备、文件系统服务器、客户端、网络文件系统、应用软件等诸多软硬件要素，这些要素根据IBC的应用需求组合在一起，共同形成一个高带宽、高安全级别的存储网络。

全镜像架构在文件系统服务层实现高可用，通过文件系统的功能实现在镜像存储组内的存储间的数据和元数据全镜像，对安全级别要求一般的数据，系统提供在1个存储组内2个镜像存储之间的备份，对安全级别要求最高的数据，可以通过应用软件的任务设置实现数据在2个镜像存储组之间的备份，即可实现文件系统级的备份。

1）存储设计：系统包括4个存储，存储之间两两镜像，构成2个镜像存储组，镜像的存储配置完全一致。

2）光纤交换设计：系统包括4个核心光纤交换机和2个级联光纤交换机，每台核心光纤交换机与所有的4个存储的主机端口连接，用来连接核心设备，级联交换机只连接备线。

3）以太交换设计：5台以太网交换机堆叠成环，同一设备的不同以太网接口连接在不同交换机上。

4）文件服务器设计：系统配备2组文件服务器，每组文件服务器管理1个镜像存储组，每个文件服务器组包括2台文件服务器，文件服务器工作于主备的高可用模式。

5）网络文件系统设计：全镜像架构依靠文件系统来实现存储级的容灾，确保即使一个存储损坏，也不会对应用造成影响。

系统集成的文件系统利用自身提供的位于文件系统和数据块之间的虚拟映射机制，实现数据的文件级镜像，在文件系统层利用文件系统相关信息，以文件为粒度进行RAID1镜像，并将文件存放于不同存储设备中，借此实现了存储系统的实时容灾功能[3]。

在客户端往存储写数据时，采取同步镜像的方式，只有“写”操作在原始磁盘和镜像磁盘上都完成后，才向客户端通报“写”操作成功。在客户端读取存储数据时，文件系统会以数据块为单位在镜像存储间做负载均衡。

如图3所示，客户端的写请求，在文件系统服务器的管理下，会同时写入到两个镜像存储中，包括数据和元数据。

图3 存储系统框图

在本次IBC系统中，每套文件系统管理一组镜像存储，当一个存储整体出现故障不能正常工作时，文件系统仍然能正常访问，其上正在运行的业务不会中断，从而实现了存储系统的全镜像配置，彻底消除单点故障，保证了存储系统的数据可靠性和可用性。

6）应用软件设计：根据IBC应用的特点，系统的绝大部分数据都来自于收录服务器的实时收录，因此可以通过收录软件的设置来实现数据安全级别的选择。

对于普通数据，选择使用1台收录服务器进行收录，收录的数据存放在1套文件系统管理的1组镜像存储中，实现存储级的容灾，1台存储故障不会导致数据丢失，也不会影响应用。

对于高安全需求的数据，可以选择2台收录服务器同时收录，这2台收录服务器的路径分别指向不同文件系统服务器管理的不同存储组中，实现文件系统级别的容灾，1套文件系统故障不会导致高安全数据的丢失。

3 全镜像架构的数据安全体系

全镜像架构是由多种功能的软硬件共同组成的一套存储网络，其安全体系也由多层结构共同组成，如图4所示。

图4 全镜像架构数据安全体系

4 全镜像架构的特点

凭借网络架构的设计和应用软件的功能，全镜像架构具备以下特点：

1）零业务中断：客户端应用程序的数据读写在单个存储整体故障的情况下仍能持续进行，最大可能地保证业务连续性。

2）零数据丢失：单个存储故障不会导致数据丢失，如果采用备份收录策略，可以确保即使一个文件系统故障也不会导致数据丢失。

3）对应用程序完全透明：冗余功能在文件系统内部实现，所以可以做到对外接口仍然使用标准的文件系统接口，在单个存储体故障时，应用程序不需要做任何修改。

4）数据安全级别自由选择：数据安全是以占用更多的存储空间为代价来实现的，为了节省空间，并不是所有的数据都需要最高的安全级别，通过对应用软件的设置，系统可以方便地选择数据使用存储级容灾还是文件系统级容灾。

：

[1]国家广播电影电视总局令第62号：广播电视安全播出管理规定[EB/OL].[2013-08-20].http://www.gov.cn/gongbao/content/2010/content_1629143.htm.

[2]顾建国.十全十美十运会国际一流IBC——十运会IBC赛事资料共享系统[J].广播与电视技术，2006（6）：53-54.

[3]杨德志，许鲁，张建刚.蓝鲸分布式文件系统元数据服务[J].计算机工程，2008（12）：4-6.