陕西广播电视台高清制作网中心存储系统架构及应用

陈峥嵘

（陕西广播电视台，陕西 西安 710061）

陕西广播电视台高清制作网为后期节目制作及全台网一体化文件送播发挥了极大作用。其中，中心存储系统发挥了极其重要的作用。笔者仅就网中采用EMC isilon X400存储平台的中心存储系统的基本架构、特点，以及运行中的问题进行阐述。

1 中心存储系统的架构

1.1 系统架构

高清制作网的中心存储系统以EMC isilon X400存储平台为核心架构，如图1所示，共用了8个节点，存储空间共计288 TB（每个节点存储36 TB），每节点24 GB高速NVRAM（Non-Volatile Random Access Memory），非易失性随机访问存储器）。安全机制采用6+2:1，具有很高的安全级别，在1个节点损坏，或者2块硬盘（2块硬盘处于不同节点）同时损坏时，仍然能确保数据不被损坏和丢失。

8个节点通过16根（每节点2根）20 Gb/s铜缆连接到in fi niband（多并发链接的“转换线缆”技术）接口，将8个节点进行互连互通，形成一个完整的存储系统。通过16根万兆光纤接入2台核心交换机，8个节点共享16个IP地址，这16个IP地址形成存储IP地址池，制作系统采用域名方式统一访问存储，客户端的访问请求由存储进行负载均衡。

该系统为高清制作网40台高清编辑站点提供超过2 800 MB/s的读写带宽（每节点稳定带宽理论值500 MB/s，总稳定带宽理论值约为4 000 MB/s），可以实现4 0站点4路高清视音频（100 Mb/s，MPEG2 I-frame格式）的实时编辑。

1.2 EMC isilon X400主要性能及特点

EMC isilon X400存储平台的软硬件构成如图2所示。

（1）OneFS操作系统简单易用

EMC isilon X400硬件平台采用OneFS操作系统，操作简单方便，便于监控和管理；界面统一，直观友好。

（2）提供单一命名空间，使用管理方便

EMC isilon的存储平台采用集群存储系统架构，可以智能地分类存储不同的数据资源，并将为这些数据资源创建一个集中化的共享虚拟存储池，可提供超过20 PB的全局单一的命名空间。全局单一命名空间使前端编辑人员、使用人员直接对虚拟资源池进行读写和管理，而无需考虑数据在存储设备中的存放模式。与传统的NAS（Network Attached Storage，网络附属存储）系统相比，简化了海量数据存储和管理的复杂性；另外，单一命名空间其容量近乎无限扩大，突破了以前广电用户所要面临的32 bit操作系统单一目录不能超过2 TB的限制，为大容量高清视频文件的存储带来了空间。

（3）横向扩展，性能和容量随集群规模二维增长

传统的存储系统是Scale-up（纵向扩展）的单个存储设备，向更强大的CPU、内存、通道及其他设备扩展的方式，而EMC isilon存储平台则不同（见图3），采用Scale-out（横向扩展）技术，通过infiniband技术将一个个独立的存储设备采用搭积木的方式聚合成一个集群式存储系统；同时，提供IP-SAN（Storage Area Network，存储局域网络）访问连接和NAS数据使用方式，其存储性能和容量可以按需进行动态扩展，来满足不断增长的存储容量和性能的需求。

图2 EMC isilon X400存储平台的软硬件构成

EMC isilon集群存储系统可以为用户提供如下好处：打破传统存储架构的扩展限制，容量可超过20 PB，同时可以保证存储系统容量和性能的均衡，很好地满足广电用户未来随业务增长所带来的对海量数据存储空间和带宽的需求；避免由于用户需求的不断增长而带来的数据迁移问题，可随业务需求变化而动态调整资源，其带宽、处理能力和存储容量都可以实时调整和扩展；所有扩容操作均可以在线进行，无须中断正常执行的应用。

（4）集成的数据保护、容错机制，实现更高的数据安全性

大多数存储系统都采用RAID（Redundant Array of Independent Disks，独立冗余磁盘阵列）技术。传统的RAID技术在过去很长一段时期中能满足需求，提供单个磁盘驱动器发生故障时的数据保护。随着广电用户不断增加的海量存储需求，磁盘的面密度以将近100%的复合年增长率在提升，但是磁盘驱动器的可靠性和性能并没有同步提高，而且由于大容量磁盘需要更长的RAID重建时间，极大地增加了同时发生几个磁盘故障的可能性，数据丢失的风险不可小视。再者，传统的RAID技术无法给整体存储性能带来明显的提升。

EMC isilon集群存储采用优于传统RAID技术的统一数据保护方式，即OneFS采用的核心技术FlexProtect，基于可靠的数学模型，利用 Reed-Solomon 编码提供冗余和可用性。FlexProtect可以提供针对最多四个同时发生的全节点或单个驱动器的故障的保护，并且在群集规模扩展时，实现更短的单个故障的重新构建时间。

图3 EMC isilon存储架构与传统存储方式的比较

图4 节点状态监控

图5 单个节点详细状态监控

图6 空间访问管理

FlexProtect还提供了特定于文件的保护功能，可以为单个文件（更常见的是某个目录）提供特定的保护级别，并按照与数据或工作流的重要性级别分别保护文件系统的不同部分，即关键数据可以获得更高的保护级别，而不太关键的数据可以获得较低的保护级别。这为存储管理员提供了非常精确的保护/容量权衡，可针对群集扩展和工作流实施动态调整。

2 系统的运行及维护

2.1 服务器及编辑站点配置

高清制作网中，除数据库服务器的操作系统为redhat外，其余均为windows操作系统，通过映射网络路径脚本，对中心存储空间进行访问。

2.2 运行维护

isilon X400使用基于web的管理界面的中心控制台，实现对存储空间的系统设置，实时监测全部节点及单个节点的性能、空间利用率、配额等具体使用信息（见图4、图5），并适时地对磁盘进行检测、复制作业等管理操作。

isilon X400为windows客户端提供基于SMB协议的空间访问管理。该系统中，X400对外提供两个共享目录，供后期制作系统和系统测试使用，相关配置参数如图6所示。

OneFS操作系统，界面友好，管理维护方便，大大减轻了技术人员的运维工作。

3 总结

EMC isilon X400存储平台在具有大容量存储的同时，还具备高带宽能力，这是电视后期制作网最为看重的一点，特别是随着高清制作业务的普及，数据读写量大为增加：单轨高清约为标清的2倍；4轨实时编辑，数据读取带宽是标清系统的8倍。

陕西广播电视台高清制作网的中心存储系统采用了8节点EMC isilon X400存储平台，通过16根万兆光纤接入核心交换机，理论上能够提供约为4 000 MB/s稳定带宽，远高于40站点4轨高清视音频文件实时的读取带宽（约2 800 MB/s）。同时，OneFS管理便捷性、大容量、高带宽、极高的安全机制都为制作网的高效、安全运行提供了很好的技术保障。

高清制作网建成到现在已经运行超过四年，EMC X400中心存储系统目前实际使用空间率超过50%，运行高效、安全可靠，读写带宽稳定，保障了陕西广播电视台的40多个栏目的制作和文件化送播。