存储系统如何达到4K后期制作要求

周进 张虎

摘 要 4K等高分辨率素材正成为影视动画后期制作的主流，4K等高分辨率的优势不言而喻，但对存储速度、容量以及稳定性的要求达到前所未有的高度。本文提出基于大鱼集群存储系统的4K高分辨率后期制作网存储方案，结合客户度高速SSD缓存，能够通过性价比最好的解决方案达到的4K等高分辨率后期制作的要求。

关键词 存储 4K 视频图像 后期制作

中图分类号：TP391.41 文献标识码：A DOI：10.16400/j.cnki.kjdks.2016.03.016

Abstract 4K high-resolution material is becoming the mainstream film and television post-production animation， 4K resolution and other advantages of self-evident， but the memory speed， capacity， and stability required to achieve an unprecedented height. This paper presents a high-resolution 4K post production network based storage solutions fish clustered storage systems， combined with customer-degree high-speed SSD caching， through cost-effective solutions to achieve the best resolution 4K post-production and other requirements.

Key words store； 4K； video； post-production

当前，随着用户需求和相关技术的发展，4K正在逐渐替代高清成为影视动画制作的主流技术。4K技术的优势不言而喻，提供了接近胶片的画质；更高的画面层次感以及更丰富的细节表现，大大提升了用户观赏体验。但4K视频生产却使得IT基础架构面临了巨大的挑战，首当其冲的便是存储子系统。由于影视动画视频生产的本质是数据处理，从前期的视频拍摄或动画制作，到后期的合成、编辑和发布，整个流程围绕着视频图像数据的存储而展开。因此，存储系统是整个IT基础设施的核心，特别是在4K环境下，级数增长的视频图像数据更让存储系统成为影响影视动画生产效率的关键因素。

1 4K视频图像制作的存储需求

众所周知，4K视频图像生产的核心问题是巨大的数据量。以前期拍摄为例，无压缩的4K视频图像数据量可超过300MB/s，某些特殊场景需要更高的帧率，数据量则可能达到GB/s。一个电影的制作过程中，累计的数据量可能达到几百TB。对于大型的4K视频图像制作机构，通常有大量的历史数据，并且通常有多个项目同时进行，配置PB级的存储设备才可能有效保证视频生产正常进行。因此，容量及其扩展能力是4K视频图像生产环境中非常重要的存储需求。

与此同时，4K后期制作对存储性能的要求极其严苛，4倍于高清的码率，各种复杂的特效，通常需要多层编辑，导致存储带宽需求数倍增长，对于一些场景，使用万兆接口的网络存储设备都可能无法满足编辑的带宽需求；另一方面，在网络化的制作环境中，多个编辑节点，多种业务共享存储资源，并发地访问存储系统，对存储子系统的最大输出性能和扩展能力都提出了极高的要求。另外，值得特别指出的是，视频图像编辑不但要求极高的存储带宽，还对存储访问延迟有特殊要求，不但要满足视频编辑中的低延迟要求，还需要延迟的表现稳定，否则，可能出现卡顿、丢帧等情况，极大影响编辑人员的工作体验。

现代视频图像生产更加呈现工业化的特征，拥有更大的制作团队，更详细的业务分工，强调生产流程中各个环节的紧密协作与交互，因此，在IT基础架构设计时，有必要构建基于共享存储系统的视频制作网络，实现数据在不同的业务之间、不同节点之间高度共享，加速数据在不同业务间的流转速度，提升整个视频生产效率。同时，保证共享存储系统的可靠性和可用性也极为重要，否则，共享存储系统的故障将造成整个视频图像生产的中断，并可能造成重要视频图像素材的损失。

综上所述，在4K视频图像生产中，存储系统所面临的挑战可归纳为：（1）极高的性能要求：稳定的高带宽和低延迟；（2）具有高可扩展能力：按需扩展的海量存储系统；（3）数据的安全共享：支持多种平台、业务的数据共享，高可靠/高可用数据存储。

2 现有存储方案及分析

为了应对上述4K视频图像制作中的存储需求，人们尝试了多种存储方案，但就目前的实际应用效果来看，还未能找到一种满足上述所有存储要求、切实可行的存储方案。比较常见的几种方案均存在着各种问题：

2.1 单机存储方案

在小型的制作环境中，单个编辑机配置内置高速SSD或者直连磁盘阵列的方式比较常见，当前的高端SSD设备的读写性能可以满足4K制作的需求，但是SSD价格昂贵，容量有限，制作时常受限于容量，会有频繁的数据导入/导出的操作，严重影响制作效率。高速磁盘阵列可以做到较大容量，但是性能有限。无论采用哪种方式，单机存储方案都只能支持单机操作，数据共享十分困难，另一方面，存储空间受限于存储架构，难以扩展，无法支持大规模的工业化视频图像生产。更为严重的潜在问题是，SSD和磁盘阵列损坏可能造成难以弥补的数据丢失，制作的稳定性和数据的安全性都存在很大问题。

2.2 传统高端存储方案

传统高端存储系统（SAN/NAS）具有一定程度的容量和性能的扩展能力，并切实实现了数据的高效共享，在高清时代是行之有效的视频制作网存储解决方案，然而，4K环境下，传统存储设备的缺点也暴露无遗：

首先，单机存储性能受限于网络接口速度，传统的千兆网络、2G/4G光纤接口都几乎无法满足4K视频图像编辑的需求。其次，当采用更高速度的存储网络，如万兆、8G/16G光纤接口时，虽然可以满足单机的性能需求，但传统存储系统受限于体系架构，在性能上扩展能力极其有限，因而无法支持大规模的4K视频图像制作。

其次，虽然数据可以通过网络共享，但是受限于接口速率，几乎无法进行在线编辑，只能将素材下载到配置有高速单机存储设备的编辑机上进行编辑，并在制作完成后将结果上传至中心存储，中心存储设备的作用退化成简单共享存储，数据共享效率低下，无法有效开展协同作业。另一些4K视频制作流程中使用了低码率的代理码进行实时编辑，并根据编辑结果下载4K最终结果视频，这样虽然避免了4K所造成的性能压力，实现了实时编辑，但牺牲了编辑质量，是一个不得已的折衷方案。

最后，在4K视频图像制作网的规模一定的情况，通过升级硬件设备，传统存储系统也可以满足上述既定的存储需求，但是，整个存储系统的拥有成本难以控制，系统扩展也十分困难。

2.3 分布式存储方案

分布式存储系统以良好的可扩展能力著称，整个存储系统的聚合存储性能和容量均可在线扩展。相对于传统高端存储方案，可以有效解决海量数据不断增长所带来的容量问题。而且，对于普通高清制作，当前网络接口也可以做到以较低成本实现存储系统聚合带宽的在线扩展，可以很好满足普通高清制作网的需求。但对于4K视频图像制作，它与传统存储面临同样的单机存储性能问题，同时，分布式存储系统的访问延迟也更难控制，很难达到4K制作时所要求的稳定的超高带宽和低延迟。

3 大鱼集群存储系统方案

针对4K视频制作的存储需求以及当前几种存储方案的问题，北京电影学院数字合成与大数据实验室进行了充分研究，并提出了基于大鱼集群存储系统的4K视频图像制作网络存储方案。

大鱼集群存储系统是构建于通用硬件之上的高性能、高可靠、高可扩展的新型分布式存储系统，其核心是大鱼分布式文件系统软件（DayuFS），用户可以采用通用服务器、普通的SATA/SAS硬盘以及主流以太网络来构建媲美传统企业级存储产品的海量存储系统。DayuFS的基本原理是以软件方式整合物理集群中多个独立节点上的存储资源，组成具有单一文件系统映像的存储空间；并通过良好设计的系统结构和数据分布策略，保证系统性能的高可扩展性，支持存储容量/性能的在线扩展。同时，DayuFS中采用多副本的方式保证数据的高可用性，任意单一节点失效均不会导致数据丢失和数据服务的正常运行。

DayuFS主要面向海量非结构化数据应用而设计，致力于解决此类应用数据中存储量巨大、I/O吞吐率高、数据增长迅速、构建成本高、管理复杂等传统存储所面临的棘手问题。非常适合数据量巨大、存储I/O带宽要求极高、数据增长迅速的4K视频图像制作领域，同时，DayuFS还针对其它分布式文件系统存在的单机访问性能问题，设计并实现了客户端SSD缓存，并依据此特性提出了4K视频图像制作网络平台的解决方案，有效应对了相关存储需求。方案结构图如图1：

方案中采用大鱼集群存储系统作为中心存储系统，通过万兆互联网络向所有的编辑工作站提供文件共享存储服务。编辑机上安装有DayuFS的客户端软件，通过客户端，编辑机可以访问大鱼集群存储系统的所有文件数据，访问的方式与本地文件系统一致，上层的编辑和制作软件无需做任何修改，就可以直接与DayuFS对接。DayuFS的客户端上还可以配置了一块或者多块高速SSD设备作为客户端磁盘缓存，多块SSD的聚合存储性能应保证可以满足该节点上视频制作的需求。采用此配置可有效解决其它分布式文件系统所存在单机访问性能问题。

相对于其它现有的4K视频制作存储方案，基于大鱼集群存储系统的方案具有明显的优势：

3.1 高效安全的数据共享

DayuFS实现了全局统一的单一文件系统影响，在未作限制的情况下，从任何客户端访问DayuFS，均能看到全局统一的文件系统视图，因此可以高效实现不同客户端之间的数据共享，同时，DayuFS提供了不同的操作系统平台上的客户端软件，包括Linux、Windows、MacOS，支持各操作系统的大多数主流发行版，非常适合视频制作环境中各种平台设备共存的情况。有利于4K视频图像制作中不同业务之间的数据共享和流转。

另一方面，在大型视频图像制作环境中，为了视频生产的安全，不同项目、不同业务之间数据隔离也很有必要。DayuFS提供了多租户功能，系统支持多个租户，租户之间数据完全隔离，互不可见，杜绝多用户环境下可能存在的非授权数据访问，实现数据的安全共享。DayuFS还支持通用的NAS协议，如NFS、CIFS以及FTP，可以很方便地为临时用户、特殊设备提供访问DayuFS的途径。

3.2 稳定的高性能表现

DayuFS支持在客户端使用一个或者多个SSD设备作为磁盘缓存，与内存构成客户端多级缓存机制，扩展缓存容量，减少网络通信，提升访问性能。由于编辑作业的特征，其数据的局部性较强，非常适合应用缓存提升性能，然后4K视频图像的数据量巨大，无法在内存中有效缓存，反而降低数据访问效率。使用本地的SSD缓存，可以将一次编辑的大部分数据均缓存于本地，让大多数数据读操作均不通过网络，本地完成，有效保证了极高的读带宽和低延迟。对于写操作，同时利用SSD作为写缓冲，使用异步写操作来提升访问性能。为上层应用提供非常稳定的高读写带宽和低访问延迟。

另一方面，DayuFS所提供的客户端软件与DayuFS服务端之间采用高效的私有数据交互协议，可以大幅度降低网络通信开销，进一步提升数据访问效率。

3.3 容量/性能高可扩展

DayuFS最重要的设计目标即为高可扩展性，采用了松耦合的高可扩展架构，将元数据和数据分离存储、分别管理，元数据和数据服务节点均可独立按需扩展。DayuFS软件确保并发访问请求被均衡地分散到多个节点处理，因此，增加新的存储节点，可在增加容量的同时，使得性能也可随节点数目近似线性增长。可以轻松构建存储容量PB级，聚合存储带宽达几十GB/s的海量存储系统。

另一方面，由于SSD缓存的应用，在4K编辑时大幅降低了服务端压力，有效提升了DayuFS所能支持的客户端数量，从而进一步提高了系统的可扩展能力。

3.4 拥有成本优势明显

DayuFS的设计目标是应用普通的硬件设备替代传统存储系统中昂贵的专有硬件，因此整个系统的构建成本低廉，并且由于具有按需扩展的能力，无需一次性购买未来的所有存储容量，可以按需购买，从而降低了用户的构建成本。同时，对于4K编辑合成等后期制作应用，SSD的使用大大降低服务器端的压力，减少了对服务器端节点数目的要求，从而进一步降低了成本。

4 总结

通过上述对大鱼集群存储系统方案的分析，可以看到，对于4K视频图像制作来说，该方案能以较低的成本，提供海量的存储空间，并能保证并发编辑时的极高性能需求，为4K视频图像制作节点提供高效、安全的数据共享服务。另一方面，这种方案也为更高分辨率的视频图像制作网络平台构建提供了思路。

参考文献

[1] 周进，崔贤.影视动画非线性编辑技术教程.清华大学出版社，2010.

[2] 周进.影视动画数字合成技术教程.清华大学出版社，2010.

[3] （美）布林克曼.数字合成的科学与艺术.清华大学出版社，2011.