Hadoop云计算平台在视频转码上的应用

张浩 孙淑霞

(成都理工大学信息科学与技术学院， 四川 成都 610059)

1.引言

随着网络技术的发展，网络可提供的服务越来越多。视频业务作为一种典型的网络服务，具有极大的发展潜力和市场规模。与其它业务比较而言，视频业务有自身特点：视频处理过程对计算能力要求高；视频的编码、解码、实时视频处理等技术，涉及到大量的空域频域的变换，在时效性较强的视频业务中，对计算能力构成很大挑战。Hadoop是一个开源的云计算框架，它是一个适合处理海量数据的并行编程系统，可以根据输入数据分布等信息自动创建多个并行子任务，并将子任务调度到合适的集群节点上并行执行。所以此模型能够很好地适用于多个视频文件同时转码。MapReduce是Hadoop系统的一个核心模块，它使得程序员不必关心节点失效、任务失效及任务之间的数据等问题，而只需按照MapReduce编程规范定义好map函数、reduce函数以及一些数据格式信息，即可完成分布式数据处理问题。

2.Hadoop介绍

谈到Hadoop不得不提到云计算，云计算是网格计算、分布式计算、并行计算、效应计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。云计算的基本思想是通过构建大规模的基于集群系统的数据中心，将集群中的资源以虚拟化的形式向用户提供资源池。总之，云计算是在分布式计算的技术基础上的更高层次的“集中式”计算处理模式，Hadoop是由Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个有高可靠性和良好扩展性的分布式系统，它是现在实现云计算的主要可选方式之一。……