大数据资源转化中的数据ETL过程研究

摘 要：大数据无疑将催生创新、改进生产力、提高服务满意度及扩大业务范围，为各行各业提供新的发展机遇、实现价值，给人们日常生活带来方方面面的改变。然而，若不能有效地滤除大数据噪声，企业的业务拓宽、服务改进将成为纸上谈兵。本文研究了大数据背景下企业的数据资源化现状，分析了数据集成对提高企业大数据资源转化的价值，最后讨论了数据集成中起决定性的ETL过程的影响及ETL工具的选取原则。

关键词：大数据；资源转化；ETL

中图分类号：TP391.3

大数据的5V（Volume、Velocity、Variety、Veracity、Value）特性所带来的复杂性使企业面临全面挑战。面对大数据的复杂性，传统的解决方案在本地IT资源配套方面采取了高昂但低效的变通方案：比如手工编码、升级数据库来勉强应对。最好的例子就是为了联接异构数据源而设置数据准备区（Data staging area）。这一项变化不仅大大增加了数据集成环境的复杂性，而且带来了至少每年几百万的数据库运转费用[1]。

不难发现，在制定成功的数据策略时，两个关键因素必须得到反映，即易扩展性和高成本收益，这使得经常被忽视而实际起决定作用的数据集成过程应重新被纳入重点考虑。

1 企业大数据资源转化现状

随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作[2]。但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。……