一种大数据分析组件的自动化开发集成方法

陈　茜　吴怀林　马志柔　刘　杰　钟　华

1(中国科学院大学　北京 100049)2(中国科学院软件研究所　北京 100190)



一种大数据分析组件的自动化开发集成方法

陈茜1,2吴怀林2马志柔2刘杰2钟华2

1(中国科学院大学北京 100049)2(中国科学院软件研究所北京 100190)

摘要随着大数据时代的到来，数据分析需求日趋多样化，大数据分析工具自带的算法库已无法满足个性化的数据分析需求，亟需开发或集成新的算法。但现有的大数据分析工具算法开发集成学习成本高，给新算法的开发集成带来一定困难。提出一种针对大数据分析工具自动化开发集成算法的方法，算法以组件的形式集成到分析工具中。首先定义组件模型，其次给出组件模型自动化生成流程，最后重点分析组件代码的自动生成和代码检测问题，给出基于元信息的代码生成方案和基于Soot控制流的静态代码检测方法。实验表明，该方法可以完成大数据分析组件的自动化开发集成。

关键词大数据分析组件Soot控制流分析代码生成

0引言

随着互联网的快速发展，我们已经进入大数据时代，越来越多的机构组织开始重视数据分析带来的价值，人们对数据分析的需求也迅速提升。许多优秀的算法分析师致力于数据分析算法开发优化的同时，日趋增长的大数据分析业务亟需业务部门的分析师完成。集成化的大数据分析工具正是连接两者的纽带，它可以集成开发者开发好的数据分析算法，供业务分析师使用。……