基于递归随机搜索算法的Hadoop平台大数据软件系统研究

齐超 崔然

摘  要： 随着互联网时代的到来，互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择，金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作，便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成，主要包括：金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试，在选用服务器为Intel Atom D510时，金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化，系统任务执行时间变短，比原来的数据时间缩短了5%以上，优化有效。

关键词： 金融机构大数据;大数据软件系统;Hadoop平台

中图分类号： TP391. 77    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2020.06.037

本文著录格式：齐超，崔然. 于递归随机搜索算法的Hadoop平台大数据软件系统研究[J]. 软件，2020，41（06）：177184

【Abstract】： With the advent of the Internet era， the generation and collection of Internet data have exploded. Using the big data capture software system of financial institutions to process and store relevant data has become a regular choice for many commercial and research institutions. The big data capture software system of financial institutions can simplify the specific operation of users on information transmission and information calculation， and facilitate the use efficiency and accuracy of users. The big data capture software system of financial institution is completed by Python and Java language， including： analysis module of big data capture software of financial institution and big data capture software of financial institution  System optimization module， financial institutions big data capture software system prediction module. In the process of research， this paper adopts recursive random search algorithm， Java graphical interface， Hadoop platform to design research. After testing， when the server is selected as Intel Atom D510， the big data grab software system optimization module of financial institutions carries out optimization on Hadoop cluster， and the execution time of the system task becomes shorter than that of the original data， and the optimization is effective.

【Key words】： Financial institution big data; Big data software system; Hadoop platform

0  引言

隨着互联网时代的到来，互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择，金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作，便于提高使用者的使用效率和准确率。但是，金融机……