高校大数据人才能力培养结构体系的研究与设计

【摘 要】本文论述高校大数据人才能力培养结构体系的设计，针对大数据专业建设中方向不明确、培养体系不清晰、专业内容不切实际等问题，结合企业各岗位的工作能力要求，设计了基于应用、专业知识与数据思维相结合的大数据技能型人才能力培养结构体系，并明确了体系中各个工作领域的能力要求和知识目标。

【关键词】大数据  专业知识  数据思维

【中图分类号】G  【文献标识码】A

【文章编号】0450-9889（2020）06C-0139-03

大数据的应用受到社会和企业的高度重视，那么大数据专业人才该如何培养呢？根据调研发现，以往很多专业在建设中，结合岗位能力设计专业能力培养结构体系时，以“一专一能”的思想基础，打造专业人才培养方向。但大数据涉及领域广，综合性强，显然以一个专业方向对应一项专业能力的思维培养人才，不符合社会需求。综合目前工作崗位对大数据人才的能力要求来看，大数据人才必须具有计算机相关专业技术，也要具有数据统计分析专业技术。高校培养大数据专业人才应该着重从这两方面进行专业技术培养。

一、大数据人才能力培养结构体系构架

明确高校培养大数据人才应注重计算机专业技能和数据分析处理技能后，再根据此设计能力培养体系。计算机专业技术是指能综合利用各种计算机技术和知识，收集、获取、整理海量数据并加以存储，为支撑相关决策和行为做好数据准备。一是搭建大数据处理的工作环境，这一步需要技术人员熟悉做大数据处理需要什么样的硬件支持，包括服务器、交换机、数据显示屏等。二是配置大数据软件，软件的性能对数据的处理，从搜集到分析结果都起着至关重要的作用，软件功能强不强大，意味着结果准不准确。在这个阶段，技术人员应具备较强的软件开发能力，熟悉多种数据处理软件，也可以在现有软件的基础上，进行二次开发和新功能的开发。三是大数据处理，这个阶段过程包括数据挖掘、数据分析和数据服务、数据平台管理等，是技术人员需要具有的核心技术。四是数据安全防护，数据安全防护保证数据私密性、安全性和有效性。

数据分析处理技能主要是指数据分析相关的技能和思维，能借助技术分析大数据的能力，能根据具体需求，采用有效方法和模型分析数据并形成报告，为解决实际问题提供决策依据，主要包括数学、统计学、数据分析和自然语言处理等。

高校大数据专业建设在制定培养体系时，结合应用领域的前提下，应注意计算机专业技能和数据分析处理技能的融合，形成两条技能支柱，如图1所示。

二、大数据人才能力体系设计

在明确大数据人才的技能体系结构后，我们需要思考如何培养大数据人才具备这些技能，需要什么样的知识体系来获取技能。大数据项目实施的实质就是利用计算机处理海量数据，项目的具体工作具有一定结构模块性，我们可以采用“面向对象法”来构建能力体系，也就是按照一个全面的大数据专业人才在实施大数据项目的过程中，需要完成哪些步骤的工作，完成每一项工作需要哪些能力来构建。通过对实际的调研考察和总结规整，一个完整的大数据项目可以被划分为六个阶段性工作：项目规划设计、大数据处理、数据平台管理、数据分析挖掘、运营管理和大数据应用。

（一）项目规划设计。大数据项目规划设计是以大数据顶层设计思维，构建大数据平台及大数据应用系统的框架，是指导大数据项目建设实施的标准。项目规划设计工作贯穿整个项目的建设，各个阶段的合力规划及部署都非常重要。围绕大数据项目的建设，大数据应用领域相继出现了大数据解决方案经理、大数据咨询顾问、大数据咨询规划师、大数据架构师、业务架构师、大数据售前等相关角色及岗位。因此，规划设计类岗位一般是公司的核心岗位，要求大数据从业者综合能力比较强，能承担项目实施中的咨询工作，研究政府信息化行业的发展，为产品超前发展提供建设性意见，与客户进行大数据技术交流，掌握和识别客户需求，形成用户需求文档，能够把技术和业务融合，负责大数据及数据分析行业解决方案设计，具备创新型思维，全局感强。

大数据项目规划设计对大数据专业人才的专业技能要求比较高、更全面，具体包括：理解大数据概念并具备大数据创新思维;熟悉主流的数据库、BI、数据仓库、数据挖掘等领域知识;熟悉数据挖掘理论基础知识，熟悉常用算法的实现与应用;熟练使用统计分析或数据挖掘工具（SPSS，SAS，R等）;熟悉大数据处理架构，熟悉Hadoop，Hbase，Zookeeper，Hive运作的内部机制，以及相关组件的优势与劣势;精通Office办公软件，善于思考，思路清晰，逻辑思维能力强;具备项目管理思维及项目管理能力，具备良好的客户服务意识、宣讲能力和沟通能力。

（二）大数据处理。数据在信息时代的重要性是有目共睹的，通过挖掘数据价值，关联分析并辅助决策，给人们带来了巨大的经济价值。分析挖掘数据技术，包含对数据进行清洗、数据转换等，而面对海量的数据，如何进行有效快速的处理是首先需要解决的问题，因此产生了一批大数据处理类的岗位，如数据分析师、ETL工程师、数据清洗工程师等。该工作岗位人员必须具备的能力包括：精通网页抓取原理及技术，精通正则表达式，从结构化和非结构化的数据中获取信息;熟悉JAVA、Python编程语言;熟悉linux平台开发;熟悉搜索引擎和网络爬虫相关技术;熟悉主流数据库技术、大数据平台及各组件应用场景;熟悉Scrapy，Lucene，Nutch，Heritrix，HtmlParser等开源工具;熟练使用ETL开发工具，如Datastage，Congos，Kettle等。

（三）数据平台管理。面对大数据技术，就会想到Hadoop，而围绕Hadoop体系构建的大数据平台是大数据分布式存储和分布式计算的基础。大数据平台汇聚内部及外部多渠道数据，形成大数据中心，为业务层及创新型业务提供数据及决策服务支撑。所以大数据平台开发类岗位是当前较为热门的大数据岗位，如大数据开发工程师、数据仓库工程师、大数据运维工程师、数据爬虫工程师。进行大数据平台开发需要具备的能力包括：Linux操作系统基础;熟悉JAVA，Python开发语言;精通Hadoop生态系统组件，熟悉大数据平台性能监控及调优方法;精通storm流式数据处理框架技术;精通Spark内存计算框架技术;熟悉数据处理流程，熟悉大数据平台部署环境及步骤。

（四）数据分析挖掘。数据分析挖掘一般是指通过算法搜索隐藏于大量数据中的有效信息的过程。数据分析挖掘通常与计算机科学、统计学、数学有关，并通过统计、在线分析处理、多维分析、关联分析、信息检索、机器学习、专家评估和模式识别等诸多方法来实现上述目标。分析挖掘也是体现大数据的核心技术，是洞察大数据价值的最重要手段。围绕分析挖掘类的岗位有很多，如数据分析师、数据建模工程师、数据挖掘工程师、风控分析师、决策分析师等。分析挖掘类岗位要求大数据工作人员需要具有的能力包括：精通Excel，PPT等Office办公软件操作;具备统计学基础知识;熟悉SQL，SPSS，Python语言;具备较强的逻辑思维能力、沟通表达能力和组织协调能力;具备产品原型设计能力及熟悉主流的产品原型设计工具。熟悉數据仓库各类模型的建模知识;数据仓库的分层架构、3NF和多维数据模型设计;熟悉Hive，DB2，Teradata，Greeenplum原理知识，并且会调优;熟悉Linux操作系统及JAVA，Python开发语言;熟悉数据库原理（如PostgreSQL，Mysql，Oracle，DB2，SqlServer等）。

（五）运营管理。数据运营管理是面对海量的结构化和非结构化的数据，运营、管理和治理这些数据，通常包括原始数据管理、数据质量管理、数据标准管理、数据服务管理等，解决大数据运营中的问题及构建新的商业模式。它要求工作人员具备的能力包括：独立大数据分析模型，具有数据敏感度，能从海量数据中分析挖掘问题，提炼洞察;熟练运用SQL，Excel，Access等数据可视化工具;具备大数据分析问题的思路及方法，能够把合理的思路成功应用于实践;熟悉客户关系管理分析及数据化运营;熟悉大数据平台开发基础技术;了解数据挖掘算法及分析、建模方法;具备数据管理方法论，熟悉数据治理方法。

（六）大数据应用。大数据应用主要技术就是数据的展现，也就是大数据可视化技术。数据模型可视化是非常重要的一个环节，它用非常形象、清晰易懂的图形方式将数据价值呈现出来。可视化类岗位主要有可视化工程师、UI设计师、BI分析师、前端工程师等。它要求工作人员具备的能力包括：熟悉主流可视化产品，熟练使用Tableau，Echarts，D3等产品，了解开源可视化工具;了解Oracle，Mysql等传统数据库应用;熟练使用Excel工具;精通Web图形的渲染技术（SVG，Canvas，WebGL等）;精通HTML5，CSS，JQuery，JS等技术;熟悉数据仓库、集市构建流程及技术;熟练使用MSTR报表工具;熟悉ETL工具及使用场景。

高校在大数据专业人才的培养过程中还需要考虑理论教学与实践教学相结合，配套建设大数据实训基地，着重培养计算机专业技能和数据分析技能，遵循“教学训”的教学模式，培养团队合作精神，加强学生对产业领域的了解，让培养出来的技能人才能够快速适应社会的需要。

【参考文献】

[1]张元萍，周远，杨哲.金融工程多维度复合型人才培养模式的构建与探索[J].教育进展，2018（5）.

[2]燕东，魏丽杰，王晓梅.高校武术与民族传统体育专业人才培养模式创新研究[J].体育科学进展，2018（4）.

[3]向程冠，熊世桓，王东.浅谈高校大数据分析人才培养模式[J].中国科技信息，2014（9）.

[4]张海生，张瑜.多学科交叉融合新工科人才培养的现实问题与发展策略[J].重庆高教研究，2019（6）.

[5]高进锋.基于大数据对我国培养电子商务人才特征及问题与建议对策的研究[J].商情，2018（28）.

[6]韩霞，朱克实.我国IT人才现状及培养模式探讨[J].中国科技论坛，2007（5）.

[7]蒋云尔.大数据引领下的高职教育人才培养模式创新[J].江苏经贸职业技术学院学报，2017（3）.

[8]张蕾，魏立斐.大数据时代下“数据分析”课程的探索[J].教育教学论坛，2015（25）.

[9]吴勇.应用型本科院校计算机专业“3+1”人才培养模式研究——以闽南科技学院为例[J].吉林省教育学院学报，2017（11）.

[10]王孟欣，周甜甜，张思乾.大数据背景下统计学人才培养模式转变的思考[J].统计与管理，2015（10）.

[11]李新友，李戈.高职院校大数据人才培养问题研究[J].河北旅游职业学院学报，2017（1）.

[12]刘广钟，李毅，刘旻，等.大数据技术与应用课程的内容与教学方法研究[J].中国信息技术教育，2015（10）.

[13]胡瑞娟.大数据架构下的热词发现与可视化技术研究[J].软件工程，2018（5）.

【基金项目】2019年度广西职业教育教学改革研究项目“以岗位能力为导向的大数据专业2+1模式课程体系的研究与实践”（GXGZJG2019B038）

【作者简介】王文莉（1981— ），女，广西南宁人，广西国际商务职业技术学院讲师，研究方向：大数据和软件技术。

（责编 丁 梦）