《大数据处理技术》课程规划

严驰

摘 要 大数据时代已经到来，为适应这场大数据变革，各高校都纷纷开设相关的大数据专业。《大数据处理技术》是该专业的一门重要专业课，但相关的课程建设还处于起步阶段，因此本文主要从教学内容、教学条件、考核方式方面对本门课程进行课程规划。

关键词 大数据处理技术 课程规划 教学内容

中图分类号：G434 文献标识码：A

0引言

大数据被誉为“21世纪的新石油”，已经渗透到社会的方方面面。大数据时代的到来，给数据访问、数据存储、数据管理和利用都带来了极大的挑战。为适应大数据领域的发展，国外相当一部分大学都开设大数据专业。而国内开设大数据相关专业的高校却不多，当前大数据专业的相关课程仍然属于一个新兴事物，还未形成一个成熟的体系。

《大数据处理技术》课程是大数据相关专业的一门专业必修课。由于当前国内开设大数据方向专业的高校较少，因此对大数据方向相关课程的建设还未形成一个成熟的体系，仍然处于摸索阶段。业内先驱当属北航软件学院大数据技术与应用专业，该专业的大数据处理技术与实践课程主要整合企业资源，聘请企业专家授课，让学生能在真实的大数据环境中直接参与项目实践，取得了一定的成效。

本文主要研究对于《大数据处理技术》这门课程的课程建设，主要从教学内容，教学方法，教学条件这几个方面进行设计。

1课程规划

1.1培养对象

大数据分析涉及到众多学科内容。本课程可以作为计算机科学与技术方向高年级学生的专业选修课和研究生的专业课。在这个阶段的学生有了一定的知识储备，对学科方向也有了一定的认识，有更多学习上的主动性和进取心。

1.2教学内容

本课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBASE、Nosql数据库、分布式并行编程模型及大数据在互联网、生物医学和物流等各个领域的应用。本课程主要分为四大部分。第一部分大数据基础，主要介绍大数据的基本概念和应用领域，简要介绍大数据处理相关技术和大数据处理架构Hadoop的安装和操作管理。第二部分大数据存储，主要讲解分布式数据存储的概念、原理和技术，主要介绍HDFS、HBASE。从而熟练使用HDFS、HBASE的使用方法。第三部分大数据处理与分析，主要讲解Hadoop MapReduce并行编程框架，介绍并行编程模型、框架、基本构架和工作过程以及MapReduce编程接口。第四部分大数据应用，主要介绍大数据在互联网、生物医学和物流等各个领域的典型应用，掌握大数据的典型应用场合。

1.3教学条件

大数据处理的核心技术是分布存储和并行计算，大数据的教学实践需要一个良好的专业环境。

硬件上，进行大数据集分析需要使用分布式计算框架来向数十、数百甚至数千的计算机集群分派工作，由此对服务器平台有很高的要求。但本门课程属于大数据方向的初级课程，没有必要建立如此庞大的硬件集群，可以先建立一个统一的专业实训室，辅助学员的学习。

软件上，大数据实践平台需要搭建开发和处理大规模数据的Hadoop系统平台，实现海量数据的计算与处理，进而为大数据的挖掘、存储和分析提供支撑。

本课程属于本科生阶段开设的入门级大数据课程，因此没有必要建立一个专业的大数据实训室，但是为了更好的让学生理解理论内容，现场指导学员实验，一个统一的机房是必须的。根据本课程的教学内容，上机实践环境主要需要Linux操作系统，Java环境，Hadoop软件。

该门课程的实践教学，完全有条件建立一个统一的机房，指导学员进行相应的上机实践。

1.4教学方法

如果按照常规的教学过程，教员直接通过课堂讲授，按照教材编排逐一讲解基本概念、基本理论和相关的处理方法。这种教学方法在一定程度上让学员可以很好的掌握相关概念和理论。但是，这种方法容易造成学生对数据处理的整体工作流程缺乏了解而造成“不识庐山真面目，只缘身在此山中”现象，学生对相关的概念和理论理解不深，掌握不透，遇到实际问题和科研课题时感觉无从下手。因此通过调研大量相关教学方法，结合本门课程的特点，本门课程最后采用任务驱动的教学方法。

任务驱动教学法的具体运用步骤可以分为以下几个方面：任务设计，任务执行，任务完成。任务驱动教学法最重要的就是教学任务的设计，这是该教学方法的关键。教员在任务的设计过程中应用充分考虑学员的心理发展水平，对相关知识的了解与熟识程度及学习过程中的心理情感需要。任务的设置应当与学员的整体水平相契合，不能太难，这样容易打击学员学习的积极性，认为自己再努力也不能完成任务；同样任务也不能设置的太简单，使得学生轻易就完成任务，这样导致学员骄傲自满、固步自封。因此最关键的一步就是教员精心设计相关任务。

本课程结合教学标准，建议制定两级任务：各种初级任务和一个高级任务。初级任务主要是将各章节课程内容分为各种任务，具体每章节的任务内容可参考教学标准中的实践教学内容；高级任务是一个综合性的任务：网站用户购物行为分析。这种以综合任务为整个教学用例，将教学内容融合进逐步细化的各小任务中，可以让学员从整体的角度来考虑问题，从而会当临绝顶一览众山小的教学效果。

1.5考核方法

考核评定方式的改革也是课程改革的一个重要环节。传统的期末卷面考试由于考核形式单一、考核内容片面、考核重结果轻过程，因此不能建立起对学生的综合评价，也可能导致学生的实践动手能力弱。因此，结合本门课程的性质和特点，采取平时成绩+实验成绩+期末考试的考核方式，将重点放在过程性考核上。每完成一个知识点，即组织一次针对该知识点的应用和编程演练，以此激发学生学习的主动性和积極性，加强学生的实践应用能力和团队合作能力。

2结论

大数据的浪潮正在冲击着我们的生活、学习和工作，身处这个时代的人都会受到大数据思维的影响。在大数据的背景之下，精通大数据分析处理的专业人才会众多企业争抢的对象。《大数据处理技术》课程及相关课程的设立就是让学生在学校内就可以在大数据环境中参与企业项目实践，把握未来企业需求，掌握好大数据的管理、分析及应用等方面的核心技能，从而为以后在此方向工作打下坚实的基础。endprint