挖掘文本类数据 助力教育数据研究
——自然语言处理技术在课程与教学调研中的应用

◎ 费宗翔 田 鹏

课程与教学调研是上海市教育委员会教学教研室（以下简称“市教研室”） 每年的一项常规工作。多年来在调研中积累了大量的课程与教学调研报告（以下简称“调研报告”）。调研报告以文本的形式保存和印刷，内容服务于调研对象。虽然市教研室在开展调研工作前已经对调研报告的内容要素、调研工具格式进行了详细规定，但调研报告数量多、语义描述方式多样、内容表征意义存在模糊性。如何快速、直观地把握调研报告的语义、归纳凝练报告主题、分析评估趋势变化成为一个难题。

随着信息技术的不断发展、计算机算力和存储能力的不断增强，自然语言处理（Natural Language Processing，简称NLP）技术让这一问题的解决成为可能。NLP是人工智能领域的重要组成部分，它可以使计算机理解人类自然语言内容，实现机器语言和人类语言之间的互通。该技术已经日趋成熟，开始应用在我们日常生活的很多方面，比如智能音箱、微博热搜榜等。但NLP在教育领域少有应用，本研究尝试借助NLP技术，对市教研室积累的历年调研报告进行语义分析，提炼报告的核心内容，形成报告的摘要和主题词。为市教研室课程与教学调研专项数据的积累提供支持，为深度分析调研质量提供数据参考。

一、结合调研报告特点，完善语义分析过程

结构化的数据可以通过寻找实体与实体之间、实体各属性间的关系，实现对数据的分析，常见的有学生考试成绩分析等。但调研报告是单纯的文本数据，没有清晰的结构关系，要让计算机能读懂报告文本、理解自然语言，通常离不开语料预处理、特征工程、特征选择、模型训练四个核心步骤。……