基于JSON的数据交换系统设计

2021-12-24 12:47李贞辉
电脑知识与技术 2021年29期
关键词:信息孤岛在线教学数据挖掘

李贞辉

摘要:随着在线教学模式的兴起,在线教学系统与学校已经建好的信息系统之间如何进行信息数据共享、交换迫在眉睫。该文对在线教学模式下信息孤岛的产生原因进行分析,设计了基于JSON 的数据交换系统,实现强智教务系统和超星系统之间的数据交换共享,消除了两者之间的信息孤岛。

关键词:信息孤岛;在线教学;数据挖掘;JSON

中图分类号:TP311  文献标识码:A

文章编号:1009-3044(2021)29-0068-02

Design of Data Exchange System Based on JSON

LI Zhen-hui

(Guangdong Peizheng College, Guangzhou 510830, China)

Abstract: With the rise of online teaching mode, how to share and exchange information and data between online teaching system and the information system that the school has built is imminent. This paper analyzes the causes of information island in online teaching mode, designs a data exchange system based on JSON, realizes the data exchange and sharing between qiangzhi education⁃ al administration system and chaoxing system, and eliminates the information island between them.

Key words: information island; online teaching; data mining; JSON

1引言

2016年6月《教育信息化“十三五”规划》发布,规定评判一个学校办学水平的指标之一就是教师的信息化教学能力。使用信息化系统的目的在于提高教师教学的便利性,提高学校管理的效率性。

为此,各高校引入了各种信息化系统。在学校引用了各种信息化系统后,教师需要在多个系统上进行教学管理,如何在各种系统之间无缝的进行对接,减少教师的工作量显得尤为重要。尤其在2020年,由于要保持社交距离和保护师生健康的原因,教育部在1月29日提出了利用网络平台,停课不停学的通知后,各大中小学、高等院校都在超星、智慧树、慕课联盟等各种平台上开展网络教学。如何消除信息孤岛,将各个教学平台和学校的教学管理平台数据进行整合、对接,就越发重要。如果完全靠手工完成,会增加教师的工作量,增加数据出错的概率,也不符合信息化管理的目的。

2信息孤岛问题

2.1信息孤岛的含义

信息孤岛是指相互之间的信息不能交换共享,功能上不能关联互动,流程上不能衔接的计算机信息系统。由于这些信息系统相互闭关封锁,无法进行信息的交换与共享,宛如独立分散的一个个岛屿,形象地被称为信息孤岛[1]。

2.2信息孤島的产生

目前各院校信息化建设规模的不断扩大,逐步建成的智慧校园系统已基本覆盖学校的各类日常管理,例如学生管理、教师管理、教学管理、人事财务管理、后勤管理。这些常见的日常管理因为进行了统一的部署,因此相互之间可以自由地进行信息共享、交互。

随着教育技术的日新月异,在线教学、混合式教学、翻转教学等各类新的教学方式层出不穷。现状是各大在线教学平台系统开发商各自为政,没有考虑和其他系统的兼容性、一致性以及扩展性,不联不通,数据格式不同,接口不公开,缺乏有效的资源整合,没有建立信息化标准体系,形成诸多信息孤岛。如何将各个在线教学平台和学校的教学平台数据进行整合、对接,就越发重要。

因此,有必要打通各大在线教学平台和智慧校园中的系统,避免数据重复采集,实现数据共享,消除信息孤岛。

3解决孤岛问题的系统设计

3.1系统目标

以目前各大高校使用最广的强智教务系统和超星网课系统为例,设计一个基于强智教务系统和超星网课系统的自动化数据交换系统,以解决两大系统之间的信息孤岛问题,实现数据交换共享。

3.2系统功能模块

通过以下三个步骤对整个教学过程进行梳理:

1)分析各学科教师在整个教学过程中的具体过程,对各种教学过程进行梳理、优化,构建科学的、合理的、模块化的流程。

2)分析强智教务系统以及主流的网络教学、考试平台的数据,构建数据挖掘模对数据进行挖掘、清洗、存储。

3)设计自动化处理系统,按优化后的教学过程将教务系统和网络教学、考试平台的数据进行对接。

经过以上步骤的分析,设计的系统主要包含自动获取学生名单、自动转为超星学生名单、导入超星考勤名单、自动提交考勤到强智系统、自动录入学生平时成绩、期末成绩等功能模块,搭建一个覆盖整个教师教学流程的自动化处理系统,减轻教师工作量和出错概率。

3.3系统实现

本系统采用 C/S 模式,使用微软的 Visual Studio Tools for Office(VSTO)开发,通过ClickOnce技术进行部署,实现客户端程序自动更新,避免了客户端的频繁操作,一次安装后即可自动升级。

1)获取登录接口

通过网页发起请求,使用浏览器的调试工具,对强智网站进行抓包处理,获取到用户登录的数据接口。userAccount字段是用户账号,可以是学号或教工号,userPassword是密码字段,但不保存密码,这里内容为空。实际上用户账号和密码经过加密后的密文保存在encoded字段中,如图1所示。

2)模拟登录

调用强智教务系统的加密函数,对用户账号和密码进行加密,通过模拟请求提交加密后的用户名和密码。

//从资源文件中读取字符串jscode

ResourceManagerresMan = new ResourceManager(typeof(Re⁃ source1));

string jscode = resMan.GetString("jscode");

//运行JavaScript生成加密字段

ParsedScript parsed = engine.Parse(jscode);

jsmsg = parsed. CallMethod("encodeInp", GloVar. teacherid). ToString()+ "%%%" + parsed.CallMethod("encodeInp", GloVar. passwd).ToString();

3)数据解析

登录强智教务系统成功后,获得相应的网页数据,通过正则表达式 RE或者XPath对网页数据进行解析,获取到需要的信息。

在获取学生名单时,整个网页都是该班学生的名单,因此直接通过遍历网页中的tr来获取所需要的信息。

4)数据清洗

获取到的数据可能会存在一些问题,比如数据缺失、重复、格式不统一等问题,因此在保存之前需要进行清洗。对异常数据进行检测、去除异常值、重复值或冗余信息,通过数据的清洗、合并、重塑、转换,使得原始数据具有唯一性和完整性。

5)数据转化和存储

JSON是一种具有平台无关性和语言独立性的轻量级的数据交换格式,在数据交换中有非常明显的优势,通过它可以非常有效地实现异构数据之间的交换和共享[2]。因此将清洗过的数据转化为JSON格式,方便在各系统间进行数据共享,同时将数据保存在数据库中,以备留用。

6)数据自动处理

根据不同的系统需要,实现将数据导出成Excel文件或者通过模拟提交的方式通過相应的网站接口上传到相应的网站。

3.4设计重点

现在的网站都使用了验证码技术,通过验证码来防止大规模注册,暴力破解用户密码。经过大量实验发现,强智教务系统的验证图片大小为80像素*40像素,图片四周有1像素的黑边。验证码图片由34个字符组成,包括数字和小写字母,不包括数字0和小写字母o,部分验证码如图2所示。

绝大部分强智验证码不存在字符黏连想象,少许验证码存在不严重的字符黏连,因此可以将验证码图片4等分,分割成20像素宽的单字符图片。然后将单字符的图片通过二值化[3]处理为只含有黑和白两种颜色的图片,再转化为只含有0(表示黑)和 1(表示白)的矩阵。通过和事先训练好的34个字符矩阵进行对比,按相似度从高到低进行排序,从而识别出该字符。

4结论

本文重点设计了基于JSON 的数据交换系统,该系统有效地解决了强智教务系统和超星网课系统间数据交换的问题,使用本系统可提高教师录入学生信息、成绩的速度和准确性。接下来可以在此基础上,实现更多的功能,适应更多不同的系统,满足学校教学的其他要求。

参考文献:

[1]李希明,土丽艳,金科.从信息孤岛的形成谈数字资源整合的作用[J].图书馆论坛,2003,23(6):61,121-122.

[2]朱峰.基于JSON 的互联网异构数据整合的应用研究[D].南京:南京邮电大学,2016.

[3]王康维,赵磊,黄鑫炎,等.一种低亮度非均匀光照文档图片快速二值化方法[J].光电子·激光, 2020,31(12):1333-1340.

[4]熊海东,徐德.基于JSON 的异构数据库整合模型[J].数字技术与应用,2020,38(10):33-35.

[5]黄志,李涛,宋瑶,等.基于Json 的小型异构数据库同步策略研究[J].气象研究与应用,2020,41(1):48-53.

【通联编辑:代影】

猜你喜欢
信息孤岛在线教学数据挖掘
基于并行计算的大数据挖掘在电网中的应用
会计信息化条件下企业的成本与效益分析
检验系统门诊流程的研究与设计
基于数据挖掘的网络营销系统研究
浅谈基于Web试题库系统的设计
浅谈基于Web在线教学系统设计
互联网+教育微网站的设计与应用
课堂教学与在线教学相结合的教学探讨
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究