论DW and DM技术对教务数据分析的深度挖掘
开篇：润墨网以专业的文秘视角，为您筛选了一篇论DW and DM技术对教务数据分析的深度挖掘范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘 要：本文论述了教务管理方法的历程，重点突出了新的数据挖掘技术对教务数据分析的深度挖掘作用。针对教务数据分析的特点，提出具体应用数据仓库和数据挖掘技术的有效方法，挖掘教务数据中潜在的信息。
关键词：数据仓库；数据挖掘；教务数据；深度挖掘
中图分类号：TP393 文献标识码：A
1 引言
在信息时代，信息技术的快速发展对社会各个领域都产生了一定的影响，在电子商务中反映尤为突出。对于学校教务系统的应用相对较晚，但教务数据对学校而言，是最基本的数据，这些数据的保留是学校运作的根本。对教务数据的分析也是对学校教学效果的评定，能够从庞大的教务数据中挖掘出更潜在的信息，既是对学校运行状况的更深入了解，又有利于学校对未来发展方向的决策。
2 教务管理状况分析
教务管理不仅是处理学校的日常事务，它更重要的作用体现在可以反映学校的教学效果和分析学校培养方向的正确性，并以此帮助学校向更好的方向发展。教务数据分析的处理到目前为止经历了人工和计算机处理的两大阶段。
2.1 人工处理阶段
为了反映较大范围教务情况的整体特征，教务部门通常要付出庞大的人力和物力收集和分析大量数据。这个数据的收集通常要经历一个较长的时间，间隔一段时间还必须重复执行。比如开课计划、学生成绩、教室使用情况等。然而，分析收集来的海量数据更是教务部门头疼的一件事。
还没有出现计算机前，光靠人工来处理数据有时还会面临这样的窘境：上一期的数据结果还没分析出来，下一期的数据收集又要开始了，因此整个数据收集和分析工作变得没有任何意义。另外，有些数据需要间隔一段时间重新收集，然后进行短期和长期的分析数据。比如成绩分析，若按照4年制本科为一个分析周期。首先，每学期教务部门要进行一次短期成绩分析。其次每学年教务部门就需对即将毕业的本科前4年的所有成绩做一次中长期成绩分析。然而，如果学校还需了解长期以来各级学生的学习情况，则还必须知道近10年、20年、50年甚至更长时间的成绩发展趋势，那么光靠人工去翻阅以前的数据就是件很困难的工作了。所以人工处理数据阶段，有许多教务数据分析工作受到很大限制。
2.2 计算机处理阶段
自计算机出现后，许多领域的工作发生了翻天覆地的变化，教务管理同样也不会忽略如此有效的技术手段。20世纪80年代以来，我国一直关注信息化在各领域的应用，教务管理信息化的发展大致经历了以下三个阶段：面向数据处理的第一代教务管理、面向信息处理的第二代教务管理、面向知识处理的第三代教务管理。在前两个阶段中，许多教务工作确实提高了效率，但是教务海量数据中隐含的价值仍不能被有效发掘与利用。正如在一大座金山中，获取更有价值的黄金还需更细致更有效的清理和挖掘。
虽然在前些年，学校各级部门具备了一定的信息化基础设施，为构建信息化教务系统奠定了基础。但是，由于缺乏统一的规划，学校各子系统或多或少存在“信息孤岛”的问题，也没有有效的方法从海量数据资源中快速挖掘更有价值的知识信息。因此，耗费成本收集的数据没有利用就被弃置了，教务数据分析仅停留在表面。
由于信息技术的发展，信息化时代逐渐进入第三展中，即有效应用数据仓库和数据挖掘技术挖掘知识。
数据仓库（DataWare，即DW）是指一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策[1]。当大量的数据被整合在一起后，从用户分析角度来看，使用这些数据的手段是多方面和多层次的。面向知识处理的教务系统应能够自动剔除掉不需要的数据，按照用户的要求整合杂乱的数据资源，获取某些可用的属性。而且，学校的决策通常是经过观察长期发展的状况而制定的。其间，需要分析5年、10年，甚至几十年的大量相关数据资源。因此，教务数据需要被长期且稳定的存储。在日常收集数据和整理数据时，利用数据仓库的思想来进行，有利于我们充分发挥数据挖掘技术进行知识的挖掘。
数据挖掘（Data Mining,即DM）是指从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。数据挖掘就是从大量数据中提取或“挖掘”知识。
首先，我们要确定数据挖掘的对象有哪些。数据资源可以从多方面获得，如系统分析设计人员向不同范围的业务对象调研获得，或反之业务对象主动向系统设分析设计人员提出；在互联网时代，从网络中获得数据资源更快更多了。
其次，要有效地应用数据挖掘技术，就要遵循科学的应用流程。一般的挖掘流程是：（1）确定挖掘对象；（2）数据准备；（3）数据挖掘，即模式提取；（4）结果分析，即模式评估。[2]
数据挖掘功能用于指定数据挖掘任务中要找的模式类型。数据挖掘任务一般可以分为两类：描述和预测。描述性挖掘任务刻画数据库中数据的一般特性。预测性挖掘任务在当前数据上进行推断，以进行预测。数据挖掘系统要能够挖掘多种类型的模式，以适应不同的用户需求或不同的应用。数据挖掘功能以及它们可以发现的模式类型包括：class/concept description、Association analysis、Classification and prediction、Clustering、Outlier analysis等。
4 建立面向知识处理的教务数据分析系统
按照上述数据挖掘的基本流程，以教务系统中成绩分析为例介绍如何让教务系统实现面向知识的处理。
4.1 构建教务系统的数据仓库
这部分主要分为四个任务：确定教务系统中的数据源；Web数据的预处理；多维Web数据模式的建立；应用OLAP技术。
4.1.1确定教务系统中的数据源
教务系统的数据主要从两个方面获得：
（1）各学院开课计划、学校学计划；
（2）教师提交的各门课程的成绩。
第一方面的数据主要由学校、各学院按照培养计划每学期提交，包括各专业班级的课程安排、授课教师、课时、学分等。这部分数据主要以Excel表格形式提交，教务部门对这部分的数据收集与存储大部分停留在文档形式。
第二方面的数据主要在学期末由授课教师分专业班级和课程提交。目前，这部分的数据收集有的以纸质文档形式收集，有的以Excel文档形式收集，也有的实现了数据库收集存储。
在进行数据挖掘之前，首先要将这两方面的数据完全实现数据库收集与存储。随着教务数据与日俱增，还需使用数据仓库来管理这些数据。
目前，有许多学校实现了在线登录成绩的信息化。那么如何对庞大的Web数据建立数据仓库呢？
4.1.2 Web数据的预处理
通过Web收集的数据称之为原始数据，管理员可根据需要用某些字段记录相关数据。如：专业班级名称，教师登录名，课程名称，成绩比例，分数，提交时间等。对Web数据的预处理包括两步。第一步：清除噪音，即去掉对知识挖掘无关的数据。第二步：转化数据，即将原始数据按照挖掘需求，通过重新组织或简单计算转换成规范模式。
4.1.3多维Web数据模式的建立
分为三步进行。第一步，选取维。多维数据便于我们从多个角度、多个侧面对数据库中的数据进行观察、分析，以深入了解包含在数据中的信息和内涵。N维数据矩阵用C(A1, A2, . .., Am ，count)模式表示，其中Ai代表第i维，i=1,2,...,n, count是变量，反映数据的实际意义。
数据单元用r[A1:a1,...,An:an,count]模式表示，即为维Ai选定一个维成员ai，i=l，…，n，这些维成员的组合唯一确定了变量count的一个值。通常，需要了解成绩的分布情况，可以选取专业班级维、时间维、课程维构建数据矩阵，以形成多维视图。
第二步，构造多维视图。先选取Date维（按学期组织）、Class维（按专业班级组织）用二维形式表示每个专业班级各学期的成绩状况。然后加入第三维Course维（按课程组织），进一步构建成绩分布的三维视图。视图显示的事实是Course_Class_Analyse（课程专业学习情况）。
第三步，创建多维数据模式。最流行的数据仓库数据模型是多维数据模型。最常见的模型范例是星型模式。
4.1.4应用OLAP技术
OLAP，即在线联机处理。应用OLAP技术可以很方便地从Web数据矩阵中作出一些简单的结论性分析，如回答一些问题:（1）哪些专业班级学习情况较好，哪些较差?（2）哪些专业课程成绩较高，哪些较低?我们可以充分利用多维数据模型上的OLAP操作，如下钻(drill-down)、上卷(roll-up)、切片分析(slice)和切块分析(dice)等技术对问题进行求解。
4.2 挖掘模式的有效应用
应用数据挖掘技术可以自动发现学生学习倾向和专业发展趋势。
4.2.1数据挖掘技术应用的范围
虽然现在已有很多学校都建立了自己的教务管理网站，但教职工与学生仅仅只在Web上进行成绩的登录和查询。这样的教务网站只是提供了收集数据的快捷途径，并没有从根本上体现本身应有的应用价值。教务系统希望能够从其门户网站中收集大量原始数据，并依此发掘更深入的服务信息。同时，学校高层也希望能从教务系统中发现学生的学习情况，课程计划的实施效果等。这些都需要从海量的教务数据中应用特定的挖掘模型反映出来。基于此，对于下一次培养计划的修订才有现实的数据支撑。
4.2.2应用挖掘模式提取和分析知识
根据不同的应用要求，在数据挖掘模式中选择合适的方法进行计算，提取有效数据，得出知识。对于教务系统而言，可以应用聚类方法确定特定不同成效的学生与课程的分布，从而识别出一些问题：
（1） 对于某个专业班级，哪些课程学习效果较好；
（2） 对于学习效果较好的课程，是因为教学效果好，还是开课计划恰当；
（3） 对比同一门课的不同专业班级，以辅助各学院分析培养计划的适应性。
5 结束语
关于DW and DW 技术对教务数据分析的应用，还有许多值得继续深入研究。但是，不论从哪个方向进行研究，都必须要以提高教务处理能力为宗旨，让教务资源发挥最大的辅助决策价值。
参考文献：
[1] Colin White. Data Warehousing: Cleaning and Transforming Data [M], InfoDB, 2002.
[2] 林宇. 数据仓库原理与实践[M]，北京: 人民邮电出版社, 2003.
[3] 周铝, 王全春, 张仙. 高校教务管理系统数据仓库的设计与实现[J]. 福建电脑, 2010(10).
（本文审稿 赵永霞）