首页 > 范文大全 > 正文

基于项目反应理论的《计算机基础》自适应考试系统

开篇:润墨网以专业的文秘视角,为您筛选了一篇基于项目反应理论的《计算机基础》自适应考试系统范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

摘要: 本文针对《计算机基础》课程考试的特点和普通计算机化考试系统的不足,以项目反应理论为基础,阐述了基于局域网的计算机自适应考试系统的功能、组成和设计方法。

关键词: 《计算机基础》 CAT 特点和理论基础 基本组成 实现

《计算机基础》是高等院校文、理、工科学生必修的一门公共基础课程,该课程的考核如采用传统的纸笔型考试方式,则从制卷、监考到阅卷的工作量是十分巨大的,因此引入无纸化的计算机辅助考试方式是必然的趋向。但普通的计算机上机考试系统的组卷是在考生开始答题之前生成的,即所有考生无论水平高低,接受的是相同题型、题量和难度试题的测验,对某一特定考生而言,只有部分试题真正符合他的实际能力。如何快速、准确地评估考生的真实水平是提高考试效率的关键,计算机自适应考试(Computer Adaptive Testing,简称CAT)就是一种“因人施测”的智能化考试模式。

一、CAT系统的特点和理论基础

计算机自适应考试与传统的纸笔型考试及普通的计算机考试系统不同,它不是向考生提供一套事先生成的试卷,而是在试题的难度和数量方面自动适应考生的具体情况,即在考试过程中不断地从题库中抽取与考生实际水平和能力相当的题目,智能组卷供考生答题并实时进行能力评估,直到满足测量精度要求为止。

计算机自适应考试的理论基础是项目反应理论(Item Response Theory,简称IRT),该理论是针对经典测验理论(Classical Testing Theory,简称CTT)的不足而提出来的一种新的测验理论。CTT是一种以考试实得分数为前提条件的测试理论,即用被测试题目的答对率作为试题的难度参数,以真实分数方差与观察分数方差之比作为信度参数等,由于这些试题参数的确定严重依赖于被测试样本,因而具有较大的局限性。IRT以被测试者个体潜能通过试题作答反应的可测性、被试个体潜能与其试题上可见反应函数关系的基本一致性及试题参数线性变换下的不变性为理论假设,建立了多种以被试个体在既定试题上的作答反应参数来推断其潜在特性的IRT数学模型,如目前应用较多的三参数Logistic模型:

其中a参数为题目的区分度,b参数为题目的难度系数,c参数为题目的猜测系数,D=1.702为具有单位测度的因子,θ为考生能力估计值,P(θ)表示能力为θ的考生答对此题目的概率。IRT以被测试者回答问题的情况为依据,经题目特征函数的运算来推测被测试者的能力,其最大特点是估计出来的能力值不依赖于施测题目样本,即具有试题参数估计的不变性和能力参数估计的不变性。

二、CAT系统的基本组成

基于IRT的《计算机基础自适应考试系统由题库模块、考试模块和管理模块等组成,如图1所示。

1.题库模块

该模块主要实现试题库的建立和维护工作。建立一个优质、量大和可扩充的试题库是CAT系统设计中最基础也是工作量最大的工程,具体步骤如下:

(1)IRT模型和试题参数的确定。CAT系统的题库不是简单地将数量众多的试题存储到计算机中,而是以项目反应理论作为基础,根据一定的数学模型使题库能适应智能组卷的需要,如三参数的Logistic模型在理论和实践中都得到了充分的验证。试题的IRT参数需要对大量的试题进行大样本测试才能获取稳定的参数估计值,这在系统的初始应用阶段有较大的困难,可由专家或有经验的教师进行预评估后,再根据实测结果对参数的估计值进行修正。

(2)试题的选取和录入。本课程的考核主要针对学生对计算机基础知识的掌握及基本操作的应用能力,试题涵盖计算机硬件基础知识、软件基础知识、Windows操作系统、Office软件操作四个部分。试题的选取注重知识点的分布、不同难度和不同题型的结合,每道题目的属性包括试题编号、试题类型、试题分数、试题题目、标准答案、难度系数、区分度和猜测系数等IRT参数。

(3)试题库的维护。题库的建设是一个循序渐进的过程,随着系统的多次使用,题库中的试题数量需要不断地扩展和更新,试题的各个参数需要不断地进行调整,及时去除那些区分度低和猜测系数大的题目,以保证题库的数量和质量。为了保证题库的安全,只有系统管理员才具有此权限。

2.考试模块

该模块是CAT系统的核心,主要完成试题的选取与呈现、得分判断、参数估计及成绩提交等工作。

目前各高校的数字化校园建设已初具规模,以局域网(网络机房)作为考试环境,将题库、考试管理系统和成绩分析系统等放在服务器上,考试程序放在各客户机上,进行智能组卷和实时评分,考试结束后将考试成绩和相关文档上传到服务器保存。

考试模块主要为考生提供一个操作方便的考试界面。运行客户端程序后,首先出现登录窗口,正确输入考生的身份信息后将进入答题界面,系统在考试过程中实时根据考生的答题情况,按照一定的IRT模型和算法进行计算、估计考生的能力值,随后自动抽取最适合该考生的试题呈现在屏幕上供考生作答,当能力估计值达到一定的精度要求时自动结束考试。

3.管理模块

该模块的主要功能是监控考试的正常进行,如查询考生登录情况,及时处理考试过程中考生因意外情况出现死机、掉电时的数据恢复工作等。该模块还具有查阅考生成绩、对考试结果和试题参数进行统计分析的功能。此外系统还提供了模拟考试子模块,以方便考生提前熟悉考试界面。

三、自适应测试的实现

自适应考试系统与一般的计算机辅助考试系统的最大区别,在于对考生能力的实时评估及与之相关的智能组卷策略,分为能力初测和精确估计两个阶段,其测试流程如图2所示。

1.智能组卷策略

一般的计算机考试系统的组卷是在考生登录之后、开始答题之前生成的,即试卷的题型、题量和难度等已经确定;而CAT系统的试卷是动态生成的,是在考试过程中根据考生的答题情况决定抽取何种难度的题目进行测试。

由于考试开始时系统对考生的能力信息是未知的,因此系统采取的组卷策略是:首先从题库中随机抽取一组难度水平中等的题目施测,若考生能对该组中的大部分试题正确作答,则说明其实际能力较高,随后抽取的是一组难度更高的题目;若考生只能正确回答其中小部分试题或全部答错,则继之以一组难度水平较低的题目。之所以采用若干个难度相同的试题作为一组进行抽题,是为了避免考生在对单一试题作答时因猜测答案而使评判结果出现偏差。

2.实时能力估计

与一般的计算机考试系统是在考生答完全部试题并确认交卷后再进行评判不同,在不预先设定考试题数和考试时间的CAT模式下,考生必须对屏幕上呈现的每一道试题及时作出回答后才能进行下一道题目的测试,这就要求系统必须对考生答题结果实时评判,并以此为依据不断地估计考生能力,确定后续试题的难度,逐步向考生的能力真值逼近。

为了避免考生因拖延答题时间而使系统无法呈现足够数量的试题,有必要对每组试题的答题时间进行限制,并以倒计时形式在答题界面上显示当前组的剩余答题时间,在规定时间用完时将本组未答题判为答错,并自动给出下一组试题,以保证能在正常时间内结束考试。

3.测试结束条件

CAT系统因预先不设定考试题数,故无需考生主动结束考试,系统以对考生的能力估计值达到预定的精度要求或达到最大的测试容量作为考试的终止条件。

四、结语

实测结果表明:基于IRT的自适应考试,由于呈现给考生的试题难度与其能力相适应,考生无需回答全部试题,用较少的试题量达到了精确的测试效果,因而大大节省了考试时间,减轻了组织考试的工作量,相比传统考试和普通的计算机辅助考试具有更高的效率。

参考文献:

[1]程艳.计算机自适应考试的理论模型研究[J].计算机与现代化,2006,(9).

[2]刘发明.基于WEB的计算机自适应考试系统的设计与实现[J].赣南师范学院学报,2005,(6).

基金项目:湖南省教育厅研究项目(05C647)

注:“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文