Transcript 课件下载 - 海南医学院

考试规范化操作及题库建设
马志健
授课内容
一、课程考试的现状分析
二、试卷分析及其基本方法
三、学校考试相关规定
四、考试规范化操作-以考易为例
五、教务管理系统应用介绍
一、课程考试的现状分析
1、考试目的的定位
2、考试的形式与方法
3、考试的内容
4、考试的时机
5、考试的管理
6、存在的问题
1、考试目的的定位
• 传统观点：检查教学效果、检验教学目
标实现程度、改进教学工作、提高教学
质量。基本功能：即信息反馈，成绩检
测，导向功能。
• 新的观点：更重要的是要用于引导、激
励和促进学生提高学习能力和基本素质
。
2、考试的形式与方法
(1)闭卷考试占据绝对的主导地位
“以传授知识为中心的传统教育”的核心，能较
好体现考试的公平性、公正性和严肃性,而且考试
的组织实施比较容易,阅卷比较省时,但是它往往
不能准确反映学生的真实水平。
(2)其他形式的考试多不成熟或不经济
如口试、讨论会或报告会形式、分段式考试和
半开卷式等,有待进一步完善和提高。
3、考试的内容
• 重理论测试,轻综合能力考试。侧重于知
识型试题,要求记忆量大,不能有效将书本
知识变为学生的知识源。
• 从试题类型来看,考试题型单一,选择题、
判断题、概念和理解等低层次的较多,而
运用、综合、评价等考核学生综合能力
型的高层次目标的题型较少。
4、考试的时机
• 普遍将考试放在学期末或在一门课程结
束时集中考试，导致学生“平时不用功,临
时抱佛脚”。
• 一次考试来完成对一门课学习效果的评
价往往不够客观和全面。应增加平时考
试次数,强化平时测验的作用,提高学习效
果。
5、考试的管理
• 有考试规定,但不够完善,或执行不够。
• 考试管理的重点放在考场的管理和考试
成绩的管理上,而对教师的命题、阅卷和
考试结果的分析处理缺乏要求或要求放
松。
• 考试结束课程学习结束了, 特别是期末考
试,面临寒暑假,多数教师把分数改出来一
交了事。
6、存在的问题
• 一是考试命题一定程度地脱离教学大纲,
限制了考试对教学质量检验的客观性和
有效性。
• 如少数教师对考试重视不够,命题不够准
确或是命题数量较少涵盖性不够,考试有
时一定程度上是对课堂笔记的重现,达不
到检验教学质量的目的。
6、存在的问题
• 二是考试规范化程度有待进一步提高。
• 如试题库建设未能考虑教学实际、生源
实际及各专业的要求进行一定程度地细
化,实行“一刀切”,使教、考分离未达到应
有的效果。
• 如考试卷面评分偏离正态分布,分数有时
存在“贬值”,或“升值”现象,限制了考试对学
生自觉学习的激励和促进作用,不利于学
生学习能力的发展。
6、存在的问题
• 三是考试中记忆成分所占比重较大,善于
记忆和努力记忆的学生获得高分,鼓励机
械记忆,不利于学生的能力和技能培养以
及对知识和能力的结合。
• “高分低能”、“考前突击”、“女生高分”等
不正常现象的诸多原因中,考试中记忆成
分所占比重较大是重要原因之一。
6、存在的问题
• 四是考试方式较为单一,较多地依靠闭卷
考试,未能充分利用诸如开卷、测验、口
试、讨论、网上考试、论文报告等多种
考核手段。
• 这样就使得一些能力性考核的内容受到
了限制,也限制了学生创造思维和动手能
力的培养,尤其不适合于一些专业性课程
和前沿性课程。
6、存在的问题
• 五是存在一次考试定成绩的现象,主要表
现在期末考试占总成绩的比重过大,凭期
末一纸试卷定优劣,助长和导致了“考前突
击”。
• 这样做的直接后果是造成了学生对平日
学习的忽视,使学生的学习处于非正常的
功利性状态中,违背了学习的初衷,直接影
响到学生学习自觉性和创造性的培养。
6、存在的问题
• 六是部分考查课及本科毕业论文设计的
考核有待改进。
• 这主要表现在某些考查课的考核缺乏明
确要求,考察不够严谨,本科毕业论文设计
的答辩方式及答辩质量不尽如人意等方
面,使得该方面的考核往往流于形式,达不
到应有的效果。
6、存在的问题
• 改革课程考试制度,提高教学质量已成为
目前医学教育界亟待解决的课题。
• 考试对学生的学习活动,不仅表现在对学
习内容的选择,还会对学生的学习方式产
生很大的影响。
• 必须高度重视“试后管理”。
二、试卷分析及其基本方法
1、为什么要做试卷分析？
2、试卷分析的四个度
3、试卷分析的内容
4、试卷分析实例
1、为什么要做试卷分析？
• 试卷分析对于教师来说早已是司空见惯的事，
譬如统计本班考试的平均分、及格率、各分数
段分布等等。
• “试卷分析”的重要功能是根据发现的问题，寻
找产生的原因、寻求解决的办法。换言之，用
数据说话，而不是凭感觉下结论。
• “试卷分析”是给教师自己“看”的。 “试卷讲评”
是面向学生进行的、着重于反馈与更正的一种
教学行为，即是给学生“看”的。
2、试卷分析的四个度
•
•
•
•
（一）难度
（二）区分度
（三）信度
（四）效度
（一）难度
• 难度是指试题的难易程度，指应试者解答试题
的难易程度，是描述性语言。
• 难度系数：“难度系数”也可以理解成“容易度系
数”，是0～1之间的量值，难度系数越大，说明
题目难度越小。
• 一般认为，试题的难度指数在0.3－0.7之间比
较合适，整份试卷的平均难度最好在0.5左右，
高于0.7和低于0.3的试题不能太多。
（一）难度
难度的两种定义：
• （1）P=x/w x为某题得分的平均分数，
w为该题的满分。这种定义法，难度值小
时表明试题难，值大时表明试题容易，
最小值为0，最大值为1。
• （2）P=1—x/w 这种定义法，难度值小
时表明试题容易，值大时表明试题难，
最小值为0，最大值为1。
（一）难度
难度的计算：
• （1）主观性试题的难度
• A 基本公式法：P=x/w x为某题得分的平
均分数，w为该题的满分。
• B 极端分组法： P= (XH+XL)/2W XH：高
分组的平均得分（前27%），XL：低分组
的平均得分（后27%）。
（一）难度
• （2）客观性试题的难度
• A 基本公式法：P=R/N R 为答对人数，
N 为全体人数。
• B 极端分组法：P=（PH+PL）/2
• PH=RH/n 叫高分组通过率，RH：高分组
答对人数，n：总人数的27%。PL=RL/n 叫
低分组通过率，RL：低分组答对人数。
（一）难度
• 3、整卷难度和单题难度
• 整卷难度系数计算公式：P=A（试卷平均
得分）/T（试卷满分） ；
• 单题难度系数计算公式：Pi= Ai（第i题平
均得分）/Ti（第i题满分） 。
（一）难度
• 4、期望难度与实际难度。
• 期望难度：命题时预设的难度系数。譬如：选
拔性考试一般为0.55左右，水平性考试一般为
0.80～0.90，平时考试一般为0.70～0.75。
• 实际难度：是应试者考试的结果，与应试者实
际学业水平有关。
• 通过比较“期望难度”和“实际难度”，可以了解教
师教学重点把握情况；可以了解学生掌握知识
的真实情况，譬如教学目标的达成水平、模块
掌握水平、某种题型的解题能力等一系列问题
。
（二）区分度
• 区分度是区分应试者能力水平高低的指
标，反映了试题对考生素质的区分情况
。
• 试题区分度高，可以拉开不同水平应试
者分数的距离，使高水平者得高分，低
水平者得低分，而区分度低则反映不出
不同应试者的水平差异。
（二）区分度
• 1、区分度指标的评价： -1.00≤D≤+1.00。一般
区分度指数高于0.3，试题便可以被接受。
D≥0.4时区分作用很好；D≤0.2时，区分性很差
。D值为负数时，说明试题或答案有问题。
• 区分度和难度关系密切。太难、太易的题目，
区分度都不很好．只有中等难度的题，区分度
才比较好。
• 区分度高，则该测试的信度必然理想，因此提
高区分度是提高测试信度的方法。
（二）区分度
• 2、 区分度的计算方法：
• 选取高分组（试卷总分得分最高的27%应试者
成绩）和低分组（试卷总分得分最低的27%应
试者成绩）
基本公式法：D＝（H－L）/N
• D代表区分度指数，H代表高分组答对题的人数
，L代表低分组答对题的人数，N代表一个组的
人数即高分组与低分组人数之和。
（二）区分度
极端分组法：
• （1）主观性试题：D=（SH—SL）/n（WH-WL）
• SH:高分组得分总数，SL：低分组得分总数，WH：该题
的最高得分，WL：该题的最低得分，n为高分组（或
低分组）的人数，即总人数的27%。
• （2）客观性试题：D= PH—PL ,或D=（RH—RL）/n
• PH=RH/n 叫高分组通过率，RH：高分组答对人数，n：
总人数的27%。PL=RL/n 叫低分组通过率，RL：低分组
答对人数。
• （3）整卷区分度: D=（XH—XL）/X满 计算。XH：高分
组某试题的平均分，XL：低分组某试题的平均分，X满
：该题的满分。
（三）信度
• 信度是指测得结果的一致性或稳定性，
稳定性越大，意味着测评结果越可靠。
和信度相关的一个概念是效度，信度是
效度的前提条件。
• 信度只受随机误差的影响，随机误差越
大，信度越低。因此，信度可以视为测
试结果受随机误差影响的程度。系统误
差产生恒定效应，不影响信度。
（三）信度
• 测试的信度主要涉及到试题本身的可靠
性和评分的可靠性这两个方面。
• 试题本身是否可靠主要取决于试题的范
围、数量、试题的区分度等因素；
• 评分是否可靠则要看评分标准是否客观
和准确。
（三）信度
• 测试的信度通常用一种相关系数（即两个数之
间的比例关系）来表示，相关系数越大，信度
则越高。
• 当系数为1.00时，说明测试的可靠性达到最高
程度；而系数是0.00时，则测试的可靠性降到
最低程度。
• 对信度指数的要求因测试类别的不同而不同，
通常对标准化测试的信度系数要求在0.90以上
，例如“托福”的信度大致为0.95，而课堂测试
的信度系数则以0.70-0.80之间为可接受性系数
。
（三）信度
1、评价信度的方法：
• （1）重测法。用同一套试卷在两个不同时间
内来测试同一批受试者，这样便获得两组分数
，然后计算出两组分数的相关系数。
• 在两次测试中，学生第二次的测试成绩理应比
第一次的要高，因为在第二次测试时学生已经
有了进步而且临场经验也更丰富了。但是若该
试题是比较可靠的，每个学生在两次测试中的
排名次序应该是基本不变的。
（三）信度
1、评价信度的方法：
• （2）交替形式法。对同一批受试者使用
试题类型完全相同，难易程度相当，但
具体题目不同的两套对等试卷先后进行
两次测试，然后计算出两次得分的相关
系数。
（三）信度
1、评价信度的方法：
• （3）对半法。测试只进行一次，但将整
份试卷的题目按单、双数分成两组来分
别计分，算出两组分数的相关系数。
（三）信度
2、信度的指标
• （1）信度系数
• 大部分情况下，信度是以信度系数为指
标，它是一种相关系数。常常是同一被
试样本所得到的两组资料的相关，理论
上说就是真分数方差与实得分数方差的
比值，公式为：r(xx)=S^2(t)/S^2（x）
（三）信度
2、信度的指标
• （2）测量标准误
• 信度系数仅表示一组测量的实得分数与真分数的符合
程度，但并没有直接指出个人测验分数的变异量。我
们可以用一组被试两次测量结果来代替对同一个人的
反复施测，于是有了信度的另一个指标，公式为：
• SE=S(x)√1-r(xx) SE为测量的标准误，S(x)是所得分数的
标准差，r(xx)为测验的信度系数
• 测量的标准误与信度之间有互为消长的关系：信度越
高，标准误越小，信度越低，标准误越大。
（三）信度
3、影响信度的因素
• （1）样本特征
• 样本团体异质性的影响，以及样本团体
的平均能力水平的影响
• （2）测量长度
• 一般来说，在一个测试中增加同质的题
目，可以使信度提高。
（三）信度
3、影响信度的因素
• （3）测验难度
• 理论上说，只有测验难度为50%时，才能使测验分数分
布范围最大，求得的信度也最高。事实上，难度为0.50
只适合于简答型题目，对于选择题目由于猜测因素，
难度值应当提高。理想平均难度为：五择一测，0.70；
四择一测，0.74；三择一测，0.77；是非题。0.85
• 在实际情况下，难度水平通常适用于中等能力水平的
被试，而对较高水平的被试和较低水平的被试可能较
易或较难，使得分数分布范围缩小，信度水平降低
（四）效度
• 效度是一个测试能够测试出它所要测试的东西
的程度，即测试结果与测试目标的符合程度。
任何测试工具，无论其它方面有多好，若效度
太低，测试的结果不是它要测试的东西(如用英
语试卷测试学生的数学能力)，那么，对目前所
要测试的东西，这个测试将是无价值的。
• 效度是一个相对概念，即效度只有高低之分，
没有全部有效和全部无效之分。
（四）效度
•
•
•
•
•
测试的效度一般可分为以下几类：
1）表面效度
2）内容效度
3）编制效度
4）经验效度
（四）效度
1）表面效度。指测试应达到的卷面标准，
即一套测试题从表面看来是否是合适的
。例如，若一次阅读理解力的测试包括
许多受试者没有学过的方言词汇，则可
认为这次测试缺乏表面效度。表面效度
是测试出受试者正常水平的一种保证因
素。
（四）效度
2）内容效度。指一套测试题是否测试了应
该测试的内容或者说所测试的内容是否
反映了测试的要求，即测试的代表性和
覆盖面的程度。例如，如果某一套发音
技能测试题仅仅考查发音所必须具备的
某些技能，如只考单一音素的发音，而
不考查重读、语调或音素在词语中的发
音，那么，该测试的内容效度就很低。
（四）效度
3）编制效度。指一套测试题的诸项目对编
制该测试所依据的理论的各个基本方面
的反映程度。例如，以结构主义语言理
论为基础，认为系统的语言习惯是通过
句型而获得的，那么，强调词汇和语法
环境的测试题目就失去了编制效度。
（四）效度
4）经验效度。经验效度是一种衡量测试有效性
的量度，通过把一次测试与一个或多个标准尺
度相对照而得出。经验效度可分为两种：
一是共时效度，即将一次测试的结果同另一次时
间相近的有效测试的结果相比较，或同教师的
鉴定相比较而得出的系数；
二是预测效度，即将一次测试的结果同后来的语
言能力相比较，或是同教师后来对学生的鉴定
相比较而得出的系数
（四）效度
一般来说，对某次测试的效度进行检验时
，除了要根据教学大纲的要求和观念有效性的
理论对试卷的内容进行考查以外，还须采用计
算相关系数的定量方法，即计算出本次试卷与
另一份已被确定能正确反映受试者水平的试卷
之间的相关系数。
系数高则有效性大。课堂测试的效度应在
0.4-0.7之间，规模较大的测试其效度应在0.7以
上。
3、试卷分析的内容
1、整卷难度分析：了解难度把握（平均分
）、离散程度（标准差）、分数段分布
（正态分布）、试题得分分布（期望难
度的布局与实际情况的差异）。
3、试卷分析的内容
2、难度层次分析：通过对“容易题”、“稍难
题”、“较难题”的得分情况分析，了解学
情把握、教学定位是否准确等问题。
3、试卷分析的内容
3、知识结构分析：通过对知识板块得分情
况分析，了解学生知识板块的掌握结构
以及教学目标达成情况。
3、试卷分析的内容
4、题型得分分析：了解“选择题”、“填空题
”、“解答题”等题型的解题能力水平。
3、试卷分析的内容
5、命题质量分析：考察试题区分度，了解
试题质量以及考试结果的信度水平。
3、试卷分析的内容
6、相关性分析：通过研究某些特性的个体
与整体的相关系数，进行该特性的个体
差异性分析，如女生群体与整体的相关
性分析。
4、试卷分析实例
•
•
•
•
•
总评成绩
试题分析
试卷总体分析
考后成绩分析统计
个人成绩分析
三、学校考试相关规定
1、考试相关制度
2、目前执行考试流程
1、考试相关制度
•
•
•
•
•
•
•
•
•
•
•
•
海南医学院关于学生违反考场纪律、考试作弊处理的暂行办法
海南医学院考试证制度
海南医学院考场规则
海南医学院考试命题与评卷暂行办法
海南医学院关于课程成绩的报送及查卷暂行办法
海南医学院试卷交接、印刷、保管及保密措施
海南医学院监考员职责
海南医学院考场巡视员职责
海南医学院监考执行指令
关于考试命题、考风考纪工作的补充规定
海南医学院评卷、成绩分析与答卷、毕业论文保存要求
海南医学院学生考试成绩统计分析
2、目前执行考试流程
一、 考试时间：
• 考试课程考试时间一般集中在第19、20
周；结课较早的课程可适当提前安排考
试。
• 考查课程由教研室自行安排，须在18周
前结束。
2、目前执行考试流程
二、考试资格审查：
• 平时成绩不及格者不得参加相应课程的
期末考试。各教学单位在第17周将学生
平时成绩录入青果系统，同时填写《考
试资格审查表》把不具备考试资格的学
生情况报送考务科。
2、目前执行考试流程
三、考试命题：
• 1、考试课程命题前，教研室要设立课程考试
命题小组，指定命题负责人根据授课计划制定
命题方案（双向细目表），在经二级学院审核
后于第17周由教学秘书统一报送考务科。
• 2、各教学单位于课程考试前7天将五套试题派
命题人送交考务科，教务部在随机抽取试卷后
将约请命题老师到考务科校对试卷。
2、目前执行考试流程
四、考试注意事项：
• 1、巡视员、监考员于考试前半小时到教务部签到，领
取考务用品及试卷。考务人员须在开考前20分钟到达
考场。
• 2、主监考员在考试前宣读考场纪律，辅监考员负责清
场工作。如在考试过程中发现学生违纪、作弊情况的
要及时通报巡视员做进一步处理。
• 3、开考15分钟后不再准许迟到考生进入考场考试，开
考30分钟后才准许考生交卷离场；离考试结束有10分
钟时，监考员应提醒学生剩余时间。
2、目前执行考试流程
五、成绩报送：
• 1、选修课程网上录分工作完成时间为第18周，必修课
考查课程网上录分工作完成时间为第19周，考试课程
录分工作完成时间为学生全部考试结束后七个工作日
内。
• 2、各学院教学秘书应在第二学期开学后一周内将各学
院纸质成绩册一式两份按课程、年级、班级分类整理
、汇总后交教务部考务科。
• 3、纸质成绩应有授课教师、教研室主任和学院主管教
学副院长签名确认并加盖教研室和学院章。综合成绩
不合格应用红笔标明；考试课程必须附有成绩分析；
纸质成绩分数不得涂改。
2、目前执行考试流程
六、其它
• 1、因故不能参加期末课程考试的学生必
须在考前2天向考务科提交缓考申请并附
相关证明。
• 2、学生可凭校园一卡通或学生证、身份
证参加考试，无证件者不得参加考试。
四、考试规范化操作-考易
• 考易系统由南方医科大学设计，具有专业性、
开放性、国际化等突出特点。
• 直接向学生展示听诊和查体的音频、视频资料,
还有影像和临床检验结果等可以看到成绩分析
报告。
• 教师组卷、监考、阅卷的工作量也大大减轻，
考试成绩分析、试卷分析、试题分析、试卷科
学组成、试卷的审核等都迎刃而解。
课程负责人考易培训
教研室秘书考易培训
考易系统试用
• 本学期生理学课程的期中考试、期末考试
共组织1000人次参加网络考试。
考易网络题库与考试系统使用
•
•
•
•
•
•
设计研发课程的三级主题词表
搭建课程题库框架
录入试题
审核试题
组卷命题
网络判卷
一、设计研发课程的三级主题词表
• 1、三级主题词表类似于教材中的章、节以
及知识点。
• 2、确定使用层次、题型、考试类别 、应考
专业 、试题难度的等级 、试题的要求度等
级 、知识类别等级 、题目来源种类 。
1、课程主题词的设计
2、设置题目的各种条件
二、搭建课程题库框架
多种条件的设定，使得该系
统具有强大的通用性。
三、录入（编辑）试题
三、录入（编辑）试题
三、录入试题
试题录入方便快捷
四、审核试题
四、审核试题
五、组卷命题
试卷生成，简便快捷
以双向细目表为基础，从章节、题型、难度三个维度控制试卷
质量
还可以多课程和手工
组卷
3、严格的三级审核
网络考试
六、试卷批改
七、试卷分析、成绩分析功能
• 单个学生成绩分析
• 试卷实测分析
• 试题质量分析
完善便捷的分析体系：可以完成单个学生成绩分
析、试卷实测分析、试题质量分析。
考试结束，可以调看学生试卷，方便查
分。
特色明显
完美解决医学A3、A4、B1等类试题的存储
和组题等设计难题；
支持多种格式的图片、视频等多媒体试题；
纯B/S结构，客户端无需任何安装，直接浏
览器支持；
试题在使用中不断得到更新和自我修正。
运行效果和感受
1、从经济效益上讲，实施课程网考，
单就试卷印刷每年可节省大量经费。
2、把教师从繁重的组卷、监考、阅卷
等繁重工作中解脱出来。
3、试题在每次的运用中不断得到更新。
题库越用越好用。
4、为教学提供很好的教学反馈信息
作业
• 登录http://210.37.77.14/kaoyi/admin
• 用户名称：李萍；密码：666888
五、教务管理系统应用介绍
• 1、使用原因及理念
• 2、青果系统日常使用情况及时间安排
1、使用原因及理念
• 2011年之前，我校一直都是人工排课 ，学校教
师和教室资源受限，会出现教学冲突的情况 。
• 青果教务管理系统。涵盖了教育计划、教学资
源、课程安排、考务、学籍、实践、教材、学
生选课等功能。
• 随着我校的发展，拟将教学安排权限下放至各
二级教学单位，教务部宏观调控。
2、青果系统使用
• 录入或核对教育计划
2、青果系统使用
• 设置教学安排
2、青果系统使用
• 预排课
2、青果系统使用
• 录入授课计划
谢谢！