Transcript 考试试卷编制与命题杨向东

考试试卷的编制与命题
华东师范大学
杨向东
如果下面两个食物链中的跳蚤都死了，将分别会引
起什么变动？请解释为什么？
试卷编制的关键问题
• 知晓题目究竟在测什么？
• 知道整个试卷中所有题目放在一起的关系
是什么
– 为什么试卷中的题目可以放在一起（试卷背后
的理论框架）？
– 将题目组织在一起的框架是否合理？（试卷是
否测量了有价值的东西？
• 知道为什么要编制试卷（考试的目的）？
测验编制的基本流程
阶段1
测验对象
评价目的
理解测量变量或属性
阶段2
阶段3
开发测验蓝本
开发选择评价任务
题目分析
阶段4
鉴定测验质量
测验分析
使用
评价目的的制定
1、了解和确定学生学业水平的一般情况
－学业水平测验、选拔性测验
－升学、分班、排名、学校评估
2、鉴定和诊断学生学习中的问题
－（认知）诊断测验
－提高学习和教学针对性
了解学业水平一般情况
题目 1
代表性
题目 2
评价领域
题目 3
……
题目 4
难度分班
了解学业水平一般情况
题号
学习内容
题号
学习内容
8
（三）（2）
23
（三）（1）
9
（七）（1）
24
（五）（3）
10
（八）（2）
25
（十）（1）
11
（九）（2）
26
（十七）（1）
12
（十三）（3）
27
（二十三）（8）
13
（十三）（5）
30
（五）（1）、（十三）（8）
14
（十六）（2）
31
（十二）（2）
15
（十九）（1）
32
16
（二十二）
（九）（5）（6）、（二十三）
（3）（9）
17
（二十三）（3）
33
（二十三）（8）
18
（二十三）（1）
34
（一）（3）、（七）（1）、（2）
19
（二十三）（6）
35
（六）（1）（2）、 （八）
（2）、（九）（3）（4）
20
（二十三）（8）
36
二十二
21
（二十三）（9）
了解学业水平一般情况（双向细目表）
算术 几何
代数 测量 统计
Σ
选择
30
7
12
9
2
60
简释
10
18
6
0
0
34
问答
13
13
0
0
0
26
论文
0
0
30
0
0
30
Σ
53
38
48
9
2
150
%
35.3
25.3
32
6
1.3
100
诊断性测验
请看以下学生对评价任务的回
×
答：
√
√
307
856
- 182
- 699
———— ————
285
157
606 ×
308 ×
- 568
- 287
———— ————
168
181
835
- 217
————
618
诊断性测验的设计基础
cf. Marshall,1980
两分数
相加
将复合
分数置
换为假
分数
最小共
分母
最小共
倍数
寻找等
分数
分子相
加
答案 =
分子总合
最小共分母
将假分数
置换为复
合分数
答案
分数简
化
测验编制的基本流程
测验对象
评价目的
阶段1
理解测量变量或属性
阶段2
阶段3
开发测验蓝本
开发选择评价任务
题目分析
阶段4
鉴定测验质量
测验分析
使用
理解测验要考查的属性
确定考试背景
年级水平
学科
与课标的联系
前提知识与技能
学习的重点难点
考试目的
考查内容范围
测量
属性
相关现象或情景
存在的错误观念
从课程标准中理解测验考查的属性
数学课程标准1：数学作为一种问题解决
四年级数学学习应该强调问题解决，学生能够
 用问题解决的方式研究和理解数学内容
从日常数学情景中形成数学问题
形成并运用各种策略解决各种数学问题
能验证和解释问题答案或结论
在运用数学解决有意义的问题过程中获得信心
NCTM： 美国国家数学教师委员会
从题目分析中了解测验考查的属性
阅读案例
流感自愿免疫接种项目
科学案例
阻止细菌！
早在11世纪，中国医生们就开始操纵免疫系统。他们将患有天花
的病人的疮痂磨碎，吹进其他人的鼻孔。这样通常能够使这些
人患上轻度天花，防止以后得更为严重的病。在18世纪，人们
用干燥后的疮痂摩擦他们的皮肤，保护自己不再得病。这些原
始的做法引介到英国和美洲殖民地。1771和1772年，在一场天
花传染病中，一个叫Zabdiel Boylston 的波士顿医生测试了他的
一个想法。他把他6岁儿子和其他285个人的皮肤擦破，将天花
疮痂中的脓液擦到他们的伤口上。所有的人除了6个人以外都幸
存下来。
问题1 Zabdiel Boylston测试了什么想法？
问题２ 要判断Boylston的方法是否成功，请给出
你所需要的另外两个方面的信息
问题1：
计分方法
满分
编码2： 回答涉及到以下两个方面：
•
用天花感染人能够提供免疫
•
弄破皮肤，天花可以进入血液系统
部分正确
编码1： 涉及到上述两个方面的任一个
零分
编码0： 其他回答
问题2：
计分方法
满分
编码2：回答提供了以下两方面信息：
•
没有应用Boylston方法的存活率
•
他的病人有没有通过其他途径接触到天花
部分正确
编码1： 涉及到上述两个方面的任一个
零分
编码0： 其他回答
为什么说一张试卷完整的测量了
应该考查的东西？
试卷的评价框架及其案例
ＴＩＭＳＳ数学认知领域
认知水平
知晓
knowing
应用
applying
推理
reasoning
界定
事实、程序和概念
4年级
8年级
40%
35%
应用知识和概念理解去解 40%
决问题的能力
40%
20%
25%
-超越常规问题解决
-解决陌生情景、复杂
情景和多步骤问题
数学认知领域—知晓
1．回忆
2．识别
3．计算
回忆定义，术语，数字特征，几何定理，符号
（如a*b=ab, a+a+a=3a）
识别出数学对象、形状、数字和表达式，识别出
数学上等价的不同对象（如等价的分数、小数和
百分比，不同方向的同一简单几何图形等）
能对自然数、分数、小数和有理数进行四则运算，
估算数字的近似值，能进行常规代数运算
在图表、表格和其他材料中提取信息，能读出简
单的刻度表
5. 测量
会使用测量仪器；运用合适的测量单位；进行测
量估量
6. 分类/排序 按照共同特征对物体、形状、数字及表述方式进
行分类；正确判定对象的类别；能按照属性对数
字和物体进行排序
4．提取
案例1
案例2
•以下哪项与370×998+370×2相等？
•A.370×1000
•B.372×998
•C.740×998
•D.370×998×2
数学认知领域—应用
1.选择
2. 表征
3.建模
4.实施
当问题有已知算法或解答方案时，能够选择合理
有效的操作、方法和策略来解答问题
用流程图、表格、图形等形式展示数学信息和数
据；对于给定的数学现象和关系，能够生成等价
的表征方式
能建立一个合适的模型，如等式或简图，来解决
一个常规问题
能遵循和执行数学指令。按照规定画出图表或和
形状
5. 解 决 常 解决常规问题（与学生课堂常见问题 类似 的问
规问题
题），如利用几何特征去解决问题，比较并匹配
数据不同的表示方式，能使用图表中的数据解决
常规问题
案例3
•一条长20厘米的细金属丝围城一个矩形，矩形
的宽是4厘米，长是多少？
A. 5厘米 B. 6厘米 C. 12厘米 D. 16厘米
案例4
数学认知领域—推理
1. 分析
在数学情景中，确定并能描述出、或使用、变量或物体之间
的关系；能运用比例推理；通过分解几何图形，简化问题解
决；能画出不熟悉固体的骨架图；能对三维图形进行视觉转
化；比较并匹配同一数据的不同表达方式；根据已知信息做
出有效推断
2. 推广
通过用更加一般和宽泛的形式去重述结果，让数学推理和问
题解决方法适用于更大的范围
3. 综合
综合多种数学方法求得答案，综合不同结果形成新结果；在
不同知识点或相关表征之间建立联系，在不同数学观念之间
建立联系
4. 论证
借助数学结果或特征，对某个陈述的真假进行论证
5．解决非常 能解决不常见的、数学或真实生活情景下的问题，能在不
规问题
熟悉的或复杂的情景中运用数学方法。运用几何原理去解决
非常规问题
案例5
•最初出席会议的2/3是男性，中途没有人离开，但是有10几个男
人和10几个女人到达会场。哪一种情况是正确的？
•A.后来会场中的男人比女人多
•B.后来男人和女人一样多
•C.后来会场中的女人比男人多
•D.从所给信息中你并不能判断这里的男人多还是女人多。
案例6
TIMSS科学认知领域
-知晓（knowing）
1. 回 忆 \ 再 能鉴别有关科学事实、关系、过程和概念的准确陈述，并
认
能够表达；鉴别具体的有机体、物质或过程的特征或原理
2. 界定
能提供或鉴别科学术语的定义；能在相关情境中再认或使
用科学词汇、符号、简称、单位和量纲
3. 描述
能描述有机体、物质或科学过程，从中展示有关其特征、
结构、功能和关系的知识
4.例证
通过适当案例支持或澄清有关事实或概念的陈述；能鉴别
或提供用来演示有关概念知识的具体例子
5. 使 用 工 具 展示使用科学仪器、工具、程序、测量设备或量纲的知识
和程序
下面哪些植物通常生长在热带雨林？
科学认知领域-应用（applying）
1. 比较/对比、能鉴别或描述不同组的有机体、物质或过程之间的异同；
/分类
基于给定特征或原理对每个对象、物质、有机体和过程进
行区分、分类或排序
2.模型使用
使用图示或模型来展示对一个科学概念、结构、关系、过
程、生物或物理系统或循环周期（例如： 食物链、电路、
水循环、太阳系、分子结构）的理解
3.关联
建立生物或物理概念知识与观察到或推断出的对象、有机
体、或物质的某个特征、行为或使用的关系
4.解释信息
运用科学概念或原理解释文本、表格或图中的信息
5.寻找答案
发现或使用一个科学关系、等式、或公式来发现质或量化
的解题方案，包括概念的直接应用或展示
6.解释
提供或鉴别对某个观察或自然现象的解释，能体现出对背
后的科学概念、原理、规律或理论的理解。
三个相同的蜡烛放在如上所示的三个玻璃瓶中，同时
被点燃。随后Y和Z瓶用盖子密封，X瓶瓶口依然是开
的。
哪个蜡烛会先熄灭（X,Y,或Z)? ________
请解释你的答案。
科学认知领域-推理（reasoning）
1. 分 析 / 解 分析问题，决定相关关系、概念和问题解决步骤； 形成并
决问题
解释问题解决策略
2. 综合
能解决需要考虑几个不同因素或相关概念的问题；在不同科
学领域的概念之间建立关系或联系；能展示对跨科学领域的
整合概念或主题的理解；能在科学问题解决中整合数学概念
或过程。
3. 假 设 / 预 整合科学概念和来自经验或观察的信息，形成可以通过调
测
查研究回答的问题；利用观察和/或对科学信息和概念理解
的分析中获得的知识形成可以检验的假设；按照证据和科
学理解（的思维方法），预测生物或物理条件变化的效果
4.设计/计划 能设计或计划回答科学问题或检验假设的合理研究方案；
能描述或再认设计良好的研究方案的特征，如要测量的变量，
需要控制的因果关系等；决定实施调查时需要使用的测量或
程序。
科学认知领域-推理（reasoning）
5. 做结论
发现数据中的规律，描述或概括数据趋势，从数据或给定
信息中进行内推(interpolate)或外推(extrapolate)；在证据或
科学概念理解的基础上进行有效的推断；能做出回答问题
或假设的合理结论，展示对原因和后果的理解。
6. 推广
能做出超越实验或给定条件的一般性的结论，并将结论应用
到新情境；决定表达物理关系的一般性公式
7. 评价
权衡利弊，在不同过程、材料和来源上做决策；综合科学
和社会因素来评价科学技术队生物和物理系统的影响；评
价不同解释或问题解决策略、方案； 评价调查结果，如数
据能够充分支持结论等
8. 论证
使用证据或科学理解论证解释或问题解决方案；形成论证，
以支持问题解决方案、研究结论、或科学解释的合理性
金属皇冠
皇帝给了珠宝商一块纯色金属，要求珠宝商制作一顶
皇冠。
纯色金属
金属皇冠
珠宝商做完后，皇帝仔细观察了皇冠。他怀疑珠宝商
在制作时掺加了其他的纯金属或合金。他称了皇冠的
重量，发现和原来金属重量相同（2400克)。皇帝仍然
不相信，他要求几个科学家帮他鉴定皇冠到底是什么
做的。
科学家需要知道皇冠的体积，从而确定它的密度。下面是
他们能够找到的仪器和工具。
塑料盘
自来水
玻璃容器
带刻度的量筒
使用上面提到的部分或所有仪器或材料，描述一个科学家
能够确定皇冠体积的步骤。你可以画图解释你的步骤。
阅读能力
•
•
•
•
•
提取信息
形成理解
形成解释
反思和评价文本内容
反思和评价文本格式
双向细目表的问题
•知识结构
•认知活动
•零散的
•组织化的
•问题表征
•表面特征和浅层理解
•深层原理和相关概念
•策略运用
•无明确方向的
•尝试错误式问题解决
•高效、目标定向、
•有依据的
•自我监控
•偶尔、零散的
•持续的、灵活的
•解释
•对单个事实的陈述
•或表面特征的描述
•基于原则的、连贯的
知识结构的演化
完整
科学
正确
离散
片面
错误
概念网络：新手与专家
摩尔质量
粒子数
质量
物质的量
阿伏加德罗常数
体积
气体摩
尔体积
浓度
一般学生的概念图
物质质量
摩尔质量
气体体积
气体摩尔体积
物质的量
物质的量浓度
微粒个数
分
子
数
质
子
数
原
子
数
中
子
数
离
子
数
电
子
数
阿伏加
德罗常数
溶液体积
溶液质量
溶质质
量分数
溶
解
度
优秀
学生
的概
念图
整合框架：SOLO模型
(structure of observed learning outcome; Biggs & Collis, 1982)
• 前结构(prestructural)：
– 对问题迷惑不解，不能以适当的方法解决问题
• 单点结构(unistructural)
– 仅能根据一个方面进行概括；不能在事实和概念之间建立
联系。从一个方面草率得出问题答案
• 多点结构(multistructural)
– 仅能根据少数几个片面、互不相关的方面进行概括；基于
孤立的资料草率解决问题；能够序列化理解问题多个方面
，但不能把这些方面相互联系起来
SOLO模型
• 关联结构(relational)
– 能够用归纳的方式，在给定的或经历过的情境中对各种相
关方面进行概括；能够将多个方面进行整合，从而在给定
的或经历过的情境系统中形成结构连贯的、含义一致的整
体。但超越该情境之外则不一定能够做到。
• 扩展抽象结构( extended abstract)
– 能够用演绎和归纳的方式，在更高的抽象层次上对连贯的
整体进行概括；能够推广到未经历过的情境。答案具有开
放性，或者允许从逻辑上得出各种不同的答案
重新思考考试试卷的测评框架
如果下面两个食物链中的跳蚤都死了，将分别会引
起什么变动？请解释为什么？
重新思考学习的过程
和学习结果的特征
整合框架：三维模型 (Deblock, 1972)
• 部分（partial）学习——综合性(integrated)学习
– 从知道到理解，到应用，到综合
• 有限(limited)学习——本质性(fundamental)学习
– 从事实到概念，到关系，到结构
– 从事实到方法，到学科本质观
• 特殊(special)学习——通用性（generic)学习
– 从学习的有限迁移到中等程度的迁移，到全面的迁移
情境创设的意义
•桌游
•在赌场里有一种桌面游戏。参加者向一个由黑
白方块镶嵌的桌面投掷硬币。硬币压到任何方
块的边算输，落到方块中间算赢。如果硬币滚
落到桌下，则重掷。
•请问：
•赢的概率是多少？
解决这一问题的过程
1、找出重要变量
–方块和硬币相对大小
2、将真实问题转化成数学问题
–单个正方形和圆周的关系
解决这一问题的过程
3、问题情境具体化 （简化问题）
–圆半径=3cm,
–正方形边长=10cm
解决这一问题的过程
4、解决问题并加以抽象和概括
–用代数形式代表两者关系
P ( win ) 
x  2 y 
x
2
2
, x  side , y  radius
5、推广（到现实情境去）
解决这一问题的过程
抽象
概括
推广
5
实际解
决方案
5
数学解
决方案
4
现实世界
1、2、3
数学问题
分析、提出、形成问题
解决
数学
学科
问题
情境创设背后对数学能力的理解
• 在各种日常生活和现实情景下，提
出、形成、解决和解释数学问题过
程中能够有效分析、推理和交流思
想的能力
题目设计框架
情境
数学
场景
内容
任务
任务类型
解题过程
能力
数学能力群
再现群
联系群
反省群
（reproduction cluster)
（connection cluster)
（reflective cluster)




标准表征和定义  建模
常规运算
 标准问题转换
常规步骤
与解释
常规问题解决
 多种界定良好
的问题解决方法





复杂问题解决与提出
反省与洞察
新型问题解决方法
多种复杂方法
推广
再现群 （reproduction cluster)
案例1：方程
解方程7x-3=13x+15？
案例2：利率
在年利率4%的情况下，放在银行账户的
1000元在1年后将会变成多少钱？
联系群 （connection cluster)
案例3: 距离
王霞的家离学校2公里，李明的家离学校
5公里。请问王霞的家离李明的家多远？
反省群 (reflective cluster)
桌游
在赌场里有一种桌面游戏。参加者向一个由黑
白方块镶嵌的桌面投掷硬币。硬币压到任何方
块的边算输，落到方块中间算赢。如果硬币滚
落到桌下，则重掷。
请问：
赢的概率是多少？
科学素养（2006）
情境
能力
涉及科学技术 要求人们能够
• 鉴别科学问题
的生活情境
• 解释科学现象
• 使用科学证据
解决科学问题受
影响
知识
• 有关自然世界和技术的知识
（科学知识）
• 有关科学本身的知识
态度
• 对待科学问题的反应（兴趣、支持科学
探究，责任感)
科学能力 （competence)
• 发现科学问题
– 再认能够进行科学研究的问题
– 鉴别能够寻找科学信息的关键词
– 再认一个科学研究的关键特征
• 科学的解释现象
– 在给定情景中运用科学知识
– 科学地描述或解释现象，预测变化
– 鉴别合适的描述、解释和预测
• 使用科学证据
– 解释科学证据，作出并交流结论
– 鉴别结论背后的假设、证据和推理
– 反省科技发展的社会后果
阅读（2006）
情境
文本类型
阅读发生的情境或者文本
的目的(或内容)
生活中遇到的各种书面文本
的形式（散文、说明书、图
示等等）
阅读题目
过程（阅读任务）
学生在现实生活中遇到的
各种阅读任务类型
阅读素养：情景（Context)
• 个人（reading for private use)
– 满足个人智力、娱乐或实用目的
– 私人信件、小说等
• 公众（reading for public use)
– 参与社会；政策文件
• 工作 （reading for work)
– 典型任务：reading to do
• 教育（reading for education)
– 获得信息：reading to learn
阅读素养：
内容或文本格式（Text Format)
• 连续性文本：
– 句子-段-篇/章节-书
– 主要按照修辞目的或文本类型分类
•
•
•
•
•
•
•
叙述（Narration)
说明 （Exposition)
描述（Description)
论证（Argumentation)
指令（Instruction)
文件 (Document or record)
超链接文本(hypertext)
内容或文本格式（Text Format)
• 非连续性文本
– 与连续性文本组织方式以及阅读方式不同
– 通常按照格式分类
•
•
•
•
•
•
•
•
•
图（Charts and Graph) –数据
表 （Table and Matrics)
图示（Diagram) –说明书图解
地图 （Map）
表格(Form）
清单（information sheet)
传单或广告（calls or Ads)
票据（Voucher)
证书（certificate)
阅读素养：任务
• 提取信息
– 发现问题的核心要素
– 寻找文本中的对应信息（文字上或语义上）
– 建立和判断两者的匹配性
• 形成理解
– 形成中心思想，鉴别文本目的
– 匹配问题与文本（主题句）
• 区分关键观念和具体细节
阅读素养：任务
• 形成解释
– 对阅读内容形成具体和完整的理解
– 需要逻辑思维
– 需要理解文本的连贯性（浅层和深层）
– 任务特征
• 比较信息；进行推断；发现和甄别证据
阅读素养：任务
• 反思和评价文本内容
– 评价文本中的结论与自己所知的一致性
– 需要利用文本之外的信息
– 抽象推理的能力
– 任务特征
• 提供文本外证据；评价证据的关联性；从审美或道
德的角度比较文本结论；填补作者推理的不足
阅读素养：任务
• 反思和评价文本格式
– 客观评价文本的质量和合理性
– 需要有关文本结构、类型和功用方面的知识
– 需要语言结构和表达功能方面的知识
• 用词，语气
– 任务特征
• 文本与预定目的之间的关系