第六章 累进效度及辩论 （一） 湖南师范大学外国语学院 邓 杰 教授 教学目标 了解设计试环节的基本概念、焦点问题及证据 来源 了解考试规范的主要内容 了解听、说、读、写能力的定义和特点 了解语言知识、语言理解能力和语言表达能力 的类别及常用测试方法 基本概念：考试大纲；考试规范 焦点问题：考试规范的清晰度、详尽度和可操作性 证据来源：考试规范、考试大纲、教学大纲及相关文献 设计效度 基本概念 考试大纲（Test Syllabus）：由教育部门或考试机构颁发 的、有关“考什么”及“如何考”的纲领性文件。主要从 宏观层面对考试的内容和方法进行概括性描述，使用对象 为考生和教师 考试规范（Test Specification）：基于考试大纲的一系列 具体的、可操作的规定，包括考试目的、考试对象、考试 内容、考核目标、考试方法、考题形式、试卷结构与分值、 考试时间、施考流程、评分标准等，使用对象主要为命题 人员和考试评估人员，附录中往往包括样卷、词汇表、能 力标准和内容类别等 设计效度辩论 焦点问题 清晰程度（Clarity）：描述是否清晰、明确？有没有界定不清、分 类不明的情况？ 详尽程度（Specificity）：描述是否详细、全面？有哪些内容缺失 或不够详尽？ 可操作性（Practicability）：各项规定是否容易理解且方便使用？ 有哪些操作不便或不切实际的之处？ 证据来源 考试大纲及教学大纲 考试规范及其说明 相关文献.
Download ReportTranscript 第六章 累进效度及辩论 （一） 湖南师范大学外国语学院 邓 杰 教授 教学目标 了解设计试环节的基本概念、焦点问题及证据 来源 了解考试规范的主要内容 了解听、说、读、写能力的定义和特点 了解语言知识、语言理解能力和语言表达能力 的类别及常用测试方法 基本概念：考试大纲；考试规范 焦点问题：考试规范的清晰度、详尽度和可操作性 证据来源：考试规范、考试大纲、教学大纲及相关文献 设计效度 基本概念 考试大纲（Test Syllabus）：由教育部门或考试机构颁发 的、有关“考什么”及“如何考”的纲领性文件。主要从 宏观层面对考试的内容和方法进行概括性描述，使用对象 为考生和教师 考试规范（Test Specification）：基于考试大纲的一系列 具体的、可操作的规定，包括考试目的、考试对象、考试 内容、考核目标、考试方法、考题形式、试卷结构与分值、 考试时间、施考流程、评分标准等，使用对象主要为命题 人员和考试评估人员，附录中往往包括样卷、词汇表、能 力标准和内容类别等 设计效度辩论 焦点问题 清晰程度（Clarity）：描述是否清晰、明确？有没有界定不清、分 类不明的情况？ 详尽程度（Specificity）：描述是否详细、全面？有哪些内容缺失 或不够详尽？ 可操作性（Practicability）：各项规定是否容易理解且方便使用？ 有哪些操作不便或不切实际的之处？ 证据来源 考试大纲及教学大纲 考试规范及其说明 相关文献.
第六章 累进效度及辩论 （一） 湖南师范大学外国语学院 邓 杰 教授 教学目标 了解设计试环节的基本概念、焦点问题及证据 来源 了解考试规范的主要内容 了解听、说、读、写能力的定义和特点 了解语言知识、语言理解能力和语言表达能力 的类别及常用测试方法 基本概念：考试大纲；考试规范 焦点问题：考试规范的清晰度、详尽度和可操作性 证据来源：考试规范、考试大纲、教学大纲及相关文献 设计效度 基本概念 考试大纲（Test Syllabus）：由教育部门或考试机构颁发 的、有关“考什么”及“如何考”的纲领性文件。主要从 宏观层面对考试的内容和方法进行概括性描述，使用对象 为考生和教师 考试规范（Test Specification）：基于考试大纲的一系列 具体的、可操作的规定，包括考试目的、考试对象、考试 内容、考核目标、考试方法、考题形式、试卷结构与分值、 考试时间、施考流程、评分标准等，使用对象主要为命题 人员和考试评估人员，附录中往往包括样卷、词汇表、能 力标准和内容类别等 设计效度辩论 焦点问题 清晰程度（Clarity）：描述是否清晰、明确？有没有界定不清、分 类不明的情况？ 详尽程度（Specificity）：描述是否详细、全面？有哪些内容缺失 或不够详尽？ 可操作性（Practicability）：各项规定是否容易理解且方便使用？ 有哪些操作不便或不切实际的之处？ 证据来源 考试大纲及教学大纲 考试规范及其说明 相关文献 考试规范的主要内容 考试目的 考试对象 考生的个人及群体特征、文化和背景知识、语言知识和技能等 考试内容 考试的原因、应用范围等 语言形式：语音、词汇、句法和篇章结构 语境意义：关于事物属性、关联和过程的话语信息，及其隐含程度、 概括程度、信息层面（短语、分句、句子、段落、篇章） 考核目标 层级分类：语言理解（听力、阅读）、语言表达（口语、写作） 水平等级：初、中、高；一～N级；A1、A2、B1、B2等等 “能做”描述（Can-Do statements） 考试规范的主要内容 考试方法 考题形式 考试日期、起止时间及各部分的时长，应注意时长的适宜性 考试实施 组成部分及各部分的题量、权重，应注意主、客观题的比例 考试时间 客观题和主观题，应注重语言使用的真实性、交互性 试卷结构与分值 择答式（判断、配对、选择）和做答式（填空、简答、写作），应 兼顾效度、信度和可操作性 可行性和可操作性，包括考试资源、考试安全、操作流程等 评分标准 客观题的标准答案和主观题的评分细则 听解能力 定义：有针对性地获取或领会口头话语信息的能力 听解过程：语音感知、词汇辨别、语法分析、语境推导 听解模式 “能做”描述 自下而上（bottom-up）：从微观语义到宏观知识 自上而下（top-down）：宏观知识对微观语义的预期和整合 上下结合：上述两种情况同时存在 能识别形式与结构：语音单位、词语单位和语法结构 能理解直接意义：词语、句子、语段的表面意义 能理解隐含意义：交际功能、语气、意图、态度、文化背景等 能适应一定的语速：慢、标准、快 听力材料：日常交谈、专题讲座、新闻报道、影视作品等 阅读能力 定义：对书面材料的理解能力 阅读方式：精读（intensive reading）、泛读（extensive reading）、跳读（skimming）、寻读（scanning） 阅读模式：自下而上、自上而下或上下结合 “能做”描述 能识别形式与结构：单词拼写、语法结构、文体特征等 能理解直接意义：词、句、段、篇的表面意义 能理解隐含意义：交际功能、意图、态度、情感、文化背景等 能达到一定的速度：n词/分钟 阅读材料：日常生活、学习、工作中的各种文字、图片、 表格等 口语能力 定义：说话人在一定交际情境中以口头表达的方式进行的 表情达意的能力 口语活动的特点：交互性（目的、动态、即时）、准语言 性（语调、重音、音量等）、非语言性（表情、手势等） “能做”描述 能正确使用语言形式：发音（音素、连音、省音、变音等），遣词 （单词、短语、语块/固定搭配等），造句（语法形式、句子结构、 典型句式等），连贯（连接词、逻辑结构）等 能注意语言表达的丰富性：词汇、语法、句型的多样性和复杂性 能注意语言使用的得体性：正式与非正式、文化习惯等 能注意语言交际的有效性：话轮（发起、参与、保持、结束、转 接），准语言（重音、语调、语气、音量），非语言（表情、手 势），补救措施等 写作能力 定义：以书面形式进行语言交际的能力 写作的特点：文体多样性、书写规范性、读者确定性、阅 读延时性、字迹观赏性 “能做”描述 能做到书写规范、清晰：标点和格式正确，字迹清楚等 能准确表达自己的意思：用词准确、语法正确、观点明确、逻辑清 晰、层次分明等 能体现语言使用的丰富性：词汇、句式、衔接手段等灵活多样 能注意语言表达的得体性：正式与非正式文体使用得当，语言表达 符合特定的文化习惯等 能注意语言交际的有效性：言之有物、内容充实，图形、表格等辅 助手段的使用相得益彰 设计效度辩论例析 新课标阅读培养目标（8级） 1. 2. 3. 4. 5. 6. 能识别不同文体的特征 能通过分析句子结构理解难句和 长句 能理解阅读材料中不同的观点和 态度 能根据学习任务的需要从多种媒 体中获取信息并进行加工处理 能在教师的帮助下欣赏英语文学 作品 除教材外，课外阅读量应累计达 到30万词以上 语言能力的“能做”描述 高考阅读理解的内容及要求 1. 2. 3. 4. 5. 6. 7. 8. 理解语篇和段落主旨大意 理解文中具体信息 根据上下文提供的语境推 测生词词义 作出简单的判断和推理 理解文段的基本逻辑结构 理解作者的观点、意图和 态度 识别不同的文体特征 理解文段的文化信息 考试内容和考核目标的描述，是否清晰、 详尽且具有可操作性？ 考试内容与考核目标层级分类 1 考试内容（语言形式对语境意义的体现） 11 语言形式（语音、文字、语法） 111 语音/文字 113 句法 112 词汇 114 衔接/连贯 115 修辞结构 1111 读音规则 1121 词类 1131 句子成分 1141 指代 1151 顺序 1112 拼写规则 1122 构词法 1132 语法规则 1142 替代 1152 层次 1123 短语结构 1133 句子结构 1143 省略 1153 递进 1144 连接 1154 对照 1145 限定 12 语境意义（属性、关联、过程） 121 隐含程度 122 概括程度 123 信息层次 1211 显性 1221 细节 1231 短语层 1233 句子层 1212 隐性 1122 要义 1232 分句层 1234 段落层 1235 语篇层 II 考核目标（语言知识运用及语言理解与表达的能力） 记忆准 确性 使用熟 练程度 211 语言知识运用能力 221 语言理解能力 222 语言表达能力 2111 语音/文字知识运用 2211 直接辨别 2221 直接记录 2112 词汇 知识运用 2212 间接辨别 2222 间接记录 2113 语法知识运用 2213 逻辑推理 2223 简单转换 2114 衔接/连贯知识运用 2214 归纳概括 2224 组合表达 2115 修辞结构知识运用 2225 连贯表达 正确率：正确/总计 速 度：词/分钟 质量：准 确性、丰 富性、连 贯性、适 切性 数量：词、 句、段、 衔接手段 归纳概括题示例 5. What is the man doing? A. Getting dressed. 〖考试内容〗语段大意 〖答案〗A B. Having an interview. 〖考核目标〗归纳概括 〖得分率〗49.04% C. Celebrating a birthday. 〖区分度〗0.56 M: I don’t know what to wear today, dear. W: Why do you care so much about your clothes today? 表 20 to第have 5 小题选项被选情况表 M: I’m going an important interview. W: Well, I’m sure you will do well, dear. 选项 人数 比率% M: Thanks. this suit? A Do you like 154893 49.04 W: Yes. You look very smart in that blue one. B 115273 36.50 M: How about the tie? Do you think this will match? C 45176 14.30 W: No, not really. Why don’t you wear your new one? # 515 0.16 ! M: Which one? W: The one the kids gave you for your birthday. M: That one. I will get it. 图 3 第 5 小题分组选项比率曲线图 间接辨别题示例 11. Which of the following does the woman like best about Weybridge? A. Its scenery. B. Its people. C. Its facilities. 〖考试内容〗显性细节 〖考核目标〗间接辨别 〖答案〗C 〖得分率〗61.95% 〖区分度〗0.52 “The greatest thing about Weybridge is the facilities” 表 21 第 11 小题选项被选情况表 选项 人数 比率% A 61656 19.52 B 58222 18.43 C 195680 61.95 # 299 0.09 ! 图 4 第 11 小题分组选项比率曲线图 简单推断题示例 12. What does the man do? A. A teacher. 〖考试内容〗隐性细节 〖答案〗B B. A host. C. A tour guide. 〖考核目标〗简单推断 〖得分率〗63.00% 〖区分度〗0.43 M: Welcome to our talk show, Barbra. Please, make yourself at home. First, could you please tell me something about where you live? W: Yes. I was born in France, but I grew up in Switzerland and I’ve recently moved to the UK. Now I live in Weybridge. 试分析为什么选项A的选择比率不到10％。 选项 人数 比率% W: It’s a large busy place with beautiful scenery. It’s near London. It has got lots of people and houses. It’s typical of London suburb. A 28597 9.05 M: Is there anything you like best about it? B 199002 63.00 C 87873 27.82 # 385 0.12 M: What sort of place is that? W: The greatest thing about Weybridge is its facilities. You’ve got everything you need, shops, buses and trains, cinemas, pubs and restaurants … entertainment. M: I see. Thank you. Now let’s move on to your job.