Transcript 院校研究
院校研究范畴的 学生学习状态调查和分析 IR：Student Survey & Analysis 中山大学高等教育研究所 屈 琼 斐 2011年5月29日 目录 一、西方大学院校研究体系中的学生学习调查与分析 二、目前欧美国家大型学生学习调查系统介绍 三、大学内部质量保障体系有效的工具 四、大学决策支持部门（院校研究办公室）的职责： 学生学习状态调查、结果分析、支持教学改革和管理决策 五、我国大学学生学习状态调查：关注什么？ 一、 学生学习调查和欧美大学高等教育研究 西 广义的高等教育研究 方 大学学术系统 大学管理系统 大 应用人才培养 应用研究 学 院 狭义的高等教育研究 院校研究（IR） 校 研 究 体 机构：教育研究生院 系 Education Graduate School …… 评估 中 的 学科：专业领域 学 Professional 生 学生学习 …… 学 学位：专业学位Ed.D, Ed.M 习 （非科学学位Ph.D） 机构：院校研究办公室（IRO） 调 职责：学校的决策支持服务 查 与 分 美国：应用研究取向 vs 中国：基础研究主导兼顾应用 析 一、 院校研究（Institutional Research ） 西 方 大 学 院 校 研 究 体 系 中 的 学 生 学 习 调 查 与 分 析 Institution：院校（大学和学院 Universities & Colleges） Institutional Research：院校研究，IR，对大学自身的研究 院校研究的发展： 1638年哈佛学院开学时只有不到10名学生 1870年美国高校教师平均人数为10人，校均学生数分别为98人 1895年美国最大的10所高校的学生平均人数为2000人 2009年加州大学系统学生数： UC Berkeley 35,409 UCLA 39,650 ——学校需要专业人员帮助“摸清家底、辅助决策”， 这批专业技术人士（professionals）叫：院校研究员（IRers） 这项工作叫：院校研究（IR） 一、 院校研究办公室 IRO, Institutional Research Office 西 方 美国大学院校研究办公室举例： 直接以评估命名的院校研究办公室 大 纽约大学院校研究与项目评价办公室 学 院 校 研 北卡大学教堂山分校院校研究与评估办公室 究 体 系 中 马里兰大学院校研究、规划与评估办公室 的 学 生 学 从业人员 习 受过统计学、计算机科学等学科训练的高等教育博士(Ed.D) ＋IT人员 调 工作属性：大学管理系统中的专业技术人员 查 与 分 析 一、 评估——欧美大学的质量保障体系 西 方 大 宏观层面：认证（外部评估） 学 院 校 中观层面：学术评估 研 究 体 系 微观层面：学生评估 中 的 学 学生问卷调查 生 学 习 调 入校调查 离校调查 查 与 知识输出调查 学习过程调查 分 析 一、 产生于二十世纪六十年代，美国。背景： 西 方 美国二战之后高等教育快速扩张进入黄金发展时期，最突出的问题是 师生比大幅度缩小。这使得传统的通过师生交流了解学生信息、帮助 大 学生成长的教育管理模式受到挑战，甚至遭遇挫折。 学 美国大学从20世纪中后期开始，开始重视学生心理素质的提高和认知 院 能力的发展。 校 增值理念的学生学习成果评估 研 垃圾进、垃圾出 / 垃圾进、宝贝出？ 增值评价法是通过对学生在整个大学就读期间或某个阶段的学习过程、 究 学习结果的分析，来描述学生在学习上进步或发展的“增量”，可看作 体 是教学质量提升的结果，也是教学质量评估关注的重点（Terry Taylor, 系 1985; Charles McClain, 1986）。 中 学生学习成果评估是指运用有效可行的技术手段，持续收集大学生学习 成效的数据，借此对高等教育机构和课程的有效性进行价值判断，从而 的 解释大学或学院及其提供的教育是否达到了最初的设定的使命或目标， 学 并知道改进此后的课程教学等教育实践。 生 1979年CSEQ 印第安纳大学研发了“大学生就读经历问卷调查”（College Student 学 Experiences Questionnaire），调查包括学生参与活动情况、阅读和写作能 习 力、对大学经历的满意程度、大学环境、知识和技能的获得程度等。已 调 经经过4次修订。 查 教育技术（IT技术）的发展为学生调查提供了前所未有的技术支持。 与 分 析 一、 美国大学学生学习状况调查的理念 西 方 “以学生为本”的教育理念 大 通过大样本的问卷调查，了解学生变化、关注学生成长、反映学生 心声，并在学校管理和政策制定中予以反映，体现对学生权利和需 学 求的尊重。 院 校 大学如何影响学生发展 研 “大学对学生的影响在很大程度上是由学生个体的努力程度以及参与 究 程度所决定的。 体 大学里所有政策、管理、资源配置等都应该鼓励学生更好地参与到 系 各项活动中来。”（E. Pascarella & P. Terenzini，2005） 中 学生学习成果是大学评估的主体 的 大学在多大程度上促进了学生发展？ 学 大学教育对学生的发展产生了哪些积极的影响？ 生 我们评价高等教育的根本和评价一所大学高等教育质量高低所要考 学 虑的首要问题。 习 这种评价方法把对“物”的评价和外在条件的评价转移到对人及在 调 大学里的发展的评价上来。 查 拓展学校管理信息来源 与 分 析 目录 一、西方大学院校研究体系中的学生学习调查与分析 二、目前欧美国家大型学生学习调查系统介绍 三、大学内部质量保障体系有效的工具 四、大学决策支持部门（院校研究办公室）的职责： 学生学习状态调查、结果分析、支持教学改革和管理决策 五、我国学生学习状态调查：关注什么？ 二、 CSEQ：美国大学生就读经验问卷系统 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 起源：UCLA的C.Robert.Pace教授在20世纪50年代所开发的“学院特征索 引”(College Characteristics Index)和“学院与大学环境量表”两个工具。 组织单位： 主持人：C. Robert Pace and George D. Kuh（1994年转入CPRP） 使命： 加利福尼亚大学洛杉机分校(University of California Los Angeles) 印第安纳大学高等教育研究和规划中心 CPRP 旨在了解大学生在大学校园里的各种活动情况和大学生对校园环境的 评估以及大学生对其大学收获的自我评估，评估学生在各种校园活动 中的参与度，测量学生的学习收获及其与校园环境的影响作用，为学 校提供更丰富的数据，进而以此为依据对大学教育实践的有效性做出 初步的评估，从而为改进大学教育实践提出政策性的建议。 成就： 美国至少有400多所大学的学生接受了该问卷调查。 仅采用1998年第4版大学生就读经验问卷的学校就有200多所，填写该 问卷调查的学生人数超过了10万人。 以此为基础出版的学术论文、著作和博士论文有250多篇。 二、 NSSE：全美学生学习投入调查 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 概况： 1998年开始孕育并得到了皮尤公益信托基金的支持 美国印第安纳州教育系统于2000年初最先研发 基本涵盖了美国上百所四年制专科及大学学生对Program和活动组织 的参与情况 至今超过1300家美国及加拿大学院和学校进入NSSE调查体系 NSSE 评估流程 双方签订协议书、校方选择调查方式、校方向NSSE 提供相关信息和 资料、随机抽样调查、敦促未答复者、对数据进行统计和分析、将 结果通报学校 二、 UCUES：美国加州大学本科生学习经历调查项目 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 组织者： 加州大学校长办公室，各分校学生事务部门协调组织。 UCUES作为研究型大学学生经历研究计划（SERU）中重要部分 。 研发者： John Aubrey Douglass加大伯克利高等教育研究中心高级研究员 Richard Flacks加大圣特芭芭拉分校社会学教授 参与者：多为美国一流的公立研究型大学 加州大学系统所有分校 密执根、Rutgers 等研究型大学 二、 评价：美国几个主要学生学习调查工具 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 NSSE——想要进行全国性比较，想要确认得到的资料能够服 务于你对于性能指标的要求，NSSE是一个好选择。 CSEQ——想要对于学生学习经历挖掘更深，CSEQ则更好， 它更长，且包括了关于NSSE问卷中学生行为的更多细节。 UCUES/SERU——“在高等教育领域，对于收集学生学习成果 的有关评估数据和自我报告等问责信息来说，与大学生学习评 估（the Collegiate Learning Assessment）和全国学生学习投入 调查（NSSE）相比，UCUES /SERU是更好的方法” （ Gregg Thomson 等） 二、 其他学生学习状态调查工具 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 澳大利亚“课程经历问卷”CEQ （Course Experience Questionnaire ） 向澳大利亚大学课程结束大约4个月后的毕业生发放 各大学和澳大利亚毕业就业中心（GCA）负责调查工作 澳大利亚教育研究委员会负责分析和完成年度报告 由GCA出版 二、 其他学生学习状态调查工具 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 全英学生普查NSS National Student Survey 2005年开始实施 向最后一年就读学位 的大学生发放问卷 英格兰、威尔士和北 爱尔兰大学必须参与 苏格兰大学自愿参与 二、 其他学生学习状态调查工具 目 前 欧 美 国 家 大 型 学 生 学 习 调 查 系 统 介 绍 美国社区学院学生投入调查 CCSSE（Community College Survey of Student Engagement） 要获得全美国日益增长的社区 学院系统整体学生清晰容貌， 再也没有比美国社区学院学生 投入调查（CCSSE）更好的资 源了！ ——Jacques Steinberg 《选择》，纽约时报 2001年作为The University of Texas at Austin的社区大学领 导项目的一个计划建立 …… 目录 一、西方大学院校研究体系中的学生学习调查与分析 二、目前欧美国家大型学生学习调查系统介绍 三、大学内部质量保障体系的有效工具 四、大学决策支持部门（院校研究办公室）的职责： 学生学习状态调查、结果分析、支持教学改革和管理决策 五、我国学生学习状态调查：关注什么？ 三、 国际评估趋势： 间接评估：厨具（办学条件）＋厨师（教师） 大 直接评估：品尝饭菜（学生） 学 内 检视国内大学评鉴项目与 部 标准，发现国内的大学评鉴， 质 偏重资源、教师素质、课程、 量 设备、教学策略与研究成果产 保 出等方面的评鉴，有关学生学 障 习成果以及学生实际行为表现 办学条件 体 的评鉴却很少……大学评鉴， 系 若要发挥其确保学生素质之功 的 能，必須评鉴学生的能力、行 有 为与表现，也就是要评鉴学校 效 的施教成果，否则我们的评鉴 工 工作，会如只评鉴厨师的资质 具 （教师），以及做菜的材料与 用具（学校课程及设备），而 未能实际品尝做出來的菜饭一 样。（台湾，彭森明2008） 大学学生 大学教师 三、 大学质量保障体系中的 学生学习过程调查 大 学 内 部 质 量 保 障 体 系 的 有 效 工 具 三、 大学质量保障体系中的 学生学习过程调查 大 学 内 部 宏观层面：校外评估、认证 质 量 要求大学提交由四个中介机构对该大学的学生学习情况的分析报告 保 作为必备资料 （含上述UCUES、CSEQ、NSSE等） 障 体 WASC核心任务和标准 系 界定院校办学目标、确保教育目的； 的 有 通过核心职能达到教育目的； 效 提高和应用资源、组织结构以确保可持续发展； 工 创建致力于学习和改进的组织。 具 ※中国：2003～2008本科教学工作水平评估 三、 大学质量保障体系中的 学生学习过程调查 大 学 内 部 中观层面：学术评估/ 学科评估 质 量 保 障 体 系 的 有 效 工 具 加州大学伯克利 分校68个学术单 位的8年一轮评 估工作安排表 （2005～2013学 年） （截图） 三、 大学质量保障体系中的 学生学习过程调查 大 学 内 部 微观层面：学生评估 质 量 学生评估 保 学生产出、调查研究、校友调查、考试成绩、基本技能、就业情 障 体 况、学习成果等针对学生个体的评估。 系 另：微观层面的评估体系 的 有 微观的学术项目评价、核心课程评价、学生评教等针对学术的评 效 估 工 教师评估：教师资格条件、教师调查、学校氛围调查等针对教师 具 的评估 其他：针对财政、设备、资助的调查研究等评估环节 目录 一、西方大学院校研究体系中的学生学习调查与分析 二、目前欧美国家大型学生学习调查系统介绍 三、大学内部质量保障体系的有效工具 四、大学决策支持部门（院校研究办公室）的职责： 学生学习状态调查、结果分析、支持教学改革和管理决策 五、我国学生学习状态调查：关注什么？ 四、 大 学 决 策 支 持 部 门 的 职 责 学生学习状态 调查问卷 院校研究部门： 大学决策支持部门 评估工具 在线调查 调查信息 《加州大学2009年问责报告》 （The 2009 UC Accountability Report） 第三部分主要采用UCUES2008年的调 查数据来向公众展示其在人才培养方面 的表现。 学校信息系统 （数据仓库） 综合分析 决策支持 研究报告 决 策 层 其 他 职 能 部 门 目录 一、西方大学院校研究体系中的学生学习调查与分析 二、目前欧美国家大型学生学习调查系统介绍 三、大学内部质量保障体系的有效工具 四、大学决策支持部门（院校研究办公室）的职责： 学生学习状态调查、结果分析、支持教学改革和管理决策 五、我国学生学习状态调查：关注什么？ 五、 当前，我们应关注什么？ 我 国 学 生 学 习 状 态 调 查 ： 关 注 什 么 ？ 问卷是评估的一种有效工具 作为校内质量保障的评估是推动教学的重要环节 学生学习状态调查：大学内部质量保障的实践应用功能 测量目的 与学校人才培养目标和理念结合 问卷设计目的 我国大学人才培养从学生知识获得到全人培养观念的转变 不同类型大学人才培养目标的差异性选择（多样化基准） 科学性 问卷设计过程中的信度效度检验 问卷发放抽样框（无压力状态下、科学抽样） 计算机和网络技术支持下的大型数据采集和分析技术 学生学习状态调查成为学校发展决策服务的长效机制 学生管理、战略规划、学校声誉…… 五、 站在学校角度，我们的认识和工作 我 国 学 生 学 习 状 态 调 查 ： 关 注 什 么 ？ 中山大学高等教育研究所 大学管理系统中的高等教育应用研究：院校研究 学生学习状态调查是内部质量保障的重要工具 研发和选用适合本校发展定位和人才培养目标的调查工具 知识获得：我国大学传统的教学目标和知识获得能力培养的新认识 创新能力：我国高层次人才培养的追求 社会能力：我国大学人才培养的责任 坚持院校研究范畴的科学性、适用性 严谨的问卷设计过程（社会学系教授主持设计） 针对我国人才培养现状和改革发展趋势 大学院校智能系统（II）建设的一部分 结果：分析“怎么样”？研究“为什么”？ 以院校研究的过程推动学校管理效率 研究型大学学生培养关注点 大学信息管理的主要信息来源之一：调研信息 期望以学生学习状态调查结果帮助学校教学、学生管理事务针对性提升 谢 谢 ！ 期望会议之后继续与您交流！ Look forward to exchanging idea with you! THANK YOU! 屈琼斐 中山大学高等教育研究所副所长 Email: [email protected] 电话：020-84115666