Transcript 《高等职业院校人才培养工作评估方案（草案）》 解析

高等职业院校人才培养工作状态
数据采集平台数据分析策略
万力维
2010年4月
琼海

一、数据平台设计的意图

二、开展平台数据分析的意义

三、平台数据分析的前期准备

四、平台数据的几种分析模式

五、数据平台的延伸开发
一、数据平台设计的意图
（一）增强评估的科学性：
以科学的理论作为评估方案设计
的基础。
1.工商管理领域的绩效评价理论：
一、数据平台设计的意图

指标逻辑：果——因——效 。
主要业绩指标
（KPI）
关键成功因素
（KSF）
主要成效区
（KRA）
由“果”切入——主要根据状态数据采集平
台提供的真实、即时、足够、数据化的信
息判断KPI。
探究成“因”——通过数据分析和“深度访
谈”，典型剖析，查找原因，分析KSF。
做出“成效”判断——通过将信息连点成线、
连线成网、由网及里、由里定性，作出KAR
判断。
一、数据平台设计的意图
（一）增强评估的科学性：
以科学的理论作为评估方案设计的基础。
2.Bohn’s的知识成长阶段理论：

知识的成长经历从内隐到完全外显的8个
阶段：
内隐
2
3
4
5
6
7
外显

通过对平台处于原始状态的数据进行智能化组合加
工提升后，形成关于院校人才培养工作的新信息，
探索院校人才培养工作之间的“果—因—效”联系
和规律性。
交流共享平台
智能化加工层
数据库
一、数据平台设计的意图
（二）增强评估的长效性。
加强日常监控，对高职院校的评估改“一次性评
估”为“实时的状态数据监控+5年一轮的现场考
察”的模式进行。
让监控无时不在、无处不在，迫使院校有序运
作，主动调控，自觉建立起发展性的质量保障体
系，从而在机制上保证评估的常规化、长效性。
一、数据平台设计的意图

（三）体现办学类型的职业性。
不同于高校基本数据报表，依据《教育部关于全面提高高
等职业教育教学质量的若干意见》（教高【2006】16号文）
对高等职业教育人才培养工作的基本要求和基本标准为依据
设计评估指标体系，突出高职人才培养的质量与类型差别，
如对领导作用、师资队伍、专业建设、课程建设、实践教学、
教学管理、社会评价七大主要指标的考察都贯串校企合作、
工学结合这一主线和核心主题。
二、开展平台数据分析的意义



1.信息不整理，一团糟。
零件不安装，乱成堆。
2.从讲成绩向讲问题转变，找到问题去解决
才可能发展，少谈些主义，多研究些问题
3.有过程、有活动、有记载、有分析。
——陈解放研究员
二、开展平台数据分析的意义
（一）对学校：
全面、准确的认识自己，找准办学定位。
增强学校管理决策的科学性和有效性。
为制订和实施战略规划提供数据支撑
接受资格评审的数据说明
进行绩效考评与问责的依据
二、开展平台数据分析的意义
（二）对评估
加强学校与评估专家之间的沟通
使专家的评估更为科学、高效。
（三）对政府、社会
使政府对学校人才培养工作的监测更加全面、准确，
学校与社会之间的沟通更加全面、直接。
二、开展平台数据分析的意义
（四）对研究
为高等教育研究揭示规律和意义提供大量翔实、
真实的个案分析资料，有助于高等教育理论
与实践的结合。
二、平台数据分析的前期准备
（一）准确界定数据条目，完整、有效采集数据。
1.合理定义与解读数据条目：
如考核方式、合作开发课程、业内就业率、横向课题、双师型，如顶岗实
习半年是自然年？学年？A类课程、B类课程、C类课程?）
定义要前后一致，是数据分类和筛选的基础
2.确定数据来源部门和来源人：
数据平台联络员制，部门数据发言人、“官方来源”，统一数据报告口径。
3. 完整、及时、高质量采集数据
二、平台数据分析的前期准备
（二）做好关键绩效指标（KPI）和关键影响因素
(KSF)设计
——内部期待值、坐标值，关键指标、数据指标
以“课程建设”主要业绩指标（KPI）、关键影响因素（KSF）
评估设计为例：
1.设计思路：依次按以下四步设计方案：

第一步：确定政策、理念、事实依据，作为设计的指导思想。

一是以《教育部关于全面提高高等职业教育教学质量的若干
意见》（教高【2006】16号文）对高等职业教育课程建设的
要求为根本依据，绩效指标的设计要反映办学宗旨。

二是以《高等职业院校人才培养工作评估方案》（教高
【2008】5号文）中“课程建设”评估指标中的“说明”为
基本衡量标准。

三是以“高等职业院校人才培养工作状态数据采集平台”为
对象，既从平台中找KPI，也尽可能在平台中寻找KSF, 以相
关数据事实作为KSF论证KPI，尽量使对KSF的分析建立在数
据平台的基础上，力求达到尽可能让事实说话。

第二步：通过先寻找、再列举、后筛选，初步确定
KPI。
浏览高等职业院校人才培养工作状态数据采集平台，按照上
述四大依据，根据个人经验，采用排除法或筛选法，分别逐一
判断能体现“课程内容”、“教学方法与手段”、“主讲教
师”、“教学资料”业绩的可能数量指标。如反映“课程内容”
的可能的业绩指标有各级精品课程门数、校企合作开发课程门
数、实践环节课时数、有实践考核的课程门数、毕业生职业资
格证书获取率等。
然后进一步按照表现力（最能体现高职“课程内容”设计的
职业性、开放性、实践性等类型特征的指标）、关系密切程度
（如直接反映“课程内容”改革或间接反映“课程内容”改革
的业绩指标），初步确定KPI。

第三步：按照分类别、定层次、明因果的步骤，列出可能
的KSF。
如初步确定反映“课程内容”的KPI为“校企合作开发课程门数占
课程总门数的比例、必修课中实践课时占比的平均比值、毕业生职业
资格证书获取率”后，
或者按照“理念、组织、机制、队伍”的分类，或者按照“学校、
教师、专业、课程”的分类，或者按照“内部因素、外部因素”的分
类，或者按照“起点、过程、结果”的分类，通过发散思维列举各类
别可能的KSF因素，根据经验排除各类因素中一些非影响因素和弱影
响因素。
以课程建设评估设计方案为例.doc

第三步：按照分类别、定层次、明因果的步骤，列出可能
的KSF。
然后，确定各类因素从哪个层面影响KPI，将过于宏观的因素具
体化，将太具体的因素再合并、提炼成更概括些的因素。
最后，从因素之间的相互作用关系，包括“课程建设”内部要
素的相互作用关系，分析因素之间因果循环、一果多因、多因多果等
可能的交错关联，分析出直接影响因素背后的间接影响因素、显性影
响因素背后的隐性影响因素，一般将直接影响因素和显性影响因素作
为KSF，背后的影响因素作为专家进一步追根溯源探索的路向，但先
不列为KSF。
以课程建设评估设计方案为例.doc

第四步：按照KPI以数量标识，KSF为中性语陈述
句描述的模式，统一表达形式。

对KPI：一种情况是平台上有反映KPI的直接数据或汇总数据的，就直
接用平台数据及其字段规范名称；另一种情况是平台上没有直接数据
或汇总数据，则用运算出的数值表示，并列出该数值的运算方法。

对KSF：按照中性语的陈述句表达。如不用“加强”、“具有”、
“健全”、“忽视”等带有好、差倾向性的用词，使KSF作为校校可
能不同的“因变量”的形象出现。句式结构第一种是用“名词+动词”
式，一方面暗指导致KPI的KSF是主体的行动因素，另一方面对后续针
对KSF提出对策，指导行动改善有指导意义。第二种是用“限定词+名
词”式，使KSF的类别、层面更明确。第三种是“限定词+名词+动词”
的混合式，既避免笼统、泛化，以便准确确定KSF，又为进一步提出
行动对策打下基础。
以课程建设评估设计方案为例.doc
二、设计主要业绩指标（KPI）和主要影响
因素（KSF）

“社会评价”设计思路

“社会评价”设计方案
以“社会评价”评估设计方案为例.doc
※学校层面KPI的一种设计
1.经费收入来源结构
2.经费支出结构
6.产学合作成果
3.生师比
7.新生报到率
4.任课教师结构
8.毕业生业内就业率
5．实践教学结构
4.任课教师结构
任课教
师类别
专任教师
兼职教师
校内兼课
教师
校外兼课
教师
合计
任
课
时
数
比
教
师
当
量
数
教
师
人
数
年龄结构
双师
素质
比例
≤
35
3645
4660
专业技术职务结构
高级
人
数
中级
初级
比
比
人 比例 人
例
例
数 （%） 数
（%）
（%）
5．实践教学结构
实践教学课 校内实训
时数占总课 室生均使
校外实习 实践考核课
基地生均 程门数占课
时数比
使用天数 程总门数比
用时数
6.产学合作成果
合作开发
课程门数
占课程总
门数的比
例
合作开
发教材
数占教
材种数
的比例
接受顶
岗实习
生占实
习生总
数比
技术服
师均横
务项目
向课题
数占专
到位经
业总数
费数
比
主要评估指标分析关键绩效指标（KPI）
主要评估
主要表现指标（KPI）
指标
1.领导作
用
2.师资队
伍
1.目标达成度=目前
状态值-预定目标
值
2.学校经费投入结
构
1.专任教师学历、
职称、双师素质结
构
2．兼职教师资历、
技术等级结构
关键影响因素（KSF）
1.外部因素：政府支持力度、
当地经济社会发展
2.内部因素：领导班子领导能
力
主要评估指标分析关键绩效指标（KPI）
3.课
程建
设
1. 校企合作开发课
程比例数=校企合
作开发课程门数/
课程总门数（见
7.2）
2.必修课程中实践
课时比例（%）的
平均值=各门必修
课程实践课时比例
（%）之和/必修课
程总门数（见7.2
）
1.职业教育的课程理念
2.专业培养目标定位和课
程教学目标定位
3.教学团队的课程开发能
力
4.教学管理人员的教学改
革指导能力
5.教学改革研究和课程建
设的经费、机制、条件保
障
主要评估指标分析关键绩效指标（KPI）
3.课
程建
设
3. B类课
程操作能力考
1.课程内容的改革
2.一体化教室、实训室
试比例=有实
践操作能力考
等教学场所和现代教
育技术设备等条件建
核内容或方式
的B类课程门
数/B类课程总
门数
设
3.教师教学质量评价机
制
主要评估指标分析关键绩效指标（KPI）
1.专任教师队伍的数量
3.
课程
建设
4..基础性课程任课教师结
构（专业、学历、职称）
5.实践性课程任课教师结
构（专任双师型，兼职教
师技术职称）
与专业结构
2.兼职教师队伍的数量
、职业技术资格或等
级、任该专职的平均
年限
3.专业设置的行业依托
及其行业特点
主要评估指标分析关键绩效指标（KPI）
1.学校的类型特征、专业设置特色、人才培养质
7.社
会
评
价
第一志
愿上
线率
报到率
量、办学条件、毕业生就业率、办学声誉、学生
管理模式、宣传策略、奖助学金额度
2.学生的职业理想、地理位置偏好、求学动机
3.生源地的基础教育水平和经济发展状况、服务
面向区域的产业结构和经济发展状况
1.学校专业设置、培养目标定位、职业人才培养
业内就
业率
能力
2.毕业生的职业能力、职业道德、身心素质
3.服务面向区域的产业结构和经济发展状况
主要评估指标分析关键绩效指标（KPI）
1.学校技术服务
（含培训、鉴定、
7.
社
会
评
价
1.教师队伍的职业技术水
平和声誉
咨询、转让等）的
2.教师队伍的应用研究和
项目数及其人次、
开发研究能力
年度总收入
3.学校提高教师队伍开展
2．学校横向研究课
技术服务和横向课题研
题年度到位总经费
数
究的能力与积极性的机
制和保障条件
二、平台数据分析的前期准备
（三）收集、明确数据分析的基准：
尊重标准
1.法定基准：
2.自定基准：
3. 同类基准：
4.全国、全省基准：
二、平台数据分析的前期准备
（四）形成以数据为中心、尊重数据的氛围。
四、平台数据的几种分析模式
2.比较分析
3.结构分析
6.因素分析
1.达标分析
4.差异
分析
5.离散程度
分析
（一）达标分析

法定标准达成分析：相关指标达到法定标
准或准法定标准的情况分析。
如实验实训室生均面积，职业资格证书获取率
生师比、达到学校规划目标的标准等
（二）比较分析

相对基准达成分析：相关指标达到某个比
较标准的情况分析。
——要尽可能的进行纵向和横向的比较分析
——纵向和横向的比较，不仅可在省与省之间进行、院校
之间进行，还可以在专业、课程等层面进行。
（二）比较分析
——横向比较

与先进相比， 副高以上职称占校内专兼职教师比例数，占
在校生比例数，折合兼职教师数与专任教师数的比例。
（如示范院校）

与平均数（如全国、全省平均数）相比，副高以上职称占校
内专兼职教师比例数，占在校生比例数。

与同类院校（专业）相比，超过的指标，较低的指标，如法
律文秘专业的业内就业率

不同专业报到率、业内就业率比较分析，如法律专业

不同专业聘请兼职教师人数比较分析
（二）比较分析
——纵向比较

与自身相比（如5年前），校企合作开发课程
门数占必修课门数的比例，增加10%，或者减
少10%，就业率提高或降低5%等。
（三）结构分析

结构分布情况分析：

结构变化情况分析：

结构符合度分析：
（四）离散程度分析

专业规模离散程度分析

教师承担课时量与课程门数离散程度分
析
2008年上海高职概况
①学校平均专业数：20个
②专业的离散程度：最多32，最少3个，集中
在20～28区间。
③专业平均规模数：185人
④学校平均规模数：3622人
（五）差异与奇异程度分析

获奖学金人数比例与受处分学生人数比
例差异分析

各专业录取与报到率差异分析
（六）因素分析（因果关联度分析）

自变量（预测变量）、因变量（结果变量）
的关系，自变量对因变量的影响程度
——多元回归分析
如学生对入学教育的满意程度（学业水平与认知技能、同
教师的联系、参加课外活动、教学服务、时间安排与学习
进度、使用教材、对学校的满意度等，其中如何安排时间
和学习进度、健康知识、对学校的满意度影响程度更高）
（六）因素分析（因果关联度分析）

学生背景对转专业的影响因素分析：成绩、
性别、学校规模、家庭、就业市场变化、同
学交流等背景因素（I）、环境因素（E）
先描述统计（各专业变更频率统计）
再推断统计（回归分析，列回归方程）
（六）因素分析（因果关联度分析）

就业率评估
可控自变量（课程、实训、指导等）、非可控
自变量（学生家庭社会经济地位、当地经济
发展等）
所有数据分析

每一条数据都有意涵

对合理的标准是什么要心中有数，有的是精确标
准，有的是大致标准。

关注数据的前后呼应（如生师比，教师人均课时
量）

对偏离常态（奇高或奇低）数据要敏感。
所有数据分析

挖掘数据背后的因果关联

——要尽可能的进行纵向和横向的比较，
从发展趋势分析影响因素与影响强度，从
在同类中的位置，发现造成其优、劣的根
本原因。
数据分析报告大体格式

总：数据综述（回答评估准入条件）

分：主要评估指标数据分析，或院校KPI
指标分析，或专业、课程、教师、学生等
层面数据分析等（业绩、问题、归因）

总：存在问题归纳及改进计划
五、数据平台的延伸开发

（一）延伸开发项目数据库及其KPI、KSF
1.主要向四个层面延伸：专业、课程、教师、学生
(全员质量保障，将质量落实到每个人，每门课程、
每个专业，各自负起质量保障责任)。
2.也可以按照部门延伸开发：如后勤工作、信息化
建设等，将质量保障落实到每个部门、每个岗位。
五、数据平台的延伸开发
（一）延伸开发项目数据库及其KPI、KSF
——关键要素
——质量标准
——质量目标
——质量计划
——质量监控
——信息采集（写实！）

五、数据平台的延伸开发

（二）开发“管理仪表盘（DASHBOARD）”
——探索KPI、KSF，确立“果—因—效”体系
——实现实时数据汇总和纵横向比较，获取
“奇异点”信息
五、数据平台的延伸开发

在校内开发延伸平台

把评估模式变成管理模式

把专家诊断变成自我诊断

把每五年评估变成日常监测
——自我约束、自我发展的良性循环。
欢 迎 批 评 指 正
谢
谢
！