Transcript Diapositiva 1

Vinculación de la evaluación institucional con la calidad:
las acciones de mejora
Laurentino Salvador
José Manuel Osoro
Universidad de Cantabria
CONTENIDO:
1. Sistemas de garantía de la calidad
2. Planes de evaluación institucional (PEI) y vinculación de la evaluación
con la mejora continua
3. La mejora como consecuencia de la evaluación institucional:
contratos programa y planes estratégicos
4. La acreditación ¿incompatible con la evaluación institucional y la
mejora continua?
5. A modo de resumen: desarrollo en el ámbito educativo español
(evaluación vs acreditación)
6. Enlaces a webs sobre calidad
SISTEMAS DE
GARANTÍA DE LA
CALIDAD
Algunas de las transparencias siguientes han sido extraídas de ANECA
¿Qué es un sistema de calidad?
CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE
RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS
Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO
LA GESTIÓN DE LA CALIDAD.
CONSISTE EN
LA DEFINICIÓN Y EJECUCIÓN DE UN MÉTODO DE
TRABAJO QUE ASEGURE QUE EL PRODUCTO O
SERVICIO CUMPLE CON UNAS ESPECIFICACIONES
PREVIAMENTE ESTABLECIDAS PARA SATISFACER LAS
NECESIDADES DEL CLIENTE.
MEJORA CONTINUA
Ciclo PDCA (rueda de Shewhart o de Deming)
Planificar, Desarrollar, Comprobar y Actuar
nivel de
calidad
Check: Compruebe los resultados de su acción
A
C
P
Do: Desarrolle lo que planificó
D
Plan: Planifique lo que va a realizar
Identifique los grupos de interés
Analice sus necesidades o expectativas
Defina características para satisfacerlas
Diseñe un proceso adecuado
Act: Actúe para modificar lo
que hace o para asegurar
los resultados con mayor
calidad
tiempo
¿Cómo se consigue la calidad?
Logrando la satisfacción de los clientes.
Con el apoyo incondicional de la dirección.
Con la participación y cooperación de todos.
Mejorando e innovando de forma continua.
Con la formación permanente.
¿Cómo implantar un sistema de calidad?
DARSE CUENTA (sensibilización “cultura de la calidad”).
DECISIÓN (ANTES FORMARSE E INFORMARSE).
COMPROMISO.
ELEGIR UN MODELO DE REFERENCIA:
¿ISO 9000:2000?.
¿BENCHMARKING DE UNA ORGANIZACIÓN SIMILAR
CONSIDERADA EXCELENTE?.
¿MODELO EUROPEO DE GESTIÓN DE LA CALIDAD TOTAL?.
EVALUACIÓN INSTITUCIONAL (PEI)
ACREDITACIÓN DE LAS TITULACIONES
INDICADORES DE DESEMPEÑO
ACTUACIÓN (SISTEMA; MÉTODO; OBJETIVOS; PLANIFICACIÓN;
ORGANIZACIÓN; CALENDARIO; PERSONAS Y MEDIOS).
CONTROL DEL PROCESO.
MEJORA CONTINUA. Contratos-programa y planes estratégicos
Modelos y entidades certificadoras
Modelo
ISO
EFQM
JOINT
COMMISSION
CARTAS DE
SERVICIOS
ONG
CALIDAD
Características
Norma para
asegurar la
calidad y
mejora
continua
Modelo de
empresa
excelente
Estándares
mínimos de
calidad de gestión
y resultados
Compromisos
explícitos y
personalizados
Norma para
asegurar la
calidad
respetando
principios ONG
Impulsado
por
Gobiernos
ENAC
AENOR
Grandes
empresas
europeas
Grandes
hospitales
americanos. En
España FAD
Administración
pública
ONGs
Entidades
acreditadas
por el Club
de Gestión
de Calidad
FAD que evalúa y
acredita centros
hospitalarios y
servicios sociales
No hay
certificación.
Asociación para
la Calidad de los
Servicios
Públicos
No tiene
sistema.
Incipiente
Aenor, TÜV,
SGS,
Bureau
Veritas…
FAD
Nadie
Fundación
Lealtad
Certificación Entidades
acreditadas
por ENAC
Entidades
Aenor, TÜV,
SGS, Bureau
Veritas…
Dos enfoques de la Calidad Total
MODELO ISO 9000
MODELO DE EXCELENCIA
ES UN SISTEMA PARA
VERIFICAR LA CALIDAD DEL
PRODUCTO O SERVICIO
ES UNA ESTRATEGIA O MODELO
DE GESTIÓN DE UNA
ORGANIZACIÓN
CUALQUIER PROCESO DE IMPLANTACIÓN DE UN SISTEMA DE
CALIDAD, QUE NO IMPLIQUE LOS PRINCIPIOS DE LA CALIDAD
TOTAL, CORRE EL RIESGO DE QUEDARSE EN MERO GASTO
Modelo Europeo de Gestión de la Calidad Total (EFQM)
Gestión del
Personal (90)
Liderazgo
(100)
Política y
Estrategia (80)
Resultados en
las personas (90)
Procesos
(140)
Alianzas y
Recursos (90)
Agentes facilitadores (500)
Resultados en
los cliente (200)
Resultados
Claves (150)
Resultados en
la sociedad (60)
Resultados (500)
Innovación y aprendizaje
Modelo Iberoamericano de Gestión de Calidad Total (FUNDIBEQ)
PLAN DE EVALUACIÓN
INSTITUCIONAL
UNIVERSITARIA (PEI)
Algunas de las transparencias siguientes han sido extraídas de ANECA
EVALUACIÓN INSTITUCIONAL DE LAS TITULACIONES
ANECA
1. Programa formativo: objetivos y plan de estudios
2. Organización
de la enseñanza:
• Dirección y planificación
6. Resultados:
• Gestión y organización
• del programa
• de los egresados
• en la sociedad
5. Proceso formativo:
PROPUESTAS
DE MEJORA
3. Recursos humanos:
• Atención al alumno y
formación integral
• Proceso enseñanza-aprendizaje
• Personal académico
• PAS
4. Recursos materiales:
Aulas, espacios de trabajo, laboratorios, biblioteca
Visión Global del Proceso
Fuentes de información
Miembros de la Comunidad
Universitaria
FASE
AUTOEVALUACIÓN
Documentación, Informes y
estudios
Comité de Autoevaluación
DIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓN
Programa
Formativo
Organización
de la
Enseñanza
Recursos
Humanos
Recursos
Materiales
Proceso
Formativo
Informe de Autoevaluación
FASE
EVALUACIÓN
EXTERNA
FASE
FINAL
VISITA A LA TITULACIÓN
DEL COMITÉ EXTERNO
Informe de Evaluación Externa
Comité de Autoevaluación
Áreas de Mejora
Plan de Mejoras
Resultados
Modelo de Evaluación de la ANECA
OBJETIVOS
PROGRAMA FORMATIVO
PLANIFICACIÓN
DEL P.F.
ORGANIZACIÓN DE LA ENSEÑANZA
Gestión de
Gestión de
Gestión de
recursoshorarios de
procesos
clase
COMUNICACIÓN
Y DIFUSIÓN
Gestión plan de estudios (contenido, coherencia,
flexibilidad, factibilidad, revisión y actualización)
Proceso de captación y
selección de alumnos
Perfil de ingreso:
conocimientos
y competencias
Proceso enseñanza -aprendizaje
ALUMNO DE
NUEVO
INGRESO
Metodología
enseñanza aprendizaje
Metodología
evaluación
Prácticas
externas
Movilidad
Perfil de egreso:
conocimientos y
competencias
EGRESADO
Formación integral
Programas
de acogida
Resultados
de I+D+I
PDI
PAS
Programas Programas
apoyo al
orientación
aprendizaje profesional
SOCIEDAD
Programas Actividades
de acción formación
tutorial
integral
Aulas
R
E
C
U
R
S
O
S
H
U
M
A
N
O
S
R
E
C
U
R
S
O
S
M
A
T
E
R
I
A
L
E
S
Bibliotecas
Espacios de trabajo alumnos
Espacios de trabajo RRHH
Infraestructuras destinadas
a prácticas externas
Laboratorios, talleres y
espacios experimentales
R
E
S
U
L
T
A
D
O
S
M
E
J
O
R
A
C
O
N
T
Í
N
U
A
Protocolo para la elaboración de los INFORMES
Descripción de la situación
1.1. Objetivos del programa formativo
El programa formativo tiene definidos sus objetivos entre los
que se encuentran los conocimientos y las capacidades que
los alumnos debe tener al concluir sus estudios.
Protocolo para la elaboración de los INFORMES
Valoración semicuantitativa
1. PROGRAMA FORMATIVO
A
1.1. Objetivos del programa formativo
El programa formativo tiene definidos sus objetivos entre los
que se encuentran los conocimientos y las capacidades que los
alumnos deben tener al concluir sus estudios.
B
C
D
EI
Protocolo para la elaboración de los INFORMES
Fortalezas, debilidades
y propuestas de mejora
1. PROGRAMA FORMATIVO
FORTALEZAS
DEBILIDADES
PROPUESTAS DE MEJORA
URGENCIA IMPORTANCIA
Elaboración del Plan de mejoras
PLAN DE MEJORAS N-(N+X)
Acciones de
mejora
1.1
1.2
(…)
2.1
2.2
(…)
Tareas
Responsable
de tarea
Tiempos
(inicio-final)
Recursos
necesarios
Financiación
Indicador
seguimiento
Responsable
seguimiento
MEJORA
EVALUACIÓN
COMPROMISO
EJECUCION
PLANES
DE
MEJORA
ACREDITACIÓN DE LAS
TITULACIONES UNIVERSITARIAS
Algunas de las transparencias siguientes han sido extraídas de ANECA
ACREDITACIÓN: CRITERIOS ANECA
8. Resultados
1. Objetivos
2. Admisión de
los estudiantes
7. Recursos y servicios
ACREDITACIÓN
6. Personal académico
3. Planificación de la
enseñanza
5. Orientación del
estudiante
4. Desarrollo de la enseñanza y
Evaluación de los aprendizajes
Criterios y momentos del proceso de ACREDITACIÓN
9.Garantía de calidad
Procesos
de soporte
Procesos
básicos
2.Admisión
de
estudiantes
1.Objetivos
5.Orientación al estudiante
3.Planificación
de la
enseñanza
4.Desarrollo de la
enseñanza y
evaluación de
aprendizajes
8.Resultados
6. Personal académico
Recursos
7. Recursos y servicios
Inicio
Desarrollo
Final
Proceso de ACREDITACIÓN
MEC
UNIVERSIDAD
ANECA
Envío notificación oficial
Desarrollo del proceso de
autoevaluación
Notificación del equipo de
evaluadores externos a la
Universidad
¿Incompatibilidades?
SI
NO
Envío del informe de
autoevaluación a la ANECA
SI
Organización de la visita
Recibimiento y atención al equipo
de evaluadores
Realización de la visita externa
Elaboración del Informe de
evaluación externa
Envío a la ANECA
Alegaciones
Elaboración del borrador del
informe de acreditación y envío a
la universidad
Elaboración del Informe de
acreditación
Envío a la Universidad, el CCU,
CCAA y MEC
Aprobación de la acreditación con validez
para 6 años
Elabora el Informe de
subsanación
Alegaciones
NO
Inicio del procedimiento de suspensión o
revocación
NO
El equipo de evaluadores externos
elabora el Informe de
comprobación
SI
¿Decisión
positiva?
¿Informe
positivo?
SI
Elaboración del Informe Final de
acreditación
Envío del Informe final de
acreditación a la Universidad, el
CCU, CCAA y MEC
NO
Comparación Evaluación Institucional y Acreditación
E. Institucional
Acreditación
Objetivos
Mejora continua
Homologación
Unidad de análisis
Titulación
¿Titulación o institución?
Metodología
Cuantitativa y cualitativa
Cuantitativa
Datos
Evidencias: datos,
Evidencias: indicadores
opiniones contrastadas… y documentos
Dimensiones
Criterios
Aspectos a evaluar
Proceso
Evaluación interna y
externa
Papel de los
Evaluadores
Resultados
“cómplices” de la mejora Auditores
Propuestas de mejora
contratos-programa
Plan estratégico
Agencias responsables Agencias autonómicas
Externa
Informe Acreditación
ANECA  MEC
http://www.aneca.es/actividades/docs/eventos/uimp06_rauret.pdf (UIMP 2006)
LA EVALUACIÓN EN LA
ENSEÑANZA NO UNIVERSITARIA
ENSEÑANZA NO UNIVERSITARIA
• Observatorio Ciudadano de la Educación y Red de Investigadores sobre la Educación Superior
(RISEU). Estadísticas, indicadores, bases de datos, encuestas y estudios de la
educación: http://www.observatorio.org/estadisticas/2005-1.html
• Certificaciones ISO, EFQM, FUNDIBEQ:
http://www.comipems.org.mx/autoevaluacion/ACEMMCT.php
• Indicadores:
 España:
http://www.institutodeevaluacion.mec.es/sistema_estatal_de_indicadores_de_la_educacion/indi
ce_de_indicadores/
 México:
http://www.comipems.org.mx/autoevaluacion/ACEBID.php
• OECD-PISA (Programme International Student Assessment):
http://www.pisa.oecd.org/pages/0,2966,en_32252351_32236359_1_1_1_1_1,00.html
Conviene tener en cuenta los objetivos de la educación en los distintos países, la
definición de los indicadores y el contexto de la comparación.
 2003 España: http://www.ince.mec.es/pub/pubintn.htm
 2003 México: http://www.oecd.org/dataoecd/33/61/36741673.pdf
 Algunas repercusiones: http://www.stecyl.es/prensa/041207_ag_informe_PISA_2003.htm
UTILIZACIÓN DE RESULTADOS:
La EVAIN ha tenido algunas consecuencias fundamentales:
• Cultura de la calidad y de la mejora continua (débil).
• Creación de un cuerpo técnico preparado en cada universidad que permitirá
la convergencia con Europa y la acreditación de las titulaciones
(irreversible).
• Actualmente se está produciendo un peso más fuerte de la acreditación y
certificación frente a la evaluación.
UNIVERSIDAD:
• General: líneas estratégicas con objetivos e indicadores. Contratoprograma externo en ciclos de varios años.
• Titulaciones: propuestas de mejora en formato contrato-programa internos
en base a los criterios ANECA.
• Servicios: modelos de evaluación ISO, EFQM y Cartas de Servicios con
establecimiento de contratos-programa internos. Sobre todo Bibliotecas.
CENTROS DE BACHILLERATO:
• Utilización de modelos ISO, EFQM… a la busca de la certificación. Similar a
las empresas.
• Anteriormente programas nacionales de mejora (por ej. Bibliotecas…) con
premios a las mejores.
• Indicadores: PISA, México, España. (OTROS NIVELES)
PROPUESTA DE CONTRATO-PROGRAMA PARA LA FINANCIACIÓN DE ACCIONES
DE MEJORA DE LA TITULACIÓN
D. ....................................................................., Cargo en la Institución, y
el
responsable
la titulación…………………………. D/Dª. .....................................................................
de
Exponen que, de acuerdo con el programa de ayudas a la mejora promovido por esta Institución, se
comprometen para realizar las acciones de mejora que se relacionan a continuación y que se detallan
en las fichas que para cada una de las mismas se incluyen como anexos a este documento.
Proyectos a realizar:
…………………………………..
Compromisos:
El responsable de la titulación se compromete a promover y gestionar las acciones arriba
mencionadas en los plazos indicados para cada una de ellas y a aportar los datos de los indicadores
para el seguimiento de este contrato-programa o, en su caso, la justificación del gasto realizado. Así
mismo, se compromete a realizar la presentación pública de los resultados a su finalización. La
Universidad se compromete a facilitar la gestión de este conjunto de acciones a través del
Vicerrectorado ??? y subvencionar, con cargo al epígrafe ??? Plan de Acciones de Mejora, dichas
acciones con la cantidad de ..................... , en la forma en que se especifican en las fichas adjuntas
(anexos 3). El importe de esta subvención será transferido a la unidad funcional de gasto
....................................
Esta subvención no excluye cualquier otra que pueda recibirse con cargo a otros programas de la
Universidad.
a ................ de ......................de …….
FICHA DE SEGUIMIENTO DE LAS PROPUESTAS DE MEJORA
1. UNIVERSIDAD:
Identificador de la propuesta:__
2. UNIDAD (TITULACIÓN):
3. NOMBRE ACCION:
4. CRITERIO ANECA:
5. PROBLEMA DETECTADO:
6. ACCIÓN PROPUESTA: OBJETIVOS
7. PLANIFICACIÓN DE LA PROPUESTA (Procedimiento a seguir)
8. PRIORIDAD / TEMPORALIZACIÓN
9. NIVEL DE REALIZACIÓN (%):
10. DESTINATARIOS:
11. RESPONSABLES DE LA ACCIÓN:
12. FINANCIACIÓN:
13. COMENTARIOS:
Enlaces Web sobre calidad (1)
ORGANIZACIÓN
ENLACE
ACESUC (Axencia para a Calidade do Sistema
Universitario de Galicia)
http://www.acsug.es/galego/webs/portada.php
Acreditación de centros escolares. Dirección
General de Evaluación de Políticas de la Secretaría
de Educación Pública. México
http://www.comipems.org.mx/autoevaluacion/
Agencia Andaluza de Acreditación (AGAE)
http://www.agae.es/
Agencia Canaria de Evaluación de la Calidad y
Acreditación Universitaria (ACECAU)
http://www.gobiernodecanarias.org/organizacion/diagramas/detalle/
acecau.htm
Agencia de Calidad y Prospectiva Universitaria de
Aragón
http://portal.aragob.es/servlet/page?_pageid=4118&_dad=portal30&
_schema=PORTAL30&_type=site&_fsiteid=490&_fid=1789361&_fn
avbarid=1794797&_fnavbarsiteid=490&_fedit=0&_fmode=2&_fdisp
laymode=1&_fcalledfrom=1&_fdisplayurl=
Agencia de Calidad, Acreditación y Prospectiva de
las Universidades de Madrid (ACAP)
http://www.madrid.org/cs/Satellite?idConsejeria=1109266187254&id
ListConsj=1109265444710&c=CM_Agrupador_FP&pagename=Com
unidadMadrid%2FEstructura&idOrganismo=1109266227448&pid=
1109265444699&language=es&cid=1109266187254
Agència de Qualitat Universitària de les Illes
Balears (AQUIB)
http://www.aquib.org/
Agencia Nacional de la Evaluación de la Calidad y
Acreditación (ANECA)
www.aneca.es
Agencia para la Calidad del Sistema Universitario,
Castilla y León (ACUCYL)
http://www.acsucyl.com/
Amercian Society for Quality
http://www.asq.org/
AQU (Agència per a la Qualitat del Sistema
Universitari de Catalunya)
http://www.aqucatalunya.org/scripts/web/index.asp?cid=Esp&res=11
0
Enlaces Web sobre calidad (2)
ORGANIZACIÓN
ENLACE
Asociación Española de la Calidad
www.aec.es
Asociación Española de Normalización (AENOR)
www.aenor.es
Benchmarking
http://www.americanquality.com/directory/Benchmarking/
Bureau Veritas
www.bureauveritas.com
Club de Gestión de la Calidad.
http://www.clubcalidad.es/
Comisión Valenciana de Acreditación y Evaluación
de la Calidad Universitaria (CVAEC)
http://www.gva.es/industria/universidad/cvaec.htm
Consejo de Coordinación Universitaria
http://www.mec.es/consejou/calidad/index.html
Entidad Nacional de Acreditación (ENAC)
www.enac.es
European Foundation for Quality Management
(EFQM).
www.efqm.org
European Organization for Quality
http://www.eoq.org/
European Organization for Quality (EOQ)
www.eoq.org
European Society for Quality in Health Care
http://www.esqh.net/
Fundació Avedis Donabedian
http://www.fadq.org/default_principal.asp?cidioma=2
Fundación Europea para la Calidad Social (EFSQ)
http://www.socialquality.nl/
Fundación Iberoamericana para la Gestión de la
Calidad
http://www.fundibeq.org/
Fundación Lealtad
http://www.fundacionlealtad.org/web/jsp/index.jsp
Instituto de Evaluación. MEC. España
http://www.institutodeevaluacion.mec.es/sistema_estatal_de_indicad
ores_de_la_educacion/indice_de_indicadores/
Instituto Nacional de Evaluación y Calidad del
Sistema Educativo
http://www.ince.mec.es/
Enlaces Web sobre calidad (y 3)
ORGANIZACIÓN
ENLACE
International Standarization Organization (ISO)
www.iso.ch
Observatorio de Calidad para los Servicios
Públicos
http://www.ocsp.arrakis.es
ONG con calidad
http://www.ongconcalidad.org/enlaces.htm
Proyecto de la ONU
www.unglobalcompact.org
Proyecto de Responsabilidad Social
www.accountability.org
Proyecto Norma de Calidad
www.ongconcalidad.org
Proyecto Sphere
www.sphereproject.org
q-bo.org es una herramienta informática para
implantar,mantener y mejorar un sistema de
Gestión de Calidad basado en la Norma ISO
9001/2000
http://www.q-bo.org/quienessomos/index.html
RIACES
(Red
Iberoamericana
para
la
Acreditación de la Calidad de la Educación
Superior)
http://www.riaces.net/home.aspx
SGS
http://www.es.sgs.com/
SLC (Sociedad Latinoamericana para la Calidad)
www.calidad.org
SLC (Sociedad Latinoamericana para la Calidad)
www.calidad.org
The European Network for Quality Assurance in
Higher Education (ENQA)
http://www.enqa.net/
The Joint Commission
http://www.jointcommission.org/
TÜV Rheinland
www.tuv.es
UCUA (Unidad para la Calidad de las
Universidades Andaluzas)
http://www.ucua.es/ucua/index.html
UEALC (Unión Europea América Latina y Caribe)
http://www.aneca.es/present/uealc.html