Transcript la evaluación ex-post en acsucyl

VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE
LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR
Santander, 31 de mayo de 2011
LA EVALUACIÓN EX-POST
DE LOS PROYECTOS DE INVESTIGACIÓN
Carlos Guerra Rodríguez,
Sonia Martín Cerro,
Elena Tejedor Viñuela
[email protected]
[email protected]
http://www.acsucyl.es
GUÍA DE LA PRESENTACIÓN
 Presentación de ACSUCyL
 Política de calidad de ACSUCyL
 Evaluación de la investigación en ACSUCyL
 Órganos de evaluación de ACSUCyL
 ¿Por qué la evaluación EX-POST de los PI?
 Evaluación EX-POST: criterios y procedimientos
 Descripción e indicadores de la evaluación EXPOST 2007
 Resultados de la evaluación EXPOST 2007
 Discriminación de los criterios utilizados
 Correlación de los criterios a partir de los resultados
 Grado de discrepancia entre los evaluadores externos
 ¿Qué piensan los IP de la evaluación EXPOST de sus
proyectos?
 Conclusiones
ACSUCyL
 Órgano de evaluación externa del sistema
universitario de Castilla y León.
 Agencia creada en 2001, en la actualidad es
ente público de derecho privado de la
Administración de Castilla y León.
Las actividades de evaluación, acreditación y certificación
que desarrolla la Agencia persiguen la realización de los
siguientes fines de interés general:
Potenciar la mejora de la actividad docente, investigadora y
de gestión de las Universidades y de los centros de
investigación y de educación superior, favoreciendo la
mejora de la competitividad y el desarrollo económico de
Castilla y León…
Artículo 35.
Ley 3/2003 de Universidades de Castilla y León
POLÍTICA DE CALIDAD DE ACSUCyL
 Respetar y hacer cumplir los principios establecidos en
el Código Ético que determinan la conducta de las
personas que trabajan o que actúan en nombre de
ACSUCYL
 Garantizar la autonomía e independencia de los
órganos de evaluación en el ejercicio de sus
funciones.
 Garantizar la transparencia en todas las actividades
desarrolladas.
 Establecer mecanismos de responsabilidad para la
propia rendición de cuentas con fines de mejora.
ACTUACIONES DE ACSUCyL
EN EL ÁMBITO DE LA
EVALUACIÓN DE LA INVESTIGACIÓN
 Institutos Universitarios de Investigación (creación o
adscripción, y evaluaciones periódicas cada cinco años).
 Grupos de Investigación de Excelencia (GIE).
 Proyectos de Investigación.
 Evaluación Ex – Post de los proyectos de investigación.
 Ayudas para la contratación de Personal Investigador de
Reciente Titulación.
 Evaluación de los resultados de investigación de los
investigadores.
 Evaluación
Científicas.
de
Congresos,
Simposios
y
Reuniones
ÓRGANOS DE EVALUACIÓN DE ACSUCyL
 Comisión de Evaluación de la Investigación (CEI)
 Coordinadores de Área
 Paneles Científicos
La Dirección de la Agencia nombra a los Paneles Científicos,
a los Coordinadores y a la CEI, entre especialistas externos
al Sistema Universitario de Castilla y León.
COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN (CEI)
Es la Comisión de ACSUCYL competente en los procesos
relacionados con la evaluación de la calidad de las actividades
de investigación
 Nombramiento: la Dirección de la Agencia
 Número de miembros: diez
 Perfil: preferentemente, académicos y profesionales de reconocido
prestigio, con una significativa trayectoria docente e investigadora, y
experiencia en gestión y en procesos de evaluación de la calidad en
el ámbito universitario. (Tres sexenios)
 Composición: en su designación, se procura el equilibrio entre los
diferentes ámbitos de conocimiento.
 Procedencia: externa al Sistema Universitario de Castilla y León.
 Periodo de nombramiento: un plazo máximo de 4 años.
MIEMBROS DE LA CEI
Valcárcel Cases, Miguel (presidente)
Química Analítica
Universidad de Córdoba
Badiola Diez, Juan José
Sanidad Animal
Universidad de Zaragoza
Brillas Coso, Enric
Química Física
Universidad de Barcelona
José Vilches Troya
Histología
Universidad de Cádiz
Chacón Fuertes, Pedro
Filosofía
Universidad Complutense Madrid
Echenique Elizondo, Mª Teresa
Lengua Española
Universidad de Valencia
Feliu Batlle, Vicente
Ingeniería de Sistemas y Automática
Universidad Castilla la Mancha
Franch Benavent, Ricardo
Historia Moderna
Universidad de Valencia
Moreno Rodríguez, María del Carmen
Psicología
Universidad de Sevilla
Ruiz-Huerta Carbonell, Jesús
Economía Aplicada
Universidad Rey Juan Carlos
¿POR QUÉ LA EVALUACIÓN EX-POST
DE LOS PROYECTOS DE INVESTIGACIÓN?
 Práctica consustancial a la actividad investigadora de
calidad.
 La Junta de Castilla y León en las convocatorias de ayudas
destinadas a financiar Programas de Apoyo a Proyectos de
Investigación, establece que se evaluarán los resultados de
las actividades de investigación mediante una memoria final.
 En la convocatoria de estas ayudas, publicada en 2009,
establece también que para valorar uno de los criterios de
selección de los proyectos y para determinar las
subvenciones, se tenga en cuenta la “consecución de
objetivos,
relevancia
científica
o
impacto
socioeconómico” de los proyectos previamente financiados.
 La Consejería de Educación de la Junta de Castilla y León ha
solicitado la colaboración ACSUCYL para la valoración de los
aspectos relativos a la “consecución de objetivos y la
relevancia científica” de los proyectos.
LA EVALUACIÓN EX-POST EN ACSUCYL
 La CEI ha elaborado un “Manual de procedimiento de
evaluación EX-POST de proyectos de investigación”.
 La CEI define los criterios y protocolos de evaluación
que se aplicarán para la evaluación de los proyectos
financiados en cada convocatoria.
En ellos se especifican los distintos elementos y aspectos
que tendrán que tomar en consideración los órganos de
evaluación para la emisión de sus informes.
 ACSUCYL publica en su página web estos protocolos de
evaluación.
 ACSUCYL remite sus informes a la Junta de Castilla y
León, quien a su vez se los remite a los IP de los
proyectos.
INDICADORES
PROCESO DE EVALUACIÓN EX-POST DE
PROYECTOS DE INVESTIGACIÓN 2007
Número de proyectos: 212.
Duración del proceso de evaluación: 105.
Número de evaluadores: 403.
Número de coordinadores: 25.
% Mujeres (evaluadores/coordinadores): 24%
% Máximo de concentración (eval./coord): 13%
Desviación típica > 1 entre el informe de la CEI y los
informes externos : 12%
Nº de recursos presentados: <5%
Evaluación EXPOST: Proyectos de Investigación
financiados (a iniciar en 2007)
Tipo (Nº)
A
B
33
1
TOTAL
Nº
%
34
16,0
28
10
38
17,9
CC. Experimentales
31
5
36
17,0
Ingeniería/ Tecno/Arq.
31
4
35
16,5
Biosanitario
63
6
69
32,5
TOTAL
186
26
212
100
Institución
Humanidades
CC. Sociales
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN
(a iniciar en 2007)
(Memorias evaluadas por campos de conocimiento)
Humanidades
Biosanitario
16%
33%
CC. Sociales
18%
CC.
Ingeniería/
Tecno/Arq. Experimentales
17%
16%
Evaluación EXPOST: Proyectos de Investigación financiados
(a iniciar en 2007)
Universidad de Burgos
Tipo (Nº)
A
B
16
5
TOTAL
Nº
%
21
9,9
Universidad de León
29
4
33
15,6
Universidad de Salamanca
76
6
82
38,7
Universidad de Valladolid
52
5
57
26,9
C.S.I.C. y Hospitales
9
1
10
4,7
Universidades Privadas
4
5
9
186
26
212
4,2
100
Institución
TOTAL
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN
(a iniciar en 2007)
(Memorias evaluadas por entidades gestoras)
Univ. Privadas
4% Univ. de Burgos
10%
Univ. de León
15%
Univ. Valladolid
27%
CSIC/Hospitales
5%
Univ. Salamanca
39%
RESULTADO DE LA EVALUACIÓN EX-POST 2007
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN
(a iniciar en 2007)
Resultados por tipo de proyecto
%
100
90
80
70
60
50
40
30
20
10
0
Tipo A (Séniors)
48,9
34,6
30,8
8,1
Deficiente
Tipo B (Noveles)
12,9
15,4
19,2
16,7
13,4
0,0
Cuestionable
Aceptable
Bueno
Muy bueno
RESULTADO DE LA EVALUACIÓN EX-POST 2007
EVALUACIÓN EXPOST PROYECTOS INVESTIGACIÓN 2007
Resultados por campos científicos
100
90
80
70
Deficiente
60
%
Cuestionable
50
Aceptable
40
Bueno
30
Muy bueno
20
10
0
Humanidades
CC. Sociales
CC.
Experimentales
Ingeniería
Biosanitario
DISCRIMINACIÓN DE LOS CRITERIOS
UTILIZADOS EN LA EVALUACIÓN EX-POST 2007
Puntuación
máxima del
criterio
% Proyectos con
puntuación ≥ 80% del
valor máximo del
criterio
% Proyectos con
puntuación < 50% del
valor máximo del
criterio
20
42,5
17,5
b.1. Consecución de los objetivos previstos
20 o 30
44,3
16,5
b.2. Eficiencia y eficacia del gasto
10 o 0
78,5
6,5
c.1. Significación de los resultados alcanzado
20
36,8
22,6
c.2. Calidad e impacto científico-tecnológico
20
28,3
37,7
c.3. Capacidad formativa y consolidación
10
29,3
38,2
CRITERIOS
a.1. Cumplimiento del plan de trabajo
CORRELACIÓN DE LOS CRITERIOS UTILIZADOS, A PARTIR DE
LOS RESULTADOS OBTENIDOS EN LA EVALUACIÓN EX-POST 2007
CRITERIOS
% Proyectos con puntuación
Correlación de los
≥ 80% del valor máximo del
criterios con los
criterio que han obtenido una
resultados
valoración global ≥80%
50
0,82
b.1. Consecución de los objetivos previstos
84,4
0,84
b.2. Eficiencia y eficacia del gasto
33,6
a.1. Cumplimiento del plan de trabajo
c.1. Significación de los resultados alcanzado
59
0,88
c.2. Calidad e impacto científico-tecnológico
65
0,77
c.3. Capacidad formativa y consolidación
38,7
GRADO DE DISCREPANCIA ENTRE LOS
EVALUADORES EXTERNOS
Diferencia GLOBALpor campos científicos entre los evaluadores del
panel científico de la EVALUACIÓN EXPOST
de los Proyectos de Investigación iniciados en 2007
Diferencia estandarizada sobre 10 puntos
9
8
7
6
5
4
3
2
1
0
Humanidades CC. Sociales CC. Experim. Ingeniería Biosanitario GLOBAL
¿QUE PIENSAN LOS INVESTIGADORES
PRINCIPALES DE LA EVALUACIÓN
EXPOST DE SUS PROYECTOS?
(sobre una muestra de 54 IP)
EL IP CONSIDERA CORRECTA LA VALORACIÓN RECIBIDA
EN EL INFORME EXPOST 2007 DE ACSUCYL
NO
30%
SÍ
70%
VALORACIÓN DEL IP DE LOS CRITERIOS DE EVALUACIÓN
APLICADOS POR ACSUCYL EN LA EXPOST 2007
%
100
90
80
70
60
50
40
30
20
10
0
73
19
8
0
Nada adecuados Poco adecuados
Adecuados
Muy adecuados
VALORACIÓN DEL IP DE LA CALIDAD DE LOS ARGUMENTOS
UTILIZADOS PARA JUSTIFICAR LAS VALORACIONES EN LOS
INFORMES EXPOST 2007 DE ACSUCYL
%
100
90
80
70
60
50
40
30
20
10
0
70
18
10
2
Muy mala
Mala
Buena
Muy buena
VALORACIÓN DEL IP DE LOS COMENTARIOS (PUNTOS
FUERTES / SUGERENCIAS DE MEJORA) CONTENIDOS EN LOS
INFORMES EXPOST 2007 DE ACSUCYL
%
100
90
80
70
60
50
40
30
20
10
0
62
20
18
0
Nada útil
Poco útil
Útil
Muy útil
¿CONSIDERA EL IP APROPIADOS LOS TÉRMINOS EN LOS QUE
HA SIDO REDACTADO EL INFORME EXPOST 2007?
88
%
100
90
80
70
60
50
40
30
20
10
0
12
No
Si
CONCLUSIONES
 No hay suficiente cultura entre los IP de esforzarse
en la realización de las memorias finales de los
proyectos.
 Los criterios de la evaluación EXPOST deben ser
conocidos por los IP.
 Es necesario utilizar referentes claros en las
evaluaciones que eviten que el grado de discrepancia
entre los evaluadores sea elevado.
 Incrementar el impacto de la evaluación EXPOST en
las nuevas convocatorias.
VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE
LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR
Santander, 31 de mayo de 2011
LA EVALUACIÓN EX-POST
DE LOS PROYECTOS DE INVESTIGACIÓN
Carlos Guerra Rodríguez,
Sonia Martín Cerro,
Elena Tejedor Viñuela
[email protected]
[email protected]
http://www.acsucyl.es