Transcript Rankings de cientificos

VI Jornadas MAVIR
Tecnologías de Acceso a la Información: Estado actual y retos
Universidad Rey Juan Carlos
Móstoles (Madrid), 15-16 de noviembre de 2011
Una nueva mirada
De los Rankings de Instituciones
a los de Científicos
Isidro F. Aguillo
The Cybermetrics Lab
CCHS-CSIC. Madrid
La descripción y evaluación de la actividad científica y sus resultados, de
sus ejecutores (individuos, instituciones, estructuras organizativas),
gestores (planificadores, financiadores) y otros actores involucrados en
su difusión y explotación (editores, empresarios, políticos, ciudadanos)
se ha convertido en una prioridad de las políticas de I+D+I
A pesar de las reticencias a asumir la cultura de la evaluación por parte de
numerosos sectores aún hoy en día
A pesar de las dificultades y los costes que supone describir correctamente los
distintos escenarios a diferentes niveles de agregación
A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a
interpretaciones erróneas o incorrectas que presentan la mayoría de las
técnicas empleadas
2
El Ranking de Shanghai (2003)
• Escenarios no globales (antes de 2003)
– Estudios sobre la Educación Superior, muy puntuales con
tamaños de muestra pequeños o poco representativos
– Poca atención a los métodos cuantitativos, exclusión de la
bibliometría
• Impacto inesperado del Ranking de Universidades de Shanghai
– Debido a su publicación en la Web
– Uso innovador de un indicador compuesto: Lectura simple,
interpretación compleja
– Foco en la excelencia (Premios Nobel, científicos muy citados)
– Cobertura amplia: Top 500 “World-class universities”
3
Rankings mundiales de universidades
• Tras el éxito de Shanghai, explota la oferta
– Basados en opiniones: QS, Times Higher Education
– Basados en métricas: Leiden, Scimago, HEEACT, Webometrics
• y arrecian las críticas
– Rechazo de la “sencillez”
– Sesgos, errores e intereses políticos y comerciales
• pero los rankings triunfan en las “Agendas”
– Elevada correlación de los diferentes rankings entre sí y con las
posiciones esperadas de muchas universidades
– Se imponen las estrategias y políticas basadas en resultados y
criterios de los rankings
4
Indicadores compuestos
• Del “crown indicator” bibliométrico
– Una opción avanzada de la tasa citas/publicaciones
– Varios modelos: peso por disciplina (Leiden), peso por revista
(Karolinska)
• Al indicador compuesto del ranking de Shanghai
– Suma ponderada de variables
• ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%)
• i número de indicadores combinados
– Utilizado por otros rankings con diferentes modelos
– Críticas por la elección arbitraria de variables y pesos
5
Modelos de pesos
RANKING
ARWU (Shanghai)
40%
TIMES HIGHER EDUC
QS
HEEACT (Taiwan)
WEB
6
IMPACTO
ACTIVIDAD
60%
35%
65%
30%
70%
20%
80%
50%
50%
Ranking Web
• Se edita desde 2004
– www.webometrics.info
– 20.000 instituciones de educación superior
– Dos ediciones al año (enero y julio)
– Basado en la presencia web y el análisis de enlaces
7
Brecha Digital Académica
8
Los rankings, aunque no exentos de críticas, han resultado ser muy
útiles a nivel institucional.
Problemas de viabilidad en la normalización de nombres de autores y
dificultades en el diseño de indicadores sintéticos han retrasado la
aparición de rankings de científicos a nivel global, pero la Web 2.0 está
abriendo una prometedora nueva vía en el logro de dicho objetivo
A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que
dificulta la generación de productos derivados de alto valor añadido
Y gracias a los nuevos proveedores gratuitos de bases de datos de citas:
Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones
ya ofrecen mayor cobertura y opciones más avanzadas
9
Grupo DIH (Difusión del índice h)
10
11
12
13
14
Propuestas de futuro
• Solo se puede evaluar la información pública
– A nivel individual, las páginas web personales de profesores e
investigadores ofrecen una excelente oportunidad
– Se pueden analizar cuantitativamente tanto los contenidos
(docentes, resultados y publicaciones científicas, actividades
informales) como su impacto
• Nuevos indicadores
– Indicadores web a través de presencia y posición en motores de
búsqueda, medida de impacto mediante análisis de enlaces y
menciones, especialmente a través de herramientas Web 2.0
– Indicadores de uso mediante análisis de visitas (Google Analytics)
15
16
Resumiendo
• No se puede ignorar los resultados ofrecidos por los Rankings
– Aunque no todos ellos son igualmente válidos o útiles
– Pero hay que diseñar estrategias lícitas que tengan en cuenta sus
características
• Los nuevos Rankings para individuos ya están aquí
– Ofrecen posibilidades de personalización que deben ser
conocidas y explotadas
– Pero hay que incrementar significativamente la presencia pública
de los investigadores, más allá de la mera trasposición del CV
científico a la Web
17
¡Gracias!
¿Preguntas?
18