La evaluación de la calidad en bibliotecas: una apuesta por el servicio público.

Transcript La evaluación de la calidad en bibliotecas: una apuesta por el servicio público.

La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores.

Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre de 2009

    I. Introducción. Los indicadores de calidad II. Etapas de la evaluación: Autoevaluación y Evaluación Externa. La Acreditación. Principales metodologías de evaluación de la calidad en bibliotecas Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad

Introducción

¿Por qué de la evaluación bibliotecaria? Principales conceptos Principales metodologías de evaluación de la calidad aplicadas a bibliotecas.

Calidad. Interrogantes

    ¿Por qué evaluamos la calidad?

¿Para qué evaluamos? ¿Para qué la medimos? ¿Es la evaluación de la calidad un fin en sí mismo?

¿Es la evaluación de la calidad un fin en sí mismo?

    SÍ. Dos objetivos: Evaluar el método de evaluación: comprobar que la metodología utilizada es adecuada.

Evaluar las herramientas de medición o rendimiento: los indicadores.

Es una moda. Hay que “estar a la moda”

¿Es la evaluación de la calidad un fin en sí mismo?

      NO. Los objetivos de la evaluación son: el conocimiento en profundidad de nuestro servicio y de todos sus procesos y actividades la implicación de los usuarios y de todo el personal en el proceso de evaluación y en el propio servicio la mejora continua del servicio el logro de altas cotas de calidad la plena satisfacción del usuario, etc.

Evaluación para garantizar

   derecho a una educación pública de calidad derecho al acceso al conocimiento y a la cultura derecho a recibir y acceder a la información

Manifiesto UNESCO/IFLA sobre la Biblioteca Pública

“fuerza viva para la educación, la

cultura y la información y agente esencial para el fomento de la paz y del bienestar espiritual a través del pensamiento de hombres y mujeres”

Declaración Universal de los Derechos del Hombre

         Derecho a la enseñanza Derecho a la educación Derecho a la libertad de palabra Derecho a la libertad de pensamiento Derecho de investigar Derecho a recibir informaciones y opiniones Derecho a difundirlas Respeto a los derechos humanos y a las libertades fundamentales Mantenimiento de la paz

Calidad bibliotecaria (1/9)

  Aunque comenzó siendo un principio aplicado a la producción industrial, pronto se empleó en otros sectores, hasta llegar a la administración pública y a los servicios que ésta presta a la sociedad.

A mediados de los años sesenta aparecen las primeras manifestaciones de evaluación de calidad en bibliotecas.

Calidad bibliotecaria (2/9)

 García Reche señala que la biblioteca ha sido receptiva, pudiéndola calificar incluso de muy dinámica, ya que pronto se percibe una preocupación por incorporar ese principio que le llevará hacia una nueva orientación de su gestión, e incluso a ampliar su visión como servicio público.

Calidad bibliotecaria (3/9)

 En el ámbito de la biblioteca universitaria se ha dejado sentir de manera especial, sobre todo en Estados Unidos, donde se dan los primeros pasos de evaluación de estas bibliotecas

Calidad bibliotecaria (4/9)

 La biblioteca del siglo XX adopta, en la década de los 60, el concepto de calidad del servicio, en el marco de la organización de la administración pública.

Calidad bibliotecaria (5/9)

 Hasta tiempos muy recientes, la calidad bibliotecaria era entendida fundamentalmente como calidad de los procesos técnicos y, en alguna medida, de los servicios.

Calidad bibliotecaria (6/9)

 Posteriormente, esta concepción ha ido evolucionando hacia la calidad en la satisfacción del usuario, que es la filosofía predominante desde finales del siglo XX y comienzos de éste.

Calidad bibliotecaria (7/9)

    Trabajar con calidad en la biblioteca significa: averiguar y entender las necesidades y expectativas de nuestros usuarios disponer de mecanismos e instrumentos desarrollados de evaluación actuar según los resultados interrelacionar correctamente con los ciudadanos.

Calidad bibliotecaria (8/9)

   Significa, en definitiva, disponer de : una organización unos procesos un sistema correctamente estructurados…

Calidad bibliotecaria (8/9)

enfocados - a la satisfacción del usuario …

Calidad bibliotecaria (9/9)

- a la modernización de los procesos internos a partir de sus sugerencias, reclamaciones, nuevas necesidades y expectativas, opiniones...etc.

Calidad según ISO 11620

Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o

implícitas.

(ISO 11620:1998: Information and documentation: library performance indicators. Genève: Internacional Standard Organization, cop. 1998)

Calidad según EFQM (1/3)

EFQM aplica el concepto de calidad a la educación superior, definiéndola como: El grado en el que un conjunto de

rasgos diferenciadores inherentes a la educación superior cumplen con una necesidad o expectativa establecida.

Calidad según EFQM (2/3)

Es la propiedad de una institución o programa que cumple los estándares previamente establecidos por una agencia de acreditación.

Calidad según EFQM (3/3)

Para medirse adecuadamente suele implicar la evaluación de la docencia, el aprendizaje, la gestión y los resultados

obtenidos.

(Modelo EFQM de excelencia. Versión 2003.

Adaptación a la Administración Pública

http://www.efqm.org/downloads/documents/081 2-FuCo-sp.pdf

(Consulta: 03/02/08)

Calidad según UNE

Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o implícitas.

(Información y documentación. Indicadores de rendimiento bibliotecario (primera parte).

ISO 11620. UNE 50-137. En: Revista española de Documentación Científica, vol. 22, 2, (1999), p. 223)

¿Para qué evaluamos? (1/9)

 Volvemos al principio. ¿Para qué evaluamos la calidad de un servicio bibliotecario?

Fundamentalmente, para lograr la

satisfacción del usuario

mediante el logro de mejoras en el desempeño de servicios como:

¿Para qué evaluamos? (2/9)

    Atención al público Información bibliográfica Orientación en la biblioteca (señalización, etc.) Formación de usuarios, cursos de alfabetización informacional (ALFIN)

¿Para qué evaluamos? (3/9)

     Condición de las instalaciones: iluminación, ventilación, climatización, equipos, espacios, etc.

Lectura en sala Préstamo domiciliario Acceso on line, página web, opac, etc.

Biblioteca digital y su accesibilidad

¿Para qué evaluamos? (4/9)

  En el caso de las bibliotecas públicas, además de los anteriores objetivos, también se persiguen aspectos como: Acercamiento de la biblioteca a amplios colectivos de usuarios Grado de integración de la biblioteca en su comunidad (pueblo, barrio, colectividad, etc.)

¿Para qué evaluamos? (5/9)

  Capacidad de la biblioteca de satisfacer necesidades de todo tipo de usuarios: tercera edad, niños, jóvenes, desempleados, inmigrantes, mujeres, discapacitados, etc.

Acogimiento de diversidades culturales, lingüísticas, etc.

Para qué evaluamos? (6/9)

 Apoyo bibliotecario a las políticas sociales y de mejora de las condiciones de vida: igualdad, bienestar social, superación de las discriminaciones, superación de la pobreza, justicia social, etc.

¿Para qué evaluamos? (7/9)

   Las bibliotecas universitarias, por su parte, prestan más atención en sus planes de calidad a cuestiones determinantes como: Grado de integración de la biblioteca con la docencia universitaria Grado de integración con la

investigación

Nivel de compromiso de la biblioteca con la institución universitaria

¿Para qué evaluamos? (8/9)

(5/5)

  Como ayuda en la toma de

decisiones

Como herramienta de gestión

Los Indicadores de Calidad, de Desempeño o de Rendimiento

Medición de la calidad



“todas aquellas actividades operacionales que vamos a utilizar para recibir información de nuestro servicio, tanto cuantitativa (datos estadísiticos, indicadores de inputs, operacionales, etc.), como cualitativa (indicadores de resultados, de satisfacción de usuarios, de eficacia, etc.)…

Medición de la calidad



… Información que nos va a permitir conocer la aptitud o capacidades de nuestra biblioteca, bien para satisfacer las necesidades de nuestros usuarios, o bien para establecer las medidas oportunas o propuestas de mejora para alcanzar la plena satisfacción de esas necesidades”.

Indicador según ISO 11620

“Valor numérico o expresión simbólica o verbal proveniente de los datos usados para caracterizar el rendimiento de una biblioteca. Se denomina también indicador de

calidad, de rendimiento o de

desempeño”.

Rendimiento bibliotecario según ISO 11620  “Eficacia en la provisión de servicios”  “Habilidad para la distribución y uso de los recursos en la entrega de los servicios”

Clasificación de los indicadores según su tipología

McClure: indicadores como herramientas de gestión     indicadores de inputs: de recursos esenciales para proveer un servicio indicadores de procesos o actividades: cómo es utilizado un recurso indicadores de outputs: de los servicios resultantes del uso de esos recursos indicadores de resultados o de impacto: efecto de esas salidas sobre otras variables o factores

Stubbs (1/3)

“Los indicadores no son en sí mismos una garantía de calidad” “El hecho de aplicarlos no nos asegura que se estén haciendo bien las cosas” …

Stubbs (2/3)

 “Los indicadores no son un fin es sí mismo: son herramientas complementarias de gestión que permiten desarrollar un proceso de evaluación...

Stubbs (3/3)

… deben estar vinculados con el sistema de gestión, teniendo en cuenta sus metas y objetivos”

Pujol

  Indicadores operacionales Relacionan recursos / servicios o trabajo realizado Ej. Libros catalogados / persona Indicadores de eficacia Relacionan servicios o trabajo / utilización Ej. Consultas Referencia / total consultas

Pujol

  Indicadores de coste/eficacia Relacionan costes / utilización Ej. Coste / préstamo Indicadores de impacto Relacionan utilización / uso potencial Ej. Documentos utilizados / población asistida

Aplicación de los indicadores a la toma de decisiones según su tipología

Objetivos según ISO 11620 (1/4)

  Funcionar como instrumentos para valorar la calidad y eficacia de los servicios entregados por una biblioteca y otras actividades que tienen relación con una biblioteca Valorar la eficacia de los recursos

Objetivos según ISO 11620 (2/4)

  Facilitar el control en los procesos de administración Servir como base para la referencia y para el diálogo entre los funcionarios de la biblioteca, las entidades financieras y la comunidad de usuarios.

Objetivos según ISO 11620 (3/4)

 Objetivo secundario: Servir en el análisis comparativo del rendimiento de las bibliotecas y los servicios de información con misiones y objetivos equivalentes.

Objetivos según ISO 11620 (4/4)

   Los indicadores de rendimiento deberán situarse junto a la planificación y a la evaluación.

Los procedimientos de medición y evaluación deberán efectuarse regularmente.

Los resultados deberán publicarse con el fin de informar del proceso de toma de decisiones y demostrar cómo la biblioteca está cumpliendo su misión.

Diferencias entre estadísticas e indicadores (1/4)

 La introducción de procesos de evaluación de la calidad ha traído consigo la incorporación de los indicadores como instrumento de medición, diferentes a las estadísticas.

Diferencias entre estadísticas e indicadores (2/4)

 La cuantificación por sí sola mediante estadísticas sólo mide el desarrollo de actividades, servicios, procesos, etc., pero no brinda información sobre la calidad y el desempeño.

Diferencias entre estadísticas e indicadores. IFLA (3/4)

  Las estadísticas no aportan datos sobre quiénes no usan la biblioteca, ni por la parte de la colección que no se utiliza o por los volúmenes perdidos en las estanterías Las estadísticas se recogen en las áreas donde es fácil tener datos exactos. El desempeño se interesa por datos adicionales que son más difíciles de obtener.

Diferencias entre estadísticas e indicadores. IFLA (4/4)

   La medición del desempeño compara datos y los combina entre sí. La medición del desempeño añade datos subjetivos a los objetivos especialmente en la opinión de los usuarios. La medición del desempeño compara los datos con las metas de la biblioteca.

Ejemplos (Sutter) (1/4)

  Dato estadístico: Número de llamadas telefónicas recibidas Indicador de calidad: Número de llamadas telefónicas recibidas y no contestadas

Ejemplos (Sutter) (2/4)

  Dato estadístico: Número de referencias bibliográficas nuevas incorporadas a la base de datos Indicador de calidad: Número de referencias bibliográficas nuevas incorporadas a la base de datos que han sido objeto de correcciones

Ejemplos (Sutter) (3/4)

  Dato estadístico: Número de búsquedas bibliográficas efectuadas mensualmente Indicador de calidad: Número de búsquedas documentales realizadas en el mes, con un retraso superior a diez días entre la solicitud y la entrega de resultados

Ejemplos (Sutter) (4/4)

  Dato estadístico: Número de ejemplares de revistas puestas en circulación Indicador de calidad: Número de revistas mensuales que han llegado al lector final al cabo de las dos semanas de la recepción del ejemplar

Indicadores ISO 11620 Marco descriptivo (1/4)   Nombre. Cada indicador deberá tener un nombre único y descriptivo.

Objetivo. Cada indicador debe tener un objetivo explícito, indicado en términos de servicio (s), actividad (s) o uso (s) de recursos a evaluar.

Indicadores ISO 11620 Marco descriptivo (2/4)  Enfoque. Indica los tipos de bibliotecas a los cuales el indicador puede aplicarse.

   Indicadores específicos para bibliotecas universitarias Inciden en indicadores sobre los usuarios Incluyen tanto indicadores para mediciones generales como mediciones para actividades específicas.

Indicadores IFLA. Ejemplos (2/8)

 

1 Satisfacción del usuario

- Satisfacción del usuario con los servicios ofrecidos para uso remoto

2 Servicios públicos

- Penetración de mercado - Horas de apertura en relación a la demanda

Indicadores IFLA. Ejemplos (3/8)



3. Uso general

- Listas bibliográficas de expertos - Uso de la colección - Uso de la colección por materias - Documentos no utilizados - Rapidez en el suministro de documentos

Indicadores IFLA. Ejemplos (4/8)



4 Suministro de documentos

- Rapidez en el préstamo interbibliotecario - Tasa de éxito en búsqueda de ejemplar conocido - Tasa de éxito en búsqueda por materias - Tasa de respuestas correctas - Disponibilidad - Usos remotos 'per capita' - Duración del proceso de adquisiciones - Duración del proceso técnico

Indicadores IFLA. Ejemplos (5/8)



5 Préstamo

- Préstamos en relación con la colección - Préstamos 'per capita' - Documentos en préstamo 'per capita' - Coste por préstamo - Préstamos por empleado

Indicadores IFLA. Ejemplos (6/8)

 

6. Préstamo Interbibliotecario

- Rapidez en el préstamo interbibliotecario

7. Búsqueda de información (catálogo) por el usuario

- Tasa de éxito en búsqueda de ejemplar conocido - Tasa de éxito en búsqueda por materias

Indicadores IFLA. Ejemplos (7/8)

  

8. Servicio de referencia o de información

- Tasa de respuestas correctas

9. Equipamientos e instalaciones

- Disponibilidad

10. Uso remoto

- Usos remotos 'per capita'

Indicadores IFLA. Ejemplos (8/8)

  

11. Servicios técnicos 11.1. Adquisición

- Duración del proceso de adquisiciones

11.2. Proceso técnico

- Duración del proceso técnico

Indicadores REBIUN. Ejemplos (1/10)

La Red de Bibliotecas Universitarias Españolas (REBIUN) publica anualmente un Informe estadístico de las bibliotecas universitarias y científicas españolas.

Los datos que incluye se refieren a colecciones, usuarios, servicios, recursos humanos, presupuestos y relaciones (ratios) entre estos datos:

Indicadores REBIUN. Ejemplos (2/10)    • Metros cuadrados construidos por usuario: “Superficie (en metros cuadrados)” dividido por “Total de usuarios potenciales”.

• Estudiantes por puesto de lectura: “Estudiantes (de los tres ciclos)” dividido por “Puestos de lectura”.

• Estudiantes por ordenador: “Estudiantes (de los tres ciclos)” dividido por “PC y terminales de uso público”

Indicadores REBIUN. Ejemplos (3/10)   • Porcentaje de ordenadores

sobre el total de puestos de

lectura: Divide el nº de “PCs y terminales de uso público” por el total de puestos de lectura • Incremento de monografías por usuario: “Monografías ingresadas en 2006 (total)” dividido por “Total de usuarios potenciales”

Indicadores REBIUN. Ejemplos (4/10)     • Revistas vivas en papel por investigador: “Publicaciones periódicas en curso de recepción (total)” dividido por “Profesores (todos)” más “Estudiantes de 3er ciclo”. En adelante, se utilizará para este colectivo el término “Investigadores”.

• Revistas (incluyendo electrónicas y no vivas) por investigador: “Publicaciones periódicas en curso de recepción, colecciones muertas y publicaciones periódicas electrónicas” dividido por “Investigadores”.

• Monografías electrónicas por usuario: “Total de títulos de monografías electrónicas” dividido por “Total de usuarios potenciales”.

• Revistas electrónicas por investigador: Total de títulos de Publicaciones periódicas electrónicas” dividido por “Investigadores”.

Indicadores REBIUN. Ejemplos (5/10)    • Visitas por usuario: “Entradas a las bibliotecas” dividido por “Total de usuarios potenciales”.

• Préstamos por usuario: “Préstamos domiciliarios” dividido por “Total de usuarios potenciales”.

• Visitas a la Web por usuario: “Visitas a la Web de la biblioteca” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

Indicadores REBIUN. Ejemplos (6/10)   • Consultas al catálogo por usuario: “Consultas al catálogo” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

• Consultas a bases de datos por investigador: “Consultas a bases de datos” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

Indicadores REBIUN. Ejemplos (7/10)    • Artículos electrónicos por investigador: “Número de artículos descargados ” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución..

• Préstamo Interbibliotecario.Total de solicitudes recibidas: Nº total de solicitudes recibidas como biblioteca suministradora • Préstamo Interbibliotecario.Total de documentos solicitados: Nº total de documentos solicitados como biblioteca peticionaria.

Indicadores REBIUN. Ejemplos (8/10)    • Usuarios por personal de biblioteca: “Total de usuarios potenciales” dividido por “Personal (de las tres categorías)”.

• Técnicos en relación al total: “Personal (A, B, LG1 y LG2)” dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

• Becarios en relación al total: “Personal (Estudiantes becarios) dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

Indicadores REBIUN. Ejemplos (9/10)    • Gasto en adquisiciones por usuario: “Inversiones en fondos bibliográficos (los cuatro tipos)” dividido por “Total de usuarios potenciales”.

• Gasto en revistas por investigador: “Inversiones en fondos bibliográficos (suscripciones a revistas)” dividido por Investigadores”.

• Gasto en monografías sobre el total de gasto en adquisiciones: “Inversiones en fondos bibliográficos (monografías)” dividido por “Inversiones en fondos bibliográficos (los cuatro tipos)”.

El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

Indicadores REBIUN. Ejemplos (10/10)    • Gasto en recursos electrónicos sobre el total de gasto en adquisiciones: “Gasto en información electrónica” dividido por la suma de las consultas a monografías y revistas electrónicas, más bases de datos y otros recursos electrónicos.

• Gasto de personal por usuario: Personal total (de las tres categoría, técnicos, auxiliar y becario) dividido por usuario potencial • Gasto total servicio de bibliotecas por usuario: Gasto en total en adquisiciones mas gasto total de personal dividido por usuario potencial.

Indicadores EFQM (1/13)

  EFQM distingue dos clases de indicadores: indicadores cuantitativos: datos objetivos (numéricos, estadísticos) ratios y porcentajes

Indicadores EFQM (2/13)

   EFQM y los divide en dos grandes capítulos en el ámbito de las universidades: Indicadores de la institución Indicadores de la biblioteca

Indicadores EFQM (3/13)



Indicadores de la biblioteca

Indicadores EFQM (4/13)

           Usuarios: Estudiantes: 1º y 2º ciclo 3er ciclo Títulos propios Profesores: Dedicación completa Dedicación parcial Personal no docente: Total usuarios potenciales Usuarios externos registrados

Indicadores EFQM (5/13)

  

Horarios:

Días de apertura anual Horas de apertura semanal

Indicadores EFQM (6/13)

          

Equipamientos:

Estanterías (metros lineales) Libre acceso Depósitos PCs y terminales de la plantilla PCs y terminales de uso público Lectores y reproductores diversos Puntos de servicio Superficie (m2) Puestos de lectura

Indicadores EFQM (7/13)

  

Ratios: M2 construidos por usuario Estudiantes 1er , 2º y 3er Ciclo / Puestos de lectura

Indicadores EFQM (8/13)

     

Colecciones:

Monografías Ingresadas anualmente: Por Compra Por Donativo Por canje Total

Indicadores EFQM (9/13)

 

Ratios:

Incremento de monografías en papel / usuarios potenciales

Indicadores EFQM (10/13)

       Bases de datos accesibles Desde la red de la Universidad Sólo desde bibliotecas Registros bibliográficos informatizados: Volúmenes Títulos Documentos catalogados 

Indicadores EFQM (11/13)

     Recursos electrónicos Monografías Publicaciones periódicas Bases de datos Otros

Indicadores EFQM (12/13)

     

Servicios:

Entradas a las Bibliotecas Préstamos domiciliarios Consultas a bases de datos

Ratios:

Préstamos / usuarios potenciales

Indicadores EFQM (13/13)

        Visitas a la web de la biblioteca Consultas al catálogo Consulta de revistas electrónicas: Número de búsquedas Número de artículos Formación de usuarios: Número de cursos Número de asistentes

ANECA Cuadro general de indicadores (1/13)       

1. Indicadores genéricos 2. Indicadores del personal de los servicios bibliotecarios 3. Indicadores de las Instalaciones 4. Indicadores de la colección 5. Indicadores económicos de los servicios bibliotecarios 6. Indicadores de la actividad de la biblioteca 7. Indicadores de costes sobre los servicios ofertados

ANECA 1. Indicadores genéricos

(2/13)              - Total de profesores asistentes a cursos de formación - Total de respuestas de información del personal - Total de horas de formación impartidas - Coste del personal de los servicios bibliotecarios - Total de préstamos en sala - Gasto total de adquisición de monografías - Gasto total de adquisición de revistas - Gasto total de adquisición de bases de datos e inf. Electrónica - Inversiones totales universidad - Presupuesto total universidad - Presupuesto total de los servicios bibliotecarios - Coste operativo total (1) (1) Coste operativo de los servicios bibliotecarios= [(Coste Total de los servicios bibliotecarios) – (Coste de personal + Coste de Adquisiciones)] CO = [(CT) – (CP + CA)]

ANECA 2. Indicadores del personal de los servicios bibliotecarios (3/13)   Personal Bibliotecario Personal Bibliotecario de Planta • Personal directivo • • • Bibliotecarios Técnicos no directivos por categorías Otro personal bibliotecario por categorías Personal Bibliotecario No de Planta (personal contratado, etc.) • Personal Bibliotecario No de Planta Técnico por categorías • Personal Bibliotecario No de Planta No Técnico por categorías

Indicadores ANECA

(4/13)     Personal No Bibliotecario • Personal No Bibliotecario de Planta • • • Personal No Bibliotecario de Planta directivo o técnico por categorías (por ej. informáticos, etc.) Personal No Bibliotecario de Planta No técnico por categorías Personal No Bibliotecario No de Planta Becarios Otro personal Evolución del nº de personal en los últimos cinco años

ANECA 3. Indicadores de las instalaciones (5/13)             Nº de Centros Nº de Servicios Técnicos m2 por usuario Puntos de lectura por usuario Puntos de lectura / Puntos de lectura informatizada Porcentaje m2 por depósito Nº de horas de apertura anual Evolución del Nº de Centros en los últimos cinco años Evolución del Nº de Servicios Técnicos en los últimos cinco años Evolución de m2 por usuario en los últimos cinco años Evolución de Puntos de lectura por usuario en los últimos cinco años Evolución de Puntos de lectura x Puntos de lectura informatizada en los últimos cinco años

ANECA. 4. Indicadores de la colección (6/13) 4.1. Monografías  - Número total ejemplares de monografías por biblioteca     - Porcentaje de monografías informatizadas por biblioteca 4.2. Publicaciones periódicas - Suscripciones a publicaciones periódicas por biblioteca - Nº total de suscripciones a publicaciones periódicas     - Nº total de colecciones de publicaciones periódicas por biblioteca (vivas y muertas) - Nº total de colecciones de publicaciones periódicas (vivas y muertas) - Nº total de colecciones de publicaciones periódicas electrónicas por biblioteca - Nº total de colecciones de publicaciones periódicas electrónicas

Indicadores ANECA

(7/13)        4.3. Bases de datos Nº total de suscripciones a bases de datos Nº total de bases de datos propias Nº total de bases de datos 4.4. Otros documentos - Nº total de otros documentos impresos por biblioteca. Detalle de los documentos (mapas, fotografías, películas, etc.) - Nº total de otros documentos no impresos (multimedia, microformas, electrónicos, etc.) por biblioteca Detalle de los documentos (mapas, fotografías, películas, etc.)

Indicadores ANECA

(8/13)       4.5. Nuevas adquisiciones - Nuevas adquisiciones de monografías en el último año - Nuevas adquisiciones de publicaciones periódicas en el último año - Nuevas adquisiciones de bases de datos en el último año - Nuevas adquisiciones de otros documentos en el último año - Evolución del nº de adquisiciones por documento en los últimos cinco años

ANECA 5. Indicadores económicos de los servicios bibliotecarios (9/13) 5.1. Inversiones  - Total de inversiones de la biblioteca respecto del presupuesto de la Universidad   - % de inversiones de la biblioteca respecto del presupuesto de la Universidad 5.1.1. Inversiones en Personal    - Total de inversiones en personal respecto del presupuesto de los servicios bibliotecarios 5.1.2. Inversiones en Adquisición de documentos - Total de inversiones en Adquisiciones respecto del presupuesto de los servicios bibliotecarios

Indicadores ANECA

(10/13)        5.2. Gastos - Gastos en monografías por biblioteca en el último año - Gastos en publicaciones periódicas por biblioteca en el último año (impresas y electrónicas) - Gastos en bases de datos por biblioteca en el último año - Total de gastos en adquisiciones 5.3. Tecnologías de la Información - Total de inversiones en Tecnologías de la Información respecto del presupuesto de los servicios bibliotecarios

Indicadores ANECA

(11/13)           5.4. Formación - Total de inversiones en Formación respecto del presupuesto de los servicios bibliotecarios 5.5. Funcionamiento - Total de inversiones para funcionamiento respecto del presupuesto de los servicios bibliotecarios - Total ingresos propios de la Biblioteca - TOTAL de los servicios bibliotecarios - Gasto total por usuario - Gasto de adquisiciones por usuario - Evolución Gasto total por usuario últimos cinco años - Evolución Gasto de adquisiciones por usuario últimos cinco años

ANECA 6. Indicadores de la actividad de la biblioteca (12/13)           Apertura Visitas Consultas bases de datos Préstamos alumnos Préstamos profesores Consultas bases de datos/profesor Consultas bases de datos/alumno Formación alumnos Formación profesores Respuestas de información

ANECA 7. Indicadores de Coste sobre los servicios ofertados (13/13)          Documentos procesados Préstamos Respuestas de Información Préstamo en sala Formación Usuarios potenciales Horas de apertura Vistas Adquisiciones / Préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios

Grado de satisfacción del servicio global de biblioteca



Evolución del grado de satisfacción respecto del servicio de biblioteca

   

Grado de satisfacción respecto del personal de la biblioteca Cordialidad Amabilidad Profesionalidad

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios         

Capacidad de gestión y resolución de problemas del personal de préstamo Grado de satisfacción respecto de las instalaciones y equipos Oferta Recursos de información Actualización Nuevas adquisiciones Grado de satisfacción respecto del servicio de préstamo Plazos Duración de los préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios (pregunta abierta)        

accesos e instalaciones para personas con discapacidad (*) otros indicadores relacionados con el acceso y uso de la biblioteca para usuarios discapacitados (*) número de licencias de uso por base de datos (*) número de licencias de uso por revista electrónica a texto completo (*) acceso libre a documentos a texto completo en relación al acceso restringido (*) reserva de préstamo (*) préstamo on line reserva de préstamo on line (*)

 

devolución de préstamos por correo postal (*) aviso de caducidad de los préstamos (*)

(*) Estos indicadores no están contemplados en ningún método de evaluación analizado

MUCHAS GRACIAS Javier Gimeno [email protected]

[email protected]

“Las bibliotecas son ‘conservatorios del sentido’ donde se condensa y se ordena el pensamiento del mundo que nos rodea, el de otras culturas, el de otras lenguas e identidades, y también, el de las regiones interiores que nos conforman” (Michèle Petit Antropóloga)

  II. Etapas de la evaluación: Autoevaluación y Evaluación Externa. La Acreditación. Principales metodologías de evaluación de bibliotecas

La decisión de evaluar (1/4)

   Compromiso institucional Decisión de la metodología de evaluación a utilizar Cronograma

La decisión de evaluar (2/4)

   Elaboración y recopilación de toda la información necesaria (datos estadísticos, datos cualitativos, resultados de encuestas…) Establecimiento de indicadores de rendimiento Elaboración de la Guía de Evaluación

La decisión de evaluar (3/4)

   Determinación de los actores implicados en el Plan de Evaluación Constitución del Comité de Autoevaluación Interna (CAI) Constitución de la Oficina Técnica de Evaluación (OTE)

La decisión de evaluar (4/4)

  Conformación de los Grupos de Trabajo (GT) Plan de Comunicación

Soporte técnico y administrativo del Plan de Evaluación     Autoridades (universidad, municipalidad…) Dirección de la Biblioteca  Comité de Autoevaluación Interna (CAI)  Grupos de trabajo Oficina Técnica del Plan de Evaluación (OTE) Coordinación técnica

El proceso de la evaluación (1/3)

 1ª Fase: Evaluación Interna      Criterios de evaluación por el CAI (Grupos de Trabajo) Análisis de los puntos fuertes y débiles Propuestas de Mejora Informe de Autoevaluación (IA) con las Propuestas de Mejora Presentación del IA a la Agencia Evaluadora. La Agencia nombra el Comité de Evaluación Externa (CEE)

El proceso de la evaluación (2/3)

 2ª Fase: Evaluación Externa       Visita del CEE a la biblioteca Evaluación del IA por el CEE Enmiendas del CEE a las Propuestas de Mejora Informe de Evaluación Externa (IEE) Plan de Mejoras Informe Final de Evaluación a cargo del CAI

El proceso de la evaluación (3/3)

 Acreditación    Presentación del Informe Final y Plan de Mejoras al organismo competente Certificado de Calidad (validez: 3 a 5 años) Transcurrido el período de certificación: ejecución del Plan de Mejoras

Comité de Autoevaluación Interna (CAI) (1/2)

 Es el órgano de representación e intervención de la comunidad universitaria en el proceso de evaluación de la biblioteca.

Comité de Autoevaluación Interna (CAI) (2/2)

  Presidido por la máxima autoridad de la institución (alcalde, rector…) Miembros (vocales):     Director de la biblioteca (secretario del Comité) Miembros de la dirección de la biblioteca (subdirector, etc.) Representantes del personal de la biblioteca Representantes de los usuarios

Funciones del CAI (1/4)

   Representa a la institución en el proceso de evaluación de la Biblioteca Dirige y coordina el Plan de evaluación Establece la metodología de trabajo

Funciones del CAI (2/4)

  Crea y coordina los grupos de

trabajo

Supervisa el borrador deI Informe de Autoevaluación y el borrador del Plan de Mejoras

Funciones del CAI (3/4)

   Somete el borrador a consulta del órgano directivo de la institución y de la biblioteca Elabora el Informe definitivo de Autoevaluación y el Plan de Mejoras Lo presenta a la Agencia Evaluadora (inicio de la 2ª fase: evaluación externa)

Funciones del CAI (4/4)

   Recibe al Comité de Evaluación Externa (CEE) en su visita que realiza a la Biblioteca Estudia el Informe del CEE y lo somete a consulta del órgano directivo de la institución y de la biblioteca Elabora el Informe Final y el Plan de

Mejoras

Oficina Técnica de Evaluación (OTE) (1/3)



La OTE está constituida por:



El coordinador técnico del Plan de Evaluación



El personal técnico de apoyo al Plan: bibliotecarios, informáticos, estadísticos…

OTE (2/3)

   Entre sus funciones destacan: Realizar un seguimiento constante de la marcha del Plan de evaluación Elaborar el calendario y el cronograma del Plan Crear, mantener y actualizar la página web del proceso de evaluación

OTE (3/3)

  Suministrar toda la información e infraestructura básica al CAI, a los grupos de trabajo y al CEE (estudios, informes, estadísticas, etc.) Coordinar las jornadas, sesiones informativas, reuniones de los grupos, etc.

Grupos de Trabajo (1/4)

 El CAI designa, dirige y coordina los Grupos de Trabajo, cuya misión será realizar los estudios y análisis referidos a los criterios establecidos por la Agencia evaluadora y adaptados por el CAI al Plan de evaluación, los cuales constituyen las pautas metodológicas de trabajo.

Grupos de Trabajo (2/4)

 Los Grupos de Trabajo están formados por:   bibliotecarios representantes de los usuarios de la biblioteca, designados por el CAI.

Grupos de Trabajo (3/4)

 Cada Grupo de Trabajo tiene un coordinador, cuyo cometido es:  dirigir las tareas del grupo  preparar la documentación útil al trabajo a realizar      establecer la metodología adecuada convocar las reuniones del grupo dirigir los debates redactar los distintos borradores de discusión coordinar la elaboración del informe final correspondiente a los contenidos estudiados por el Grupo de Trabajo.

Grupos de Trabajo (4/4)

  Todos los Grupos de Trabajo están asistidos por la Oficina Técnica del Plan de Evaluación Cada Grupo de Trabajo se ocupa de uno o dos criterios de la metodología adoptada para el Plan de Evaluación

Funciones del CEE (1/3)

 Valorar el contenido del Informe interno remitido por el CAI, así como el mismo proceso de autoevaluación.  Actuar como instrumento de mejora de los servicios de biblioteca, para lo cual deberá facilitar, aclarar y dinamizar el proceso de análisis, reflexión y diálogo de los servicio bibliotecarios.  Orientar su trabajo hacia la consecución de mejoras viables con las cuales se sienta comprometido el conjunto del servicio de biblioteca.

Funciones del CEE (2/3)    Evaluar el Autoinforme del CAI y el Plan de Mejoras Visitar la Biblioteca para:   entrevistarse con usuarios, gestores y bibliotecarios Conocer el estado de las instalaciones, servicios y procesos Evaluar el Informe Final de la Biblioteca

Funciones del CEE (3/3)

 El CEE emite su Informe: Informe de Evaluación Externa (IEE)  Si es positivo, la Biblioteca puede presentarse a la convocatoria de

Certificación de Calidad

Acreditación y Certificación de Calidad (1/7)

 Ambos términos, acreditación y certificación, responden a un mismo proceso que consiste en demostrar y asegurar la calidad de un servicio, un producto, una institución, una actividad, el desempeño profesional, etc.

Acreditación y Certificación de Calidad (2/7)

 La Acreditación es el proceso por el cual el servicio obtiene la idoneidad como servicio de calidad y le compromete a llevar a cabo el Plan de Mejoras.

Acreditación y Certificación de Calidad (3/7)

   El Certificado de Calidad es el documento que acredita la calidad del servicio. Tiene un período temporal de validez determinado por el organismo oficial de acreditación y certificación correspondiente (3 a 5 años). El documento que acredita la certificación de calidad de una institución, un servicio, etc., suele ser una etiqueta de calidad o quality label (en terminología EFQM)

Acreditación y Certificación de Calidad (4/7)

 Para EFQM, acreditación es el proceso que garantiza la calidad de una institución o un programa educativo, proceso que es llevado a cabo por una agencia externa a la entidad evaluada.

Acreditación y Certificación de Calidad (5/7)

 La acreditación implica la evaluación previa respecto de estándares y criterios de calidad establecidos previamente por una agencia u organismo acreditador.

Acreditación y Certificación de Calidad (6/7)

   El procedimiento de la acreditación incluye: una autoevaluación de la propia institución una evaluación por un equipo de expertos

externos

En todos los casos se trata de una validación temporal, por una serie de años.

Acreditación y Certificación de Calidad (7/7)

   La certificación es para EFQM el resultado de un proceso por el que se verifica y documenta el cumplimiento de requisitos de calidad previamente establecidos. Puede referirse a procesos o a personas.

Ambos procedimientos reconocen la calidad de los programas, de los servicios o de la institución evaluada.

Principales metodologías de evaluación aplicadas a bibliotecas      ISO

EFQM ANECA LIBQUAL

CUADRO DE MANDO INTEGRAL

EFQM (1/2)

Diseñado por la European Foundation for Quality Management (EFQM), entidad creada en 1988 por catorce importantes empresas europeas especializadas en calidad.

EFQM (2/2)

   EFQM pone el acento en la autoevaluación, basada en: análisis detallado del funcionamiento del sistema de gestión las normas de certificación los procesos de mejora continua

EFQM Características generales (1/2)   Inspirado en la filosofía japonesa de “calidad total” y “excelencia” aplicada a la empresa, cuya finalidad es la “calidad del producto” Tiene como base un fuerte liderazgo con una política y una estrategia para gestionar los recursos humanos, materiales y organizaciones.

EFQM Características generales (2/2)    Tiene como finalidad la mejora de los mecanismos de producción (procesos).

Ello va a revertir en una mejora de los resultados de la satisfacción en los clientes, en el personal y en la sociedad Proporciona unos resultados clave de rendimiento de la organización, que aprende de sí misma y mejora continuamente hacia la excelencia.

EFQM Criterios (1/3)

  Establece nueve capítulos o aspectos a evaluar divididos en dos apartados: Agentes facilitadores (criterios 1-5): van a permitir la obtención de unos determinados resultados Resultados (criterios 6-9): miden los logros alcanzados

EFQM Criterios (2/3)



Agentes facilitadores (AF)

1. Liderazgo 2. Política y estrategia 3. Personas. Gestión de los recursos humanos 4. Alianzas y recursos 5. Procesos

EFQM Criterios (3/3)



Resultados (R)

6. Resultados en sus clientes 7. Resultados en las personas 8. Resultados en la sociedad 9. Resultados claves

ANECA

   Método diseñado expresamente para bibliotecas universitarias (diseñado por el Consorcio de Bibliotecas de Cataluña) Evalúa el servicio bibliotecario en su totalidad Considera la biblioteca como servicio público

ANECA Criterios (1/9)

1. ELEMENTOS BASADOS EN DATOS 1.1. Recursos: financieros, bibliográficos, espacio físico, etc.

1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc.

1.3. Grado de satisfacción de los usuarios.

2. ELEMENTOS RELACIONADOS CON LOS PROCESOS.

2.1. Grado de integración de la biblioteca en la institución.

2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación.

2.3. Gestión, organización y procesos.

2.4. Política de personal: capacitación, formación promoción, etc.

3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN.

3.1. Criterios referidos a los planes de mejora y su desarrollo.

3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación.

ANECA Criterios (2/9)

1. ELEMENTOS BASADOS EN DATOS.

1.1. Recursos: financieros, bibliográficos, espacio físico, etc.

1.1.1. Espacio físico, instalaciones, equipamientos 1.1.2. Recursos bibliográficos 1.1.3. Recursos financieros Puntos fuertes Puntos débiles Propuestas de mejora

ANECA Criterios (3/9)

1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc.

1.2.1. Eficacia en la prestación de servicios 1.2.1.1. Estándares 1.2.1.2. Objetivos 1.2.1.3. Actividad 1.2.2. Eficiencia en la prestación de servicios 1.2.2.1. Prestación de servicios 1.2.2.2. Distribución del gasto en adquisiciones-suscripciones 1.2.2.3. Resumen

Puntos fuertes Puntos débiles Propuestas de mejora

ANECA Criterios (4/9)

1.3. Grado de satisfacción de los usuarios.

1.3.1. Existencia de mecanismos y estrategias de evaluación continuada de la calidad.

1.3.2. Nivel de uso de los servicios 1.3.3. Grado de satisfacción 1.3.3.1. Satisfacción general con la prestación del servicio de los servicios de biblioteca. 1.3.3.2. Satisfacción con los fondos bibliográficos.

1.3.3.3. Satisfacción con los diferentes servicios ofertados.

1.3.3.4. Satisfacción con la información sobre los servicios de biblioteca.

1.3.3.5. Satisfacción con las actividades de formación desarrollados.

1.3.3.6. Satisfacción con las instalaciones y equipamientos.

Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (5/9)

2. ELEMENTOS RELACIONADOS CON LOS PROCESOS.

2.1. Grado de integración de la biblioteca en la institución.

Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (6/9)

2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación.

2.2.1. Biblioteca / usuarios.

2.2.1. Biblioteca / Docencia.

2.2.2. Biblioteca / Investigación.

Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (7/9)

2.3. Gestión, organización y procesos.

2.3.1. Gestión y Organización.

2.3.2. Procesos.

2.3.3. Oferta de servicios a distancia.

Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (8/9)

2.4. Política de personal: capacitación, formación promoción, etc.

2.4.1. Tipología, dotación y distribución del personal 2.4.2. Políticas de acceso y promoción 2.4.3. Formación 2.4.4. Implicación, satisfacción y motivación del personal Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (9/9)

3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN.

3.1. Criterios referidos a los planes de mejora y su desarrollo.

3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación.

Puntos fuertes Puntos Débiles Propuestas de Mejora Plan de Mejoras

LibQual (1/3)

En el año 2000 la Universidad A&M de Texas y ARL (Association of Research Libraries) desarrollaron LibQual, herramienta de evaluación de la calidad para bibliotecas basado en ServQual.

LibQual (2/3)

LibQual es un estándar para medir el grado de satisfacción de los usuarios con los servicios que ofrecen las bibliotecas, así como identificar carencias y lagunas en la prestación de los servicios, siempre basándose en las percepciones subjetivas de los usuarios.

LibQual (3/3)

LibQual establece tres dimensiones de calidad a evaluar: a. La biblioteca como local (espacio funcional, señalización y ambiente de estudio) b. El control de la información (rapidez, comodidad, facilidad de navegación, equipamientos modernos) c. Apariencia del servicio (empatía, responsabilidad, seguridad, confiabilidad).

Encuesta LibQual (1/7)

La herramienta fundamental de LibQual para medir la satisfacción de los usuarios es la encuesta.

Encuesta LibQual (2/7)

   La encuesta está basada en 22 preguntas, en cada una de las cuales hay que contestar a tres cuestiones: Nivel de servicio mínimo exigible.

Nivel de servicio deseado.

Nivel observado (percepción del servicio)

Encuesta LibQual (3/7)

La encuesta está dividida en cuatro grandes apartados:

Encuesta LibQual (4/7)

 I. El valor del servicio. Se compone, a su vez, de tres elementos: • Empatía, responsabilidad y seguridad • Fiabilidad • Dimensión humana de la calidad del servicio

Encuesta LibQual (5/7)

    II. Acceso la información. 4 elementos: Cobertura del alcance, temporalidad, conveniencia en el acceso Adecuación de las colecciones Comprensibilidad, calidad y profundidad de los recursos de información Información solicitada proporcionada en formato, espacio y tiempo escogido

Encuesta LibQual (6/7)

    III. Control del personal. 3 elementos: Cobertura de navegación, conveniencia y servicios de apoyo Control del personal de la información y de Internet en particular Interactuación de los usuarios con la biblioteca tecnológica

Encuesta LibQual (7/7)

   IV. Biblioteca como espacio. 3 elementos: Cobertura de las necesidades de espacio, valor simbólico de la biblioteca y refugio para el estudio y el trabajo Reunión de los requerimientos comunitarios en un espacio para el estudio y la colaboración (tangibilidad) Proporcionar las facilidades físicas adecuadas

CMI (1/2)

Herramienta de gestión basada en indicadores de evaluación de rendimiento a largo plazo:    Indicadores e inductores de resultados Indicadores financieros y no financieros Indicadores cuantitativos y cualitativos

CMI (2/2)

MUCHAS GRACIAS Javier Gimeno [email protected]

[email protected]

”Perder es [también] cuestión de método”

(Santiago Gamboa. Novelista colombiano)

 Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad

 Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad