Presentación disponible en pptx
Download
Report
Transcript Presentación disponible en pptx
Universidad de Oviedo
Departamento de Informática
TESIS DOCTORAL
Sistema de Evaluación de la Usabilidad Web
orientado al Usuario y basado en la
determinación de Tareas Críticas
M. del Carmen Suárez Torrente
Director: Dr. Juan Manuel Cueva Lovelle
Directora: Dra. Ana Belén Martínez Prieto
Febrero, 2011
Contenido
•
•
•
•
•
•
•
•
Introducción
Objetivos
Estudio de la situación actual
Sistema de evaluación SIRIUS
Validación del sistema
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
•
•
Contexto de la tesis
Problemática en la evaluación de la usabilidad
Objetivos
Estudio de la situación actual
Sistema de evaluación SIRIUS
Validación del sistema
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Contexto
Universidad de Oviedo
Departamento de Informática
Inicio>>Introducción>>Contexto de la tesis
La web juega un papel muy importante en la sociedad proporcionando acceso
ilimitado a la información y modificando los hábitos de comportamiento respecto al
ocio, consumo y trabajo, entre otros.
La usabilidad se considera el aspecto de calidad de mayor relevancia en las
aplicaciones web, además de un factor determinante para el éxito o fracaso de un
sitio web.
El bajo nivel de usabilidad que ofrecen muchos de los sitios web es la causa de:
La pérdida de tiempo, desmotivación y frustración del usuario en su proceso de navegación
por la red.
Numerosos fracasos de sitios web a los que se había dedicado una importante inversión
económica.
Febrero, 2011
Problemática
Universidad de Oviedo
Departamento de Informática
Inicio>>Introducción>>Problemática en la evaluación de la usabilidad
Para garantizar la usabilidad de un sitio web, se hace necesario incorporar al
proceso de desarrollo un método que permita la evaluación de la misma.
La evaluación de la usabilidad se considera, por tanto, una de las tareas más
importantes que debe emprenderse cuando se desarrolla una interfaz de usuario.
El organismo de referencia en estándares para el desarrollo web, el W3C, no se ha
pronunciado en aspectos relativos a la usabilidad.
Existe una gran proliferación de métodos para la evaluación de la usabilidad: los
desarrolladores no tienen un modelo claro a seguir.
Febrero, 2011
Problemática
Universidad de Oviedo
Departamento de Informática
Inicio>>Introducción>>Problemática en la evaluación de la usabilidad
El método más utilizado es la evaluación heurística : evaluadores expertos examinan
una interfaz para juzgar el grado de cumplimento de reconocidos principios de
usabilidad (heurísticas).
Problemas:
•
•
•
•
Gran cantidad de heurísticas documentadas
Poca uniformidad en su enunciado
Escasa coherencia entre ellas
Contradictorias
Febrero, 2011
Trabajo de uniformidad y
reescritura de pautas de
evaluación
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Objetivos
•
•
•
Generales
Específicos
Marco global de evaluación
Estudio de la situación actual
Sistema de evaluación SIRIUS
Validación del sistema
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Objetivos
Universidad de Oviedo
Departamento de Informática
Inicio>>Objetivos>>Generales
Un sistema de evaluación de la usabilidad web:
• Basado en la revisión de heurísticas.
• Aplicable a cualquier tipo de sitio web.
• Que proporcione un valor porcentual del nivel de usabilidad del sitio.
• Cuyos resultados dependan del tipo de sitio en evaluación.
• Permita inferir los elementos a subsanar en el sitio atendiendo a su prioridad en
el arreglo.
• Proporcione el resultado de la evaluación en formato estándar.
• Aplicable en cualquier fase del ciclo de vida.
• Fácilmente escalable.
Febrero, 2011
Objetivos
Universidad de Oviedo
Departamento de Informática
Inicio>>Objetivos>> Específicos
Especificación de heurísticas y subheurísticas a considerar en la evaluación.
Clasificación de sitios web para ajustar el resultado de la evaluación.
Identificación de perfiles y tareas relevantes.
Formulación de una métrica para cuantificar el nivel de usabilidad.
Validación del sistema de evaluación propuesto.
Formalización del conocimiento mediante una ontología.
Diseño y desarrollo de una herramienta que dé soporte al sistema de evaluación.
Febrero, 2011
Marco global
Universidad de Oviedo
Departamento de Informática
Inicio>>Objetivos>> Marco global de evaluación
Febrero, 2011
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Objetivos
Estudio de la situación actual
•
•
•
Evaluación de la usabilidad
Clasificación de sitios web
Ontologías
Sistema de evaluación SIRIUS
Validación del sistema
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Usabilidad
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Evaluación de la usabilidad>>Concepto de Usabilidad
"La facilidad de uso y la aceptabilidad de un
sistema o producto para una clase particular
de usuarios que llevan a cabo tareas
específicas en un entorno específico“
“Parte de la utilidad del sistema, la cual es
parte de la aceptabilidad práctica y,
finalmente, parte de la aceptabilidad del
sistema”
Jacob Nielsen (1993)
Niegel Bevan (1991)
Usabilidad
“El desarrollo de sistemas fáciles de usar y de
aprender“
Jenny Preece (1994)
“La usabilidad realmente significa estar seguro
de que algo funciona bien: que una persona
con habilidades promedio, e incluso por
debajo del promedio, pueda utilizar una cosa,
ya sea un sitio web, un jet de combate, o una
puerta rotatoria, para su fin sin terminar
enormemente frustrado“
Steve Krug (2000)
Febrero, 2011
Usabilidad
Universidad de Oviedo
Departamento de Informática
Inicio>> Estudio de la situación actual >>Evaluación de la usabilidad>>Concepto de Usabilidad
"La usabilidad se refiere a la capacidad de un
software de ser comprendido, aprendido,
usado y atractivo para el usuario, en
condiciones específicas de uso“
“El grado de eficacia, eficiencia y
satisfacción con la que usuarios específicos
pueden lograr objetivos específicos, en
contextos de uso específicos”
ISO/IEC 9126 (1991)
ISO/DIS 9241 (1993)
Usabilidad
Se presentan los métodos de evaluación tales
como observación, cuestionarios, entrevistas,
Se detallan los principios para el diseño de
técnicas de diseño y evaluación participativa o
sitios web usables centrándose en 5 áreas:
métodos formales, que implican directamente
diseño de alto nivel, diseño del contenido,
a los usuarios finales. No se especifican los
navegación y búsqueda, presentación del
detalles de cómo implementar o realizar los
contenido y diseño general.
métodos de usabilidad descritos
ISO/TR 9241-151 (2008)
ISO/TR 16982 (2002)
Febrero, 2011
Evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual >>Evaluación de la usabilidad
Principios y
recomendaciones
Métodos de
evaluación:
Métodos de
inspección
Damodaran y
Simpson
Evaluación
heurística
Schneiderman
Inspección de
características
Preece
Inspección de
consistencia
Constantine
Inspección de
estándares
Instone
…
Tognazinni
Seguimiento
pluralista
Febrero, 2011
Scheiderman
Nielsen y
Molich
Evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Evaluación de la usabilidad>>Evaluación heurística
Olsina
Hassan
Pierotti
Perallos
• Calidad
• 27 subheurísticas
agrupadas en 4
heurísticas
• Métrica de
evaluación de
Calidad
• No considera el
tipo de sitio en
evaluación
• Usabilidad
• 70 subheurísticas
agrupadas en 11
heurísticas
• No proporciona
métrica
• No considera el
tipo de sitio en
evaluación
• Usabilidad
• 296 subheurísticas
agrupadas en 13
heurísticas
• No proporciona
métrica
• No considera el
tipo de sitio en
evaluación
• Calidad
• 50 subheurísticas
agrupadas en 8
heurísticas
• No proporciona
métrica
• Considera el tipo
de sitio en
evaluación
Uniformidad en el
estilo del sitio
¿Existen elementos
de navegación que
orienten al usuario
acerca de dónde está
y cómo deshacer su
navegación?
Have industry or
company formatting
standards been
followed
consistently in all
screens within a
system?
En todo momento
se tiene que saber
dónde se está
Febrero, 2011
González
• Usabilidad
• 66 subheurísticas
agrupadas en 4
heurísticas
• Métrica de
evaluación de
usabilidad
• No considera el
tipo de sitio en
evaluación
¿Existen
elementos que
permitan al usuario
saber exactamente
dónde se encuentra
dentro del sitio y
cómo volver atrás?
Evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual >>Evaluación de la usabilidad>>Evaluación heurística
Autor/es
Shneider man
Niel s en y Mol ich
Cons tantine
Ins tone
Tognazzin i
Ol s ina
Has s an y Fer nández
Pier ott i
G onzál ez
Per al l os
Items
evaluables
Métrica
asociada
Evaluación adaptada al tipo de
sitio web
O
O
O
O
O
P
P
P
P
P
O
O
O
O
O
P
O
O
P
O
O
O
O
O
O
O
O
O
O
P
No se ha propuesto ningún un sistema de evaluación de la usabilidad basado en la revisión
de heurísticas que proporcione un valor cuantitativo ajustado al tipo de sitio en evaluación.
Febrero, 2011
Clasificación de Sitios
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Clasificación de sitios web
Complejidad de desarrollo
Acciones del usuario
Funcionalidad proporcionada
Informativos
Interactivos
Transaccionales
Sistemas de workflow
Entornos colaborativos
Comunidades en línea
Portales web
Servicios web
Despande
Grado de complejidad y evolución
Grado de complejidad y orientación
Sitio de comunidad
Sitio de noticias
Sitio de turismo
Sitio de Comercio electrónico
E-Learning
Buscador
Banco
Weblog
Perallos
Sitios de comercio electrónico
Sitios de educación a distancia
Sitios de empresas comerciales
Sitios de gerencia electrónica
Sitios institucionales
Sitios de medios de
comunicación
Sitios personales
Sitios de proveedores de
contenidos y servicios
Sitios de redes sociales
Sitios de servicios en general
Coutín
No se ha encontrado una clasificación de consenso que recoja la gran variedad de sitios web
existentes en la actualidad.
Febrero, 2011
Ontologías
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Ontologías
En el momento actual la web evoluciona hacia la denominada Web Semántica
En este contexto, las ontologías juegan un papel primordial definiendo formalmente
conceptos y relaciones, ofreciendo una definición común que pueda ser utilizada por
diversas aplicaciones.
Dado que uno de los objetivos de las ontologías es la reutilización del conocimiento, se
plantea reutilizar alguna ontología existente
Febrero, 2011
Ontologías
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Ontologías
Se ha revisado ontologías existentes relativas a la usabilidad (18), destacando dos de
ellas:
Pese al creciente interés investigador en el área de las ontologías, se constata una limitada
publicación de ontologías relativas al área de la evaluación.
Febrero, 2011
Conclusión
Universidad de Oviedo
Departamento de Informática
Inicio>>Estudio de la situación actual>>Conclusión
Tras el estudio de la situación actual se concluye que es necesario:
•
Desarrollar un sistema de evaluación que trate de solventar las carencias
detectadas.
•
Elaborar una clasificación de sitios web atendiendo al criterio de funcionalidad.
•
Formalizar el conocimiento relativo al sistema de evaluación en una ontología.
Febrero, 2011
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Objetivos
Estudio de la situación actual
Sistema de evaluación SIRIUS
•
•
•
•
•
•
•
Marco específico de evaluación
Establecimiento de los tipos de sitios web
Determinación de tareas críticas y niveles de audiencia
Establecimiento de Aspectos y Criterios
Valoración y Ponderación
Establecimiento de la métrica de evaluación
Esquema global de funcionamiento de SIRIUS
Validación del sistema
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Marco de evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Marco específico de evaluación
Febrero, 2011
Marco de evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Marco específico de evaluación
Se trata de desarrollar un sistema de evaluación de la usabilidad web basado en la revisión
de heurísticas, que proporcione un valor cuantitativo del nivel de usabilidad alcanzado en el
sitio web y cuyo resultado sea dependiente del tipo de sitio en evaluación.
Conjunto de pautas a
Medida cuantitativa del
considerar en desarrollo y
nivel de usabilidad en
evaluación
función del tipo de sitio
Sistema de
Evaluación
SIRIUS
Relación priorizada de
pautas tras evaluación
Resultados de evaluación en
el formato estándar
proporcionado por el
W3C
Febrero, 2011
Tipos de Sitios
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de los tipos de sitios web
Tipos de Sitios Web
Administración Pública / Institucional
Banca electrónica
Blog
Comercio electrónico
Comunicación / Noticias
-Administración |||||||||||||||||
-Banca electrónica |||||||||||||||
-Meteorología |
-Buscar pareja |||
-Comercio electrónico |||||||||||||||
-Coches ||
-Descargas ||||||||||||||
Corporativo / Empresa
Descargas
Educativo / Formativo
Entornos colaborativos / Wikis
Foros / Chat
Ocio / Entretenimiento
Personal
Portal de Servicios
Servicios interactivos basados en imágenes
Servicios interactivos no basados en imágenes
Webmail / Correo
+ Híbrido
Febrero, 2011
Tareas y Audiencia
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Determinación de Tareas críticas y Niveles de audiencia
Consultar las últimas
noticias
Buscar noticias
Leer una noticia
Comentar una noticia
Consultar la hemeroteca
Febrero, 2011
Aspectos y Criterios
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios
Heurísticas
/Subheurísticas de
diversos autores
Reunificación y
reescritura
Experimentación
Incorporación de
nuevas pautas
10 Aspectos y
83 Criterios
Se establece una única relación de elementos a evaluar denominados
criterios (subheurísticas), agrupados en aspectos (heurísticas)
Febrero, 2011
Aspectos
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios>>Aspectos
Aspectos generales
10 aspectos
• Objetivos del sitio, el look & feel, coherencia y nivel de
actualización de contenidos.
Identidad e Información
• Identidad del sitio, información proporcionada sobre el proveedor
y autoría de los contenidos.
Estructura y Navegación
• Idoneidad de la arquitectura de la información y la navegación
del sitio.
Rotulado
• Significación, corrección y familiaridad del rotulado de los
contenidos.
Layout de la página
• Distribución y aspecto de los elementos de navegación e
información en la interfaz.
Entendibilidad y facilidad en la
interacción
• Adecuación y calidad de los contenidos textuales, iconos y
controles de la interfaz.
Control y retroalimentación
• Libertad del usuario en la navegación y la información
proporcionada al mismo en el proceso de interacción con el sitio.
Elementos multimedia
• Grado de adecuación de los contenidos multimedia al sitio web.
Búsqueda
Ayuda
• Buscador implementado en el sitio web.
• Ayuda ofrecida al usuario durante la navegación por el sitio.
Febrero, 2011
Criterios
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios>>Criterios
Aspectos
Generales
AG1. Objetivos
del sitio web
concretos y bien
definidos
Identidad e
Información
II1. Identidad o
logotipo
significativo,
identificable y
visible
AG2. Contenidos o
servicios ofrecidos
precisos y
completos
II2. Identidad del
AG3. Estructura
II3. Eslogan o
general del sitio
web orientada al
usuario
tagline
adecuado al
objetivo del sitio
AG10. Sitio web
II7. Se ofrece
…
actualizado
periódicamente
sitio en todas las
páginas
…
información sobre
el autor, fuentes y
fechas de creación
Layout
83 criterios
Elementos
Multimedia
BU1. Si es
LA1. Se aprovechan
las zonas de alta
jerarquía
informativa para
contenidos de
mayor relevancia
LA2. Se ha
evitado la
sobrecarga
informativa
LA3. Es una
interfaz limpia,
sin ruido visual
…
LA10. Se ha
evitado el texto
parpadeante /
deslizante
Febrero, 2011
Búsqueda
bien recortadas
necesaria, está
accesible desde
todas las
páginas del sitio
EM2. Fotografías
BU2. Es
EM1. Fotografías
comprensibles
fácilmente
reconocible
EM3. Fotografías
BU3. Se
con correcta
resolución
…
EM6. El uso de
sonido
proporciona
valor añadido
encuentra
fácilmente
accesible
…
BU8. Asiste al
usuario en caso de
no poder ofrecer
resultados para
una consulta
…
Valores evaluación
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Valores de evaluación
Una escala de 0-10 puntos que indique el grado de conformidad del evaluador con el
cumplimiento del criterio.
AG1: Objetivos del sitio web concretos y bien definidos
Un valor textual que indique no sólo si el criterio se cumple o no, si no en qué extensión
del sitio web se detecta el problema en el caso de que el criterio no se cumpla.
LA9: El texto de la página se lee sin dificultad
Febrero, 2011
Valores evaluación
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Valores de evaluación
Valor de evaluación
0..10
NTS
NEP
NPP
NPI
S
NA
AG.1
LA.9
Definición
Cómputo
0
0: No se cumple en absoluto
10: Se cumple totalmente
No se cumple en todo el sitio
No se cumple en los enlaces principales
No se cumple en la página principal
No se cumple en alguna página interior
Se cumple el criterio
Criterio no aplicable en el sitio
10
0
2,5
5
7,5
10
-1
Objetivos del sitio web concretos y bien definidos
0 1 2 3 4 5 6 7 8 9 10 NA
El texto de la página se lee sin dificultad
NTS NEP NPP NPI S NA
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Ponderación
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación
Tipo de sitio: Banca-E
Tipo de sitio: Comercio-E
La baja calidad de las imágenes (aspecto Multimedia) tendría mayor relevancia en el
sitio web de comercio electrónico
Ante idénticos valores de evaluación, el sitio web de comercio electrónico debiera
resultar con menor nivel de usabilidad
Febrero, 2011
Relevancia Aspectos
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación>>Relevancia aspectos
160 valores de relevancia
Administración Pública
Comercio Electrónico
Educativo/Formativo
Aspectos generales
Muy alta
Muy alta
Muy alta
Identidad e Información
Alta
Muy alta
Alta
Estructura y Navegación
Alta
Muy alta
Muy alta
Rotulado
Alta
Media
Alta
Layout de la página
Muy alta
Media
Media
Entendibilidad y facilidad en
la interacción
Muy alta
Alta
Muy alta
Control y retroalimentación
Media
Muy alta
Alta
Elementos multimedia
Baja
Alta
Media
Búsqueda
Muy alta
Alta
Muy alta
Ayuda
Media
Media
Alta
Febrero, 2011
…
Relevancia Criterios
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación>>Relevancia criterios
Valor
Definición
Crítica
El problema identificado es severo. El usuario no podrá completar la tarea y
podría no desear seguir utilizando el sitio web.
Mayor
Es posible que el usuario complete la tarea pero tendrá mucha dificultad,
frustración o incluso tendrá que ejecutar muchos pasos innecesarios. Podrá
superarlo después de que se le haya mostrado cómo hacerlo.
En la mayoría de casos, el usuario podrá completar la tarea, realizando un
moderado esfuerzo para evitar el problema. Pueden necesitar investigar algunos
enlaces para determinar que opción les permitirá completar la tarea propuesta.
En navegaciones posteriores del sitio, los usuarios probablemente recordaran
cómo ejecutar la tarea.
El problema ocurre de manera intermitente y puede ser fácilmente superado,
aunque es irritante para el usuario. Debido principalmente a problemas estéticos.
Media
Moderada
Febrero, 2011
Relevancia Criterios
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación>>Relevancia de los criterios
1328 valores de relevancia
Administración Pública
Comercio Electrónico
Ocio / Entretenimiento
AG6: Diseño general del sitio web
coherente
Crítica
Mayor
Media
AG8:Se da soporte a otro/s idioma/s
Mayor
Mayor
Moderada
II5: Existen mecanismos de contacto
Mayor
Mayor
Moderada
Moderada
Moderada
Moderada
RO1: Rótulos significativos
Mayor
Mayor
Moderada
LA2: Se ha evitado la sobrecarga
informativa
Media
Media
Moderada
EF1: Se emplea un lenguaje claro y
conciso
Crítica
Mayor
Mayor
EM2: Fotografías comprensibles
Media
Crítica
Mayor
BU5: Sistema de búsqueda simple y claro
Crítica
Crítica
Mayor
Mayor
Mayor
Moderada
EN1: Se ha evitado pantalla de bienvenida
AY3: Se ofrece ayuda contextual en tareas
complejas
Febrero, 2011
…
Valores de relevancia
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación>>Valores de relevancia
El valor de relevancia de los criterios se introduce como un factor de ponderación en
la métrica de evaluación de manera que el valor proporcionado por ésta dependa de la
relevancia que tengan los criterios no cumplidos en el sitio en evaluación dependiendo
del tipo de sitio web.
Relevancia criterio
Valor de relevancia
Crítica
Mayor
Media
Moderada
8
4
2
1
El valor de relevancia de los aspectos se utilizará para elaborar la relación priorizada
de criterios a subsanar en el sitio web evaluado en caso de empate entre criterios.
Relevancia aspecto
Valor de relevancia
Muy alta
Alta
Media
Baja
4
3
2
1
Febrero, 2011
Métrica
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de la métrica de evaluación
𝑃𝑈 =
𝑖=𝑛𝑐𝑒
𝑖=1
𝑖=𝑛𝑐𝑒
𝑖=1
(𝑓𝑐𝑖 ∗ 𝑣𝑐𝑖)
(𝑓𝑐𝑖 ∗ 10)
∗ 100
nce: Número de criterios evaluados. Será como máximo 83, que son los que integran
el sistema de evaluación. Se considera que alguno de los criterios pueda no ser
aplicable al sitio en evaluación y, por lo tanto, no se evalúe.
vc: Valor de evaluación de un criterio (entre 0 y 10).
fc:
Factor de corrección aplicado al criterio evaluado. El valor del factor de corrección
de cada uno de los criterios evaluados se obtiene de la siguiente manera:
𝑓𝑐𝑖 =
rc:
𝑟𝑐𝑖
𝑗=𝑛𝑐𝑒
𝑗=1 𝑟𝑐𝑗
Valor de relevancia que corresponde a un criterio
Febrero, 2011
Esquema global
Universidad de Oviedo
Departamento de Informática
Inicio>>Sistema de evaluación SIRIUS>>Esquema global de funcionamiento de SIRIUS
Aspecto 1
Aspectos
%Usb.
Aspecto 2
Criterios
…...
Febrero, 2011
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Estado del arte
Sistema de evaluación SIRIUS
Validación del sistema
•
•
Candidatos a Premios web
Candidatos a Peores sitios del 2010
•
Empresas del índice Nasdaq
•
Aplicación de Sirius en desarrollo
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Validación
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación
“Muchas propuestas de métricas se enuncian sin ningún tipo de rigor ni orden.
Consecuentemente, la aplicación de estas métricas propuestas es difícil y arriesgado
y peligroso tomar decisiones en base a los valores obtenidos” (Calero y Piatini, 2005)
Se trata de validar la métrica propuesta en base a los siguientes experimentos:
•
Evaluación de sitios web candidatos a premios web
•
Evaluación de sitios web considerados entre los peores del 2010
•
Evaluación de los sitios web de empresas del índice Nasdaq
•
Aplicación de SIRIUS en desarrollo y evaluación
Febrero, 2011
Premios web
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Candidatos a Premios web
Sitio Web
Certamen
Categoría
felixrodriguezdelafuente.com
Clasificación
Valor
SIRIUS
Ganador
83,73
Finalista
69,88
Finalista
81,83
Ganador
84,46
Finalista
85,84
Finalista
78,43
Ganador
79,75
Finalista
78,07
infodisclm.com
Finalista
77,54
cartes.es
Ganador
86,13
Finalista
83,45
Finalista
72,08
Ganador
84,18
Finalista
80,08
Finalista
78,40
portalparados.com
Premios Internet 2010 Mejor Web
sigojoven.com
yokmok.com
gowex.com
Premios Internet 2010 Mejor Empresa
chivasentada.com
libredebarreras.es
aytoburgos.es
cdtuc.com
Premios Internet 2010 Mejor Iniciativa
Premios web
Cantabria 2010
Mejor web
Institucional
parquedecabarceno.com
www.guerrascantabras.net
www.productorespasiegos.com
www.avpsanroque.com
Premios web
Cantabria 2010
Mejor web
Asociativa
Febrero, 2011
Concordancia SIRIUS /
Jurado
TOTAL
APROXIMADO
TOTAL
TOTAL
TOTAL
Peores sitios 2010
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Candidatos a Peores sitios del 2010
Febrero, 2011
Sitio Web
Valor de
Sirius
art.yale.edu
35,80
www.joneschijoff.com
30,24
www.siphawaii.com
49,98
www.gotmilk.com
55,77
www.indiana.edu/~ensiweb
55,94
Peores sitios 2010
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Candidatos a Peores sitios del 2010
Búsqueda
Layout
Criterio
Valoración
LA1. Se aprovechan las zonas de alta jerarquía
informativa de la página para contenidos de
mayor relevancia
0
LA2. Se ha evitado la sobrecarga informativa
Criterio
Valoración
BU1. Si es necesaria, se encuentra accesible desde
todas las páginas del sitio
10
BU2. Es fácilmente reconocible como tal
5
0
BU3. Se encuentra fácilmente accesible
8
LA3. Es una interfaz limpia, sin ruido visual
0
BU4. La caja de texto es lo suficientemente ancha
LA4. Existen zonas en blanco entre los objetos
informativos de la página para poder descansar la
vista
10
0
BU5. Sistema de búsqueda simple y claro
10
BU6. Permite la búsqueda avanzada
0
LA5. Uso correcto del espacio visual de la página
0
LA6. Se utiliza correctamente la jerarquía visual
para expresar las relaciones del tipo "parte de"
entre los elementos de la página
0
LA7. Se ha controlado la longitud de página
0
LA8. La versión impresa de la página es correcta
0
LA9. El texto de la página se lee sin dificultad
0
LA10. Se ha evitado el texto parpadeante /
deslizante
10
BU7. Muestra los resultados de la búsqueda de
forma comprensible para el usuario
BU8. Asiste al usuario en caso de no poder ofrecer
resultados para una consultada dada
Febrero, 2011
10
5
Empresas Nasdaq
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Empresas del índice Nasdaq
En el ámbito de las aplicaciones de comercio electrónico se establece que la
usabilidad de sus sitios web influye de manera directa en las ventas de la empresa
(Nielsen 2001, Black 2002, Bias 2005).
Se realizaron mediciones de usabilidad en los sitios web de una muestra significativa
de empresas en dos años consecutivos para determinar el nivel de usabilidad
alcanzado y cuantificar la variación en la misma en los dos años considerados.
Si se logra establecer esta relación entre usabilidad y ventas en base a las
mediciones proporcionadas por Sirius, dado que esta hipótesis ya está ampliamente
contrastada en varios estudios, se podría concluir que la métrica es válida ya que
determina de manera correcta las variaciones en el nivel de usabilidad de los sitios
evaluados.
Febrero, 2011
Empresas Nasdaq
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Empresas del índice Nasdaq
Symbol
Company
AMZN
Amazon.com Inc
Apollo Group Inc
AutoNation Inc
Bed Bath & Beyond Inc
Big Lots Inc
Black & Decker Corp
Carnival Corp
Centex Corp
Coach Inc
Comcast Corp A
Darden Restaurants Inc
Eastman Kodak Co
Family Dollar Stores Inc
Gannett Co Inc
General Motors Corp
Harman Intl Industries Inc
Horton D.R. Inc
Johnson Controls Inc
Leggett & Platt
Lennar Corp A
Lowe's Cos Inc
APOL
AN
BBBY
BIG
BDK
CCL
CTX
COH
CMCSA
DRI
EK
FDO
GCI
GM
HAR
DHI
JCI
LEG
LEN
LOW
Symbol
Company
MAT
Mattel Inc
McDonald's Corp
McGraw-Hill Cos Inc
Meredith Corp
New York Times Co A
Omnicom Group
Penney J.C. Inc
RadioShack Corp
Scripps Networks Interactive
Sears Holdings Corp
Sherwin-Williams Co
Snap On Inc
Stanley Works
Starbucks Corp
Starwood Hotel & Resort World
Target Corp
Time Warner Cable Inc
Time Warner Inc
TJX Cos Inc
Walt Disney Co
Whirlpool Corp
Yum! Brands Inc
MCD
MHP
MDP
NYT
OMC
JCP
RSH
SIN
SHLD
SHW
SNA
SWK
SBUX
HOT
TGT
TWC
TWX
TJX
DIS
WHR
YUM
Febrero, 2011
Empresas Nasdaq
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Empresas del índice Nasdaq
Symbol
Usabilidad
2005
Usabilidad
2006
AMZN
BDK
CCL
DRI
EK
MDP
SHW
SNA
YUM
73,68
82,91
72,69
82,54
81,72
61,40
75,91
74,44
79,57
75,20
85,82
72,69
82,54
79,33
61,40
86,66
82,63
81,85
Variables estudiadas
Ventas 2006 / Usabilidad 2005
Ventas 2007 / Usabilidad 2006
ρ de Spear man
Nivel de
significación
0,363
0,325
0,017
0,033
La usabilidad tiene un impacto positivo en las ventas de una empresa. Esto corrobora que las medidas
proporcionadas por Sirius han estimado de manera fiable los niveles de usabilidad, dado que han
permitido demostrar empíricamente la relación entre ventas y usabilidad
Febrero, 2011
Aplicación en desarrollo
Universidad de Oviedo
Departamento de Informática
Inicio>>Validación>>Aplicación de Sirius en desarrollo
Instrumento de evaluación y orientación en el rediseño de sitios web personales de
alumnos del Máster en Ingeniería Web. El total de los alumnos o bien rediseñaron
completamente su sitio web en base a los resultados obtenidos o bien corrigieron
los criterios no evaluados con la máxima puntuación.
Instrumento de evaluación de sitios web reales en explotación. Contaron con un
método claro y concreto para poder emitir informes acerca del nivel de usabilidad
de un sitio web y recomendar las oportunas acciones de mejora.
Febrero, 2011
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Estado del arte
Sistema de evaluación SIRIUS
Validación
Herramienta de soporte
•
•
•
•
•
•
Objetivos y Funcionalidad general
Alta de tipo de sitio Híbrido
Evaluación de un sitio web
Relación priorizada de criterios a subsanar
Informe EARL
Ontología asociada al sistema de evaluación
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Herramienta
Universidad de Oviedo
Departamento de Informática
Inicio>>Herramienta de soporte>>Objetivos y Funcionalidad general
Servir de soporte a la evaluación heurística de la usabilidad, presentando una serie
de criterios a chequear en el sitio web en evaluación y proporcionando el porcentaje
de usabilidad obtenido en el sitio evaluado.
Identificación de la relación de los criterios a mejorar en el sitio ordenados por orden
de prioridad, de manera que el primer criterio de la lista sea el que proporcione el
mayor incremento en el nivel de usabilidad del sitio.
Permitir la visualización de los valores asignados por los evaluadores a cada uno de
los criterios evaluados así como las observaciones realizadas por los mismos durante
el proceso de evaluación.
Obtener un informe en un formato compatible y estándar, propuesto por el W3C,
EARL (Evaluation and Report Language) con el resultado de la evaluación realizada
en el sitio web.
Febrero, 2011
Herramienta
Universidad de Oviedo
Departamento de Informática
Inicio>>Herramienta de soporte>>Objetivos y Funcionalidad general
. Administrador
. Auditor
. Evaluador
Auditor registra
sitio web a
evaluar
Administrador lo
activa para
evaluación
Evaluador valida
los criterios
Febrero, 2011
Auditor accede a
los resultados
Sitio híbrido
Inicio>>Herramienta de soporte>>Alta de tipo de sitio Híbrido
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Evaluación
Inicio>>Herramienta de soporte>>Evaluación de un sitio web
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Resultados
Inicio>>Herramienta de soporte>>Relación priorizada de criterios a subsanar
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Resultados
Inicio>>Herramienta de soporte>>Relación priorizada de criterios a subsanar
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Informe EARL
Inicio>>Herramienta de soporte>>Informe EARL
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Ontología
Inicio>>Herramienta de soporte>>Ontología asociada al sistema de evaluación
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Estado del arte
Sistema de evaluación SIRIUS
Validación
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Conclusiones
Universidad de Oviedo
Departamento de Informática
Inicio>>Conclusiones
Sistema de evaluación de la usabilidad web basado en la revisión de
heurísticas que, además de ser aplicable a cualquier tipo de sitio web,
pondera el incumplimiento de los criterios evaluados dependiendo del tipo de
sitio en revisión.
Sistema fácilmente escalable
Relación completa de aspectos y criterios
Clasificación de sitios web e identificación de audiencia y tareas
críticas.
Métrica cuantitativa.
Herramienta web de soporte.
Representación formal del sistema mediante una ontología.
Febrero, 2011
Contenido
Universidad de Oviedo
Departamento de Informática
Introducción
Estado del arte
Sistema de evaluación SIRIUS
Validación
Herramienta de soporte
Conclusiones
Líneas futuras de investigación
Febrero, 2011
Líneas futuras
Universidad de Oviedo
Departamento de Informática
Inicio>>Líneas futuras de investigación
Profundizar en el análisis de la usabilidad en dominios de aplicación
específicos para adaptar de manera dinámica la relación de criterios a utilizar
en la evaluación de los mismos.
Ampliación del sistema de evaluación con un modelo de evaluación de
usuarios.
Evaluación automática de la usabilidad.
Búsqueda de soluciones de implementación que permitan incorporar de
manera más eficiente la ontología a la herramienta desarrollada.
Utilización de herramientas colaborativas en el proceso de evaluación.
Febrero, 2011
Publicaciones
Universidad de Oviedo
Departamento de Informática
Inicio>>Publicaciones
Publicaciones relacionadas con el ámbito de la tesis
•Alva M.E., Martínez A.B., Suárez M.C., Labra J.E., Cueva J.M. y Sagástegui H. “Towards the evaluation of
usability in educative Websites.” International Journal Technology Enhanced Learning. Vol. 2, Nos. 1/2, pp. 145-161.
2010.
•Martínez A.B.; Juan A.; Álvarez D.; Suárez M.C. “WAB*: A quantitative metric based on WAB”, in Proceedings of
the 9th International Conference on Web Engineering (ICWE 2009), LNCS Vol. 5648, pp. 485-488, Springer-Verlag
Berlin Heidelberg. 2009.
•Alva M.E., Martínez A.B., Suárez M.C., Labra J.E., Cueva J.M. y Sagástegui H. Proposal of a Tool of Support to
the Evaluation of User in Educative Web Sites. pp.: Lecture Notes in Artificial Intelligence (LNAI 5288). SpringerVerlag. pp. 149-157. Atenas, 2008.
•Alva M.E., Martínez A.B., Suárez M.C., Sagástegui H. y Cueva J.M. “Definiendo una estructura de evaluación para
medir la usabilidad de sitios web educativos”. Conferencia iadis Ibero-Americana. WWW/Internet 2007. 7-8 octubre.
Vila Real. Portugal
Febrero, 2011
Publicaciones
Universidad de Oviedo
Departamento de Informática
Inicio>>Líneas futuras de investigación
Publicaciones relacionadas con el ámbito de la tesis
•Alva M.E., Martínez A.B., Cueva J.M., Suárez M.C., Sagástegui H. y Joyanes L. “Configuración del Árbol de
Requisitos de Usabilidad para la Evaluación de Sitios Web Educativos”. SISOFT2005. pp.211-218. República
Dominicana, 2005.
•Alva M.E., Martínez A.B., Cueva J.M. y Suárez M.C. “Factores Fundamentales en la Evaluación de Sitios Web
Educativos: Perfil de usuario, Clasificación y Parámetros de Evaluación de Usabilidad”. VI Congreso de Interacción
Persona Ordenador. 2005.
•Suárez M.C, Martínez A.B., Cueva J.M. Revisión de Metodologías para el Desarrollo de Sitios Web. Actas
Interacción 2003. Vigo. ISBN: 84-932887-4-8
Febrero, 2011
Universidad de Oviedo
Departamento de Informática
TESIS DOCTORAL
Sistema de Evaluación de la Usabilidad Web
orientado al Usuario y basado en la
determinación de Tareas Críticas
M. del Carmen Suárez Torrente
Director: Dr. Juan Manuel Cueva Lovelle
Directora: Dra. Ana Belén Martínez Prieto
Febrero, 2011