Transcript MODELING HUMANS IN HUMAN COMPUTER INTERACTION

MODELING HUMANS
IN HUMAN COMPUTER
INTERACTION
CONOCIMIENTO BASICO PARA EL
MODELADO

Tres aspectos a considerar:




Cognitivo
Físico
Afectivo
Modelado de errores humanos
SISTEMA DE MEMORIA HUMANA


Memoria a corto plazo
(STM) o Working
Memory (WM)
Memoria a largo plazo
(LTM)




Estructuras o esquemas.
Frames
Scripts
Redes semánticas
Modelo de procesamiento de
Información

El conocimiento entra a través de los
sentidos, de la parte consciente a la
inconsciente, y las acciones de la parte
inconsciente a la consciente, después de
cierto procesamiento
MODELO DE PROCESAMIENTO
DE INFORMACIÓN (Card et. al.)
Long Term Memory  Indefinido
Working Memory  7 +/- 2
Almacén de
Almacén de
imágenes
imágenes
visuales
auditivas
Procesador
cognitivo
Procesador
perceptual
Procesador
del sistema
motor
Modelo de Control de
Procesamiento de Información
Symptomathic Rule
S-Rule
Topographic Rule
T-Rule
Attentional mode
Schematic mode
Procesamiento serial
Procesamiento serial
Consciente
Inconsciente
Consume tiempo y requiere
esfuerzo mental
Rápida respuesta, esfuerzo
mínimo
Solución de problemas en
nuevas situaciones
Excelente en situaciones
conocidas, no efectivo en
situaciones inesperadas
MULTIADDER MODEL
Psychological
aspect

Comportamiento
humano en la
solución de
Upper
problemas
level

Orientado a metas
Lower
level
Processing
aspect
Sistema cognitivo en 2 capas
Aspecto de procesamiento
Procesadores a
alto nivel
Aspecto psicológico
Amplio rango de tiempo
Control sobre procesos
mas bajos
Monitorea el progreso
Atención consciente sobre
proceso de planeación y
monitoreo
Ofrece formas de llegar a
la meta
Selección restrictiva en la
STM
Procesadores a
bajo nivel
Funciones de proceso de
conocimiento automáticas
Ejecución automática de
esquemas apropiados de AI
Corto plazo respondiendo
a un conjunto de datos
específico
Recuperación por similitud o
frecuencia
Recepción visual de la interfaz




Una misma entrada
cambiará de significado
dependiendo del
enfoque del usuario o
el contexto de la tarea
Señales
Signos
Símbolos
Modos Cognitivos a nivel Interfaz

Respuesta inconsciente,
comportamiento reflejo

Señal

Respuesta consciente
basada en reglas

Signo

Respuesta basada en
conocimiento, después de un
proceso de pensamiento
abstracto

Símbolo
COMPORTAMIENTO
J. Ramussen
Prediciendo errores humanos




Familiarización – Falta de atención (Strong-butwrong error)
Selección – No identificar los datos generales o
importantes (Cognitive overload)
Información estructurada de manera teórica –
Problemas al aplicar el conocimiento debido a la
distorsión (Confirmation bias)
Recuperación de contenido – Aplicar lo que se
conoce y que falle en el caso particular (Availability,
Matching bias)
Sistema de Modelado Genérico de
Errores (GEMS) -- Modelado Dinámico

Errores desde la Psicología Cognitiva



Error por omisión
Error por comisión
Modelado de errores en GEMS



En el comportamiento basado en habilidades
En el comportamiento basado en reglas
En el comportamiento basado en conocimiento
Sistema de Modelado Genérico de
Errores (GEMS) -- Modelado Dinámico

Falla de monitoreo



Siempre que se hace una tarea repetitiva, hay
una revisión intermitente
Availability - Activación de memoria errónea
Strong-but-wrong error – La revisión no está
sincronizada con la acción
Sistema de Modelado Genérico de
Errores (GEMS) -- Modelado Dinámico

Falla en la solución de problemas





La información se toma como entrada para
resolver el problema
Availability
Defecto en la base de conocimiento
Matching bias
Cognitive overload
Sistema de Modelado Genérico de
Errores (GEMS) -- Modelado Dinámico

Problemas en el comportamiento basado en
el conocimiento

Errores en el sistema



A priori. Deficiencia de conocimiento en las
características del sistema
A posteriori. Adaptación inicial, pero el sistema falla y
su estado se vuelve inestable, de manera que el
operador no puede continuar trabajando con él
Deterioro en las habilidades del usuario bajo
condiciones de stress
ESQUEMA DE ERRORES
HUMANOS EN LA INTERFAZ
Marco Conceptual de
Comportamiento Humano
1.
2.
Rendimiento correcto y predicción de
errores humanos
Simulación del comportamiento humano a
través de la Inteligencia Artificial
MARCO CONCEPTUAL DEL
MODELO COGNITIVO HUMANO
Métodos de modelado humano
por simulación computacional

Un modelo humano es cualitativo en la
naturaleza.

Para el propósito de una aplicación ingenieril
es necesario modificar este modelo de una
manera mas sistemática que pueda de
funcionar en una computadora.
Process model
Observe – Percepción selectiva de los objetos
●
Interpret – Diagnosticar el estado del sistema
●
Plan – Proponer una meta y procedimiento para
alcanzarla
●
Execute – Es la realización de los pasos
necesarios para alcanzar la meta antes propuesta
●
Memory – Es el almacenamiento y reutilización de
experiencias anteriores
●
Knowledge model

Configuration Space – Descripción estática de forma,
interconexión y otros atributos de entidades físicas que
componen el sistema.

Cause-Consecuence Relation Space – Describe el
mecanismo físico del sistema y su comportamiento.

Sate Space – Describe el estado del espacio mediante la
observación de variables dinámicas en el sistema.

Goal Space – Describe el funcionamiento del sistema y la
relación entre objetivo y medios para alcanzarlo.
Control model

Scrambled Control – Human behavior in
panic

Opportunistic Control – Human behavior in
a hurried situation

Tactical Control – Conservative state of
human behavior

Strategic Control – Proactive state of
human behavior
Modelo humano
Knowledge model
Control Model
Goal
State
Strategic
Cause-Consequence
Relationship
Tactical
Opportunist
ic
Scramble
d
Configuration
Process model
Interpret
Plan
Memory
Observe
Execute
Por: Furuta and Kondo (1993)
Implementación de modelado
humano en computadoras

Observación y reconocimiento de estado – Modelos
computarizados del proceso cognitivo humano.

Conversión a información cualitativa – Clasificar la
información por categorías y ajustarlas mediante la
interrogación del usuario.

Identificación de estado – Suponer y mostrar un estado al
usuario y luego intentar reducir lo síntomas.
Implementación del modelo de
control

Usar una técnica que permita modificar
flexiblemente los métodos de inferencia

Simular diferentes comportamientos para
usuarios de diferentes personalidades
Blackboard System
Engelmore and Morgan (1988)
Knowlwdge
source
Knowlwdge
source
Knowlwdge
source
Knowlwdge
source
Knowlwdge
source
Blackboard
Knowlwdge
source
Knowlwdge
source
Knowlwdge
source
Aplicación de modelos
humanos para IHC
Configuración del sistema
SEAMAID


Desarrollado para hacer simulaciones en tiempo real de interacciones de
humanos-computadoras en varios casos de emergencia de planta nuclear
Dividido en dos partes:

Simulación Humano-Computadora: 3 simuladores en tiempo real
 Simulador de planta: Simula el reactor de agua presurizada
 Simulador de interfaz Humano-Computadora
 Simulador de modelo humano
Operaciones
Manuales
Documentos de
Diseño de interfaz
Hombre – Máquina
Simulador de Modelo
Humano
Resultados de
Simulación de
Interacción
Hombre - Máquina
Interfaz Simuladora
Hombre - Máquina
Simulador de la
Planta
Analizador de
interacción HombreMáquina
Parte de simulación
Hombre – Máquina
del sistema
Parte de evaluación
de interfaz Hombre Máquina
(En línea)
(Fuera de línea)
Resultados de
Evaluación
Simulador de interfaz Humano-Computadora:
Configuración del simulador de interfaz humanocomputadora basado en iconos, orientados a objetos


El equipo de HW en el
cuarto de control puede ser
entendido como la
interrelación de hojas e
iconos usando el marco
teórico de la IA
Tiene una clase de modelo
de base de datos on-line
que describe la estructura
jerárquica del equipo
humano-computadora
Simulador de interfaz Humano-Computadora:
Implementación a computadora de un
ambiente de interacción en SEAMAID


El método de representación de un
sistema de simulación en tiemporeal con el simulador dentro de todo
el sistema.
Realiza la separación de la
interacción del modelo del ambiente
mediante dos memorias
compartidas para juntar el simulador
de la interfaz hombre-máquina con
el simulador humano computadora
para evitar el cuello de botella de
transferencia de datos entre ellos:


Memoria 2: información de la
posición del operador y la operación
del actuador dados por el simulador
humano-computadora según estos
datos se calcula posicíones.
Memoria 1: Guarda los resultados
obtenidos para el uso de alarmas y
lectura de metros
Simulador de modelo humano:
Marco conceptual de modelo operador en
SEAMAID

Dos modelos para describir 3
modos de el conocimiento
cognitivo del operador:


Habilidades y comportamiento
basado en reglas para manejar
cambios en la planta según los
procedimientos estándares
Comportamiento basado en
conocimiento para diagnosticar
anomalías por inferencia con
la combinación de señales de
instrumentación monitoreada y
conocimiento preadquirido
para la instrumentación del
control de la planta y
comportamiento de sistemas
de control
Configuración de un sistema asistido por computadora
de experiencias por realidad virtual

Modelos Humanos:




Modelo del estudiante:
Conocimientos y
habilidades profundas
Modelo del estudiante:
Debe ser construido para
adquirir conocimientos y
habilidades.
Interfaz VR: El estudiante
real aprende en este
ambiente
ITS: Educa al estudiante de
la mejor forma, comparando
su desempeño con el
modelo del maestro
Resultados de simulación del comportamiento del
operador en cuarto de control virtual
Comunicación mutua entre el colaborador virtual y el
operador humano
Comunicación mutua entre humano-máquina en la era
de tecnologías de la información en siglo XXI
Conversational
Interface
Technologies
La
meta de las tecnologías de conversación es cerrar
el espacio entre la interacción humano-computadora y
la interacción humano-humano.
Los
principios básicos de la interacción humanocomputadora son:
Características
de los usuarios.
Tareas dentro de la conversación.
Contextos de uso para aplicaciones
que emplean estas tecnologías.
Características del usuario





Hablantes nativos o nonativos.
Usuario experto vs. Casual.
Edad.
Estado físico (cansancio,
humor, etc. ).
Educación.
Tareas dentro de la conversación




Composición (creación de documento).
Trascripción (registro textual de la
conversación).
Transacción (Más popular, completar una o
más transacciones).
Colaboración (comunicación síncrona y
asíncrona).
Contexto de uso
(físico y social)

Características del
canal de audio y de
dispositivos.

Contexto físico de
interacción.
Contexto social.

Diseño centrado en el usuario

Fuertemente recomendado.

Empieza con una definición clara del perfil del usuario
meta, porque la sintaxis y el léxico puede variar
tremendamente entre poblaciones de usuario diferentes.

El diseñador del sistema lleva a cabo el análisis de una
tarea para entender como el usuario realiza diferentes
tareas que el sistema soporta.
Diseño centrado en el usuario

Como parte del esfuerzo inicial de colección de datos,
el diseñador trabaja con usuarios representativos
para





identificar núcleos de escenarios de tareas de usuario
definir pasos,
tipos de interacción
y palabras que los usuarios emplean para completar un
conjunto de tareas.
Colección de datos se refiere al proceso de


obtener ejemplos de conversaciones en las cuales un
usuario se compromete a cumplir una tarea con el sistema.
Su objetivo es definir léxicos, sintaxis, funcionalidad y
rango conceptual del sistema a diseñar.
Algunas tecnologías
conversacionales




Automatic Speech Recognition (ASR)
Speech Synthesis
Natural Language Processing (NLP) y
Natural Language Understanding (NLU).
Speaker Recognition: Verification,
Identification, and Classification.
Automatic Speech Recognition
(ASR)

¿Cómo funciona?

Analiza la señal acústica recibida a través de
un micrófono conectado a la computadora. El
usuario dicta algún texto y el micrófono capta
la señal acústica como datos digitales y luego
es analizado por un modelo acústico y un
modelo de lenguaje. Puede ser otro
dispositivo.

Existen dos clasificaciones:
 Speaker-dependent.
 Speaker-independent.
ASR (cont…)
ASR (cont…)

Capacidades y Limitaciones

Depende de las cualidades del micrófono o dispositivo.

Es mejor cuando depende de un modelo de voz del usuario.

Corrección de errores (directos, indirectos e intención).




Directos: tartamudeo, presionar la tecla incorrecta, misspeak.
Intención: cuando el usuario reformula una oración.
Indirectos: el sistema no reconoce lo que el usuario dice.
Ruido del contexto físico afecta.
ASR (cont…)

Algunos lineamientos para el diseño de interfaces de
aplicaciones ASR





La palabra say debe ser pronunciada para que el usuario empiece a hablar.
Si se requiere un proceso de entrenamiento debe ser hecho en el mismo
contexto en donde va ser usado el sistema.
El usuario debe ser capaz de interrumpir al sistema en cualquier momento.
El sistema debe permitir al usuario que este brinde información sin ser
interrumpido.
Ejemplos




Dominios como la medicina, leyes, finanzas, negocios y computación, que
tiene un vocabulario restringido.
Para personas con limitaciones físicas, que no puede usar sus manos, para
dictado.
Sistemas telefónicos de conversación que incluyen IVR con conversaciones
directas con los usuarios.
Finanzas, reservaciones aéreas, transacciones bancarias, etc.
Speech Synthesis

¿Cómo trabaja?


Permite a dispositivos
electrónicos simular el
habla humano.
Se busca lograr que:



Sea entendible por los
seres humanos,
que suene natural
y que sea personalizado
al usuario es decir, con
cierta entonación, etc.
Speech Synthesis
Speech Synthesis (cont..)

Capacidades y limitaciones.



El resultado es entendible pero no suena natural.
La complejidad de las reglas lingüísticas requeridas para
producir una salida precisa es una limitante.
Algunos lineamientos para diseño de interfaces de usuario.



El usuario debe tener cierto nivel de educación .
No deben tener impedimentos auditivos y tener habilidad física
para acceder al dispositivo del sistema.
Para que el sistema sea útil el contexto debe ser apropiado.
Speech Synthesis (cont..)

Ejemplos
 Acceso a información (acceso de voz a e-mail),
 orden de clientes (catálogos de ventas, productos y servicios
telefónicos),
 información para dispositivos e interfaces para
discapacitados.
 Interfaces para impedidos incluyen dos tipos de soluciones.
 Puede ser una “voz” para aquellos que no pueden
hablar.
 Puede ser unos “ojos” para aquellos que no pueden ver
y les lea información textual (e-mail para ciegos).
NLP y NLU

¿Cómo funcionan?

NLP se refiere a un amplio número de técnicas de
procesamiento para representar, extraer, responder a
y entender la semántica de textos.

NLU es un área de NLP enfocada a el entendimiento
del lenguaje natural en textos. NLU es el proceso de
analizar textos y tomar algunas acciones basadas en
el significado del texto.
NLP y NLU (cont..)
NLP y NLU (cont..)
Existen tres clasificaciones de las tecnologías de
diálogo: user-initiated, system-initiated y mixed-initiate.
La más popular es:

Mixed Initiative Dialogue: El inicio de partes de la
conversación cambia de un participante a otro. Ejemplo:
Conversación humano a humano.
Mixed Initiative dialogue es más eficiente que systeminitiative dialoge. Sin embargo, la satisfacción del
usuario es mayor con el system-initiative dialogue se
especula que es debido a que es más predecible y fácil
de aprender.
NLP y NLU (cont..)

Capacidades y limitaciones
 La mayoría de las aplicaciones NLU se pueden corren
fácilmente en una computadora de escritorio y laptops.
 Se ha popularizado su uso con tecnologías de manos libres.
 El diseño de sistemas que usan técnicas de interacción natural
le permite a los usuarios liberarse de aprender lenguajes
formales de un sistema.
 Las aspectos prometedores de estos sistemas menos
entrenamiento para el usuario, mejor recuperación de errores,
etc.
Lenguaje formal: Incluimos en esta frase lenguajes como SQL,
línea de comandos de UNIX, lenguajes de programación y GUIs.
NLP y NLU (cont..)


Voice XML: Es un estándar emergente para
interfaces distribuidas de conversación basadas en
Web. Simplifica el desarrollo de aplicaciones de voz
interactivas.
Lineamientos para diseño de interfaces para
aplicaciones NLU



Los principios básicos de interacción humanocomputadora deben estar presentes.
Población homogénea vs. heterogénea (respecto al uso
del lenguaje).
Adaptación del lenguaje y retroalimentación.
NLP y NLU (cont..)
• Ejemplos

La búsqueda de información en el Internet tiene
características de NLU.




Ask Jeeves usa técnicas de question-answering. Para
interpretar las consultas usa tecnología para hacer
parsers además usa minería de datos y una base de
conocimiento.
Uno de las áreas comerciales más prometedoras
es el desarrollo de sistemas NLU en telefonía.
E-mail routing.
Acceso a base de datos e información
NLP y NLU (cont..)
Speaker Recognition

Speaker Verification – Binary decision

Speaker Identification – From a list of enrolled
speakers

Speaker classification – Open-set of speakers
Basic capabilities





Estado físico, psicológico, emocional.
Variaciones en el canal de audio (micrófonos,
cableado, compresión, etc..)
Ruido del ambiente
Falsos positivos / Falsos Negativos
State of the art performance ~95% para
poblaciones pequeñas (100 usuarios)
User Interface Guidelines

Técnicas no intrusivas

Apropiado manejo de errores considerando
la experiencia del usuario

Combinación con otros tipos de biometría
(p.e. Face recognition)

Identificar la mejor combinación de cada
técnica