Transcript Ingineria utilizabilitatii

Ingineria utilizabilitatii
HCI – curs 10
Ingineria utilizabilitatii
• Proces care se desfasoara de-a lungul ciclului de
viata al unui program
• Fiecare proiect e diferit si fiecare interfata va arata
altfel
• Activitatile care duc la un rezultat bun sunt aceleasi
• “Usability peanut butter metaphor”
• Un sistem de help extraordinar nu va transforma un
sistem prost conceput in unul acceptat de utilizatori
Ingineria utilizabilitatii
• In general, pare o activitate costisitoare (experti, utilizatori
potentiali, sesiuni de testare, echipamente)
• Abordari “ieftine”:
– Observatia utilizatorilor si sarcinilor
– Scenarii
– Protocoale “think aloud”
– Evaluare euristica
User centered design
Usability Engineering (UE) vs Software
Engineering (SE)
• SE:
– Abordarea sistematica in dezvoltarea sistemelor informatice
– Foloseste modele ale proceselor care definesc activitati, secventa
in care acestea se desfasoara si rezultatele lor
– Scopul: identificarea proceselor si a structurilor de date care vor
participa la realizarea solutiei
• UE:
– Cum sa dezvoltam sisteme usor de folosit?
– Abordare in dezvoltarea de sisteme informatice care care implica
participarea utilizatorilor inca de la inceput, care garanteaza
eficacitatea produsului prin intermediul unor metrici ale utilizabilitatii
si a unor specificatii legate de utilizabilitate
– Foloseste modele care descriu activitati si rezultatele lor si ordinea
in care aceste activitati se desfasoara
– Scopul:Identificarea de metode de implementare a nevoilor
utilizatorilor si asigurarea eficientei, operativitatii si satisfactiei
UE vs SE
• Cerinte:
– SE
• orientate pe sistem (functionale, hard)
– UE
• nevoi ale utilizatorilor si fluxuri de activitati (analiza
sarcinilor)
• Evaluare:
– SE
• Verificare – corectitudinea functionalitatilor implementate
(codului) + Validare – acceptare din partea utilizatorilor
(QA)
– UE
• indeplinirea nevoilor utilizatorilor si completitudinea
workflow-ului (testarea utilizabilitatii)
Proiectarea interfetelor si ingineria utilizabilitatii
Scopuri:
Cine sunt utilizatorii
Ce sarcini executa
Proiectare
centrata pe
utilizator/sar
cini
Metode:
Proiectare
participativa
Idei de
proiectare
Psihologie
Evaluare
sarcini
Implicare
utilizatori
Proiectari
rafinate
Proiectare
finala
Design
Scenarii
grafic
Reprezentari/
Recoman
dari
metafore
Principii
Testarea
utilizabili
tatii
Testare
Evaluare
euristica
Metode de
prototipizare
ieftine
Rezultate:
Descrieri
utilizatori si
sarcini
Prototipuri pe
hartie (SE
ARUNCA)
Metode de
prototipizare
avansate
Prototipuri
executabile
Sisteme
finalizate
Evaluarea utilizabilitatii
• Metode cantitative
– Metrici
– Chestionare
• Metode calitative
– Interviuri
– Focus group-uri
– Observatia
• Avantaje/dezavantaje
• Cel mai usor de aplicat (pentru noi) – metode
cantitative – uneori calculate automat
Metrici ale utilizabilitatii
• Una din modalitatile de a masura utilizabilitatea
• Preferabila uneori - rezultatele numere
• Permit:
– Urmarirea progresului de la o versiune la alta
– Pentru a-ti evalua pozitia pe piata
– Pentru a decide daca e momentul pentru a lansa un produs
sau nu
Cum masuram?
•
Utilizabilitatea se masoara relativ cu performanta utilizatorului in raport
cu o multime de sarcini
•
Metricile fundamentale sunt relationate de definitia utilizabilitatii ca
metrica a calitatii:
– Rata de succes (pot utilizatorii sa realizeze o sarcina?)
– Timpul necesar realizarii unei sarcini
– Rata erorilor
– Satisfactia subiectiva a utilizatorilor
•
Exista si metrici specifice:
– Procentajul de timp in care utilizatorii urmeaza un drum optimal prin
sarcina
– Numarul de ocazii in care utilizatorii trebuie sa revina dintr-o stare
in realizarea sarcinii
•
Metricile pot fi calculate atat pentru experti, cat si pentru novici
Metode cantitative vs metode calitative?
• Metode calitative: 3-5 utilizatori
suficienti
• Metode cantitative – recomandat cel
putin 20 utilizatori, dar e nevoie de un
expert care sa conduca studiul
Compararea a doua proiectari
• Test de utilizabilitate organizat de
Macromedia pentru un site dezvoltat folosind
Flash
• Un site reproiectat conform unor principii si
recomandari de utilizabilitate
• Cele doua versiuni testate cu acelasi grup de
utilizatori
Rezultate calcul metrici
Reproiectare
Task 1
Proiectare
originala
12 s
Task 2
75 s
15 s
Task 3
9s
8s
Task 4
140 s
40 s
Scorul de
44.75
satisfactie (12-84)
6s
74.50
Recomandari
• Sarcinile pe care trebuie sa le indeplineasca utilizatorii sa nu fie
extrem de simple (cateva secunde), ci mai complexe si orientate
pe scop (durata de cateva minute)
• Probleme legate de interpretarea relatiei sarcina-timp:
– Adunarea timpilor necesari realizarii celor 4 sarcini va da o masura
a imbunatatirii modului de realizare a sarcinilor (in cazul nostru
imbunatatirea e de 242%), DAR
– E esential sa stim care din sarcini se executa mai frecvent (ex:
daca utilizatorii efectueaza mai des Task 3 si celelalte mai rar,
imbunatatirea nu e chiar atat de mare)
•
Atunci cand sarcinile nu se executa cu aceeasi frecventa, atunci se va calcula separat pt
fiecare sarcina imbunatatirea:
– Task 1: scor relativ 200% (imbuntatatire de 100%).
– Task 2: scor relativ 500% (imbuntatatire de 400%).
– Task 3: scor relativ 113% (imbuntatatire de 13%).
– Task 4: scor relativ 350% (imbuntatatire de 250%).
•
Calculand astfel imbunatatirea este de 150%, nu 242%
Recomandari
• Este recomandabila folosirea mediei geometrice in
locul mediei aritmetice in evaluarea utilizabilitatii
• ex: 2 metrici:
– Pentru prima metrica utilizabilitatea creste cu
200%
– Pentru a doua metrica utilizabilitatea se
injumatateste 50%
– Media aritmetica: 125% - imbunatatire cu 25% nerealist
– Media geometrica este 2*0.5=1, rezultat mai
realist
Recomandari
• Odata adunate rezultatele metricilor,
acestea trebuie interpretate si in raport
cu satisfactia utilizatorilor
• In exemplul Macromedia, satisfactia
utilizatorilor a crescut cu 66%
• Este un lucru comun ca la reproiectare
scorul de utilizabilitate sa se dubleze
Alegerea numarului de persoane
• Numarul de probleme identificate la un
test de utilizabilitate cu n utilizatori este
N(1-(1-L)n)
(Nielsen, Landauer), unde :
– N este numarul total de probleme de utilizabilitate
– L este procentul din numarul de probleme
identificate de un singur utilizator
In general…
• 0 utilizatori – 0 probleme de utilizabilitate 
• 1 utilizator – 1/3 probleme de utilizabilitate
• Al 2-lea utilizator – majoritatea problemelor identice cu cele
descoperite cu primul utilizator si inca mici noutati
• Al 3-lea utilizator va face o mare parte din lucrurile pe care le-ati
vazut la primul sau al doilea sau la ambii si va aduce un mic
aport de noutati
• Cu cat se adauga de acum inainte mai multi utilizatori, vei afla
din ce in ce mai putina informatie
• 5 utilizatori sunt in general suficienti pentru a identifica probleme
de utilizabilitate si a te putea intoarce la reproiectare
Curba numar de utilizatori-numar probleme de utilizabilitate
identificate pentru L=31%
Recomandari
• Daca exista buget pentru testare cu 15 utilizatori, e
recomandabil sa faceti 3 teste cu cate 5 utilizatori
• De ce nu 15 teste cu un singur utilizator?
– Exista riscul de a fi dusi in eroare de comportamentul unei
singure persoane care realizeaza anumite actiuni accidental
poate sau intr-o maniera nereprezentativa
– Analiza cost-beneficiu arata ca 3-5 utilizatori aduc cele mai
bune rezultate
• E recomandat un numar mai mare de utilizatori atunci
cand exista mai multe grupuri distincte de
utilizatori
Metode de evaluare a utilizabilitatii
• Metode de inspectare
– Evaluare euristica
– Cognitive walkthrough
– Action analysis
• Metode de testare
– Think aloud
– Field observation
– chestionare
Evaluarea euristica
• Metoda informala, simpla
• Foloseste o echipa de specialisti care stabileste daca
fiecare element al interfetei respecta standardele
• Fiecare evaluator lucreaza individual, iar la final e
permis sa comunice si sa schimbe pareri relative la
interfata
• La o sesiune de evalure, evaluatorul parcurge
interfata de mai multe ori si compara interfata cu
principiile de utilizabilitate recunoscute (euristicile de
utilizabilitate ale lui Nielsen)
• Este nevoie de 3-5 evaluatori
Evaluare euristica
• Avantaje
– Aplicarea unor principii acceptate si recunoscute
– Evaluarea se poate face in fazele initiale ale
dezvoltarii unui produs
– Identificarea efectiva si rapida problemelor majore
si minore de utilizabilitate
• Dezavantaje:
– Nu foloseste utilizatori reali
– Abilitatile expertilor in evaluare difera
Planificarea testarii utilizabilitatii
1.
Stabilirea obiectivelor utilizabilitatii
2.
Stabilirea locatiei de realizare a testarii si resursele
necesare
3.
Alegerea participantilor la testare
4.
Consimtamantul utilizatorilor
5.
Stabilirea sarcinilor utilizatorilor
6.
Interviuri pre- si post-test
7.
Chestionare post-test
1. Stabilirea obiectivelor utilizabilitatii
• Obiectiv al utilizabilitatii = aspect masurabil al
utilizabilitatii
• Obiectivele utilizabilitatii trebuie sa aiba 3
componente identificabile:
– Performanta: CE trebuie sa fie capabil sa faca utilizatorul?
– Conditii: IN CE CODITII ar trebui sa fie capabil utilizatorul sa
realizeze sarcinile?
– Criteriile: CAT DE BINE trebuie indeplinite aceste sarcini?
1. Stabilirea obiectivelor utilizabilitatii
•
Usurinta si eficienta navigarii – gasesc utilizatorii informatia de care au
nevoie ? (exista un pattern de navigare care sa se potriveasca modelului
menta al utilizatorului)
•
Utilitatea continutului – ce vor/au nevoie utilizatorii? Informatia este
grupata astfel incat utilizatorii sa gaseasca rapid informatia?
•
Eficienta prezentarii – designul grafic, fonturile si culorile marcheaza caile
de navigare si continutul, facand site-ul usor de navigat? Prezentarea
creeaza cumva o bariera intre utilizator si sistem?
•
Rata de succes in realizarea sarcinilor – sunt capabili utilizatorii sa isi
indeplineasca sarcinile? Dupa terminarea sarcinilor sunt furiosi, neutri,
frustrati sau satisfacuti?
•
O intelegere mai profunda a plusurilor si minusurilor pe care le ofera
proiectarea curenta
•
Identificarea unor modalitati de imbunatatire a proiectarii
Obiectivele utilizabilitatii
• Tipuri de obiective ale utilizabilitatii:
– Absolute:
• Autentificarea trebuie sa aiba loc in mai putin
de 7 secunde in cel mult 3 incercari
– Relative:
• Autentificarea trebuie sa se realizeze mai rapid
in noul sistem decat in vechiul sistem
Obiectivele utilizabilitatii
• Stabilirea unei prioritati a dimensiunilor utilizabilitatii:
– Memorabilitate
– Usurinta de invatare
– Eficienta in utilizare
– Recuperare din erori/prevenire a erorilor
– Satisfactia utilizatorilor
• Daca exista mai multe roluri (grupuri de utilizatori ai
aplicatiei), se va stabili o ierarhie pentru fiecare din
aceste grupuri
Obiectivele utilizabilitatii
• La stabilirea obiectivelor utilizabilitatii – intrebari esentiale:
– Cum voi masura aceste obiective?
– Exista resurse pentru a masura un obiectiv?
– Este clar care este grupul de utilizatori pentru care masor
obiectivul?
– Sunt toti membrii echipei de proiectare de acord cu
obiectivele propuse?
– Obiectivul este potrivit scopului si dimensiunii proiectului?
Obiectivele utilizabilitatii
• Cum se masoara progresul in directia atingerii
obiectivelor de utilizabilitate?
– Testarea utilizabilitatii
– Chestionare
2. Stabilirea locatiei
• La sediul dezvoltatorilor
• La sediul clientilor
• Intr-un al treilea loc
• Se va realiza inregistrare audio/video?
• Va exista o camera separata pentru
observatie?
3. Alegerea participantilor
• Participantii trebuie sa fie utilizatori reali
ai sistemului care repezinta un segment
ai utilizatorilor tinta
• Daca exista mai multe grupuri de
utilizatori – 3-5 utilizatori din fiecare
grup
• Alegerea participantilor - criterii
3. Alegerea participantilor
• Criterii obligatorii
– Reprezentativitate
• sa fie din grupurile principale de utilizatori
– Cunostinte/experienta:
• Sa stie foarte putin sau chiar nimic despre proiect
• Sa aiba cuostinte medii sau avansate despre subiectul
proiectului
• Sa-si asigure transportul la locatia unde se realizeaza
testarea
• Sa fie obisnuit sa opereze cu sistemul de operarea
Windows
3. Alegerea participantilor
• Criterii dezirabile (ideale):
– Experienta relativa la noul produs:
• Nu a mai folosit niciodata produsul
• A mai folosit produsul de cateva ori in ultimul an
• Foloseste produsul cel putin o data lunar
– Experienta anterioara
• A mai participat la teste de utilizabilitate
• Are un interes moderat in ceea ce priveste subiectele legate de
stiinta
– Organizatiile de provenienta:
• Agentii guvernamentale
• Institutii de invatamant
• Institutii media
3. Alegerea participantilor
• Criterii dezirabile:
– Experienta de utilizare a internetului:
•
•
•
•
Face cumparaturi online
Foloseste servicii de internet banking
Plateste facturi online
Foloseste emailul
– Sexul:
• Numar egal de participanti de sex masculin/feminin
4. Consimtamantul participantilor
• Este indicat din urmatoarele perspective:
– Daca se doreste inregistrarea audio/video este
necesara instiintarea utilizatorilor si obtinerea
consimtamantului de a folosi inregistrarile
– De obicei formularul stabileste si modalitatea de
recompensare a participantilor la test
5. Stabilirea sarcinilor din testul de utilizabilitate
• Sarcinile selectate trebuie sa se refere la cele mai
frecvente, importante sau dificile sarcini din cadrul
sistemului
• Pot fi selectate si sarcini care se doreste a fi
imbunatatite in versiunile urmatoare ale proiectului
• Sarcina:
• “Acesta este site-ul web dedicat aspectului “X”. Va rog descrieti
reactia dvs initiala relativ la aceasta pagina. Puteti explora
aceasta pagina cum ati face-o in mod obisnuit… Puteti folosi
scroll-ul, dar va rog nu efectuati nici un click inca”
Exemple sarcini
• Intrebari ajutatoare:
– Ati mai vazut inainte acest site?
– Descrieti impresiile generale despre layout-ul, culorile,
imaginile prezentate in aceasta pagina
– Fara a efectua nici un click descrieti optiunile disponibile si
ce credeti ca reprezinta, fara a le explora inca
– Pe care din optiuni ati dori sa efectuati click prima data? De
ce?
– Care credeti ca este scopul acestui site?
– Cui credeti ca se adreseaza acest site?
Exemple sarcini
• Sarcina:
– “Prietena dvs, Jane, a mentionat ca a auzit despre subiectul “X”, dar nu stie
exact la ce se refera. Credeti ca continutul acestui site ar ajuta-o sa
gaseasca raspuns la intrebarile ei despre X?”
• Sarcina:
– “Ati dori sa stiti cand continutul acestui site este actualizat. Cum ati
realiza acest lucru?”
• Sarcina
– “Doriti sa trimiteti un e-card unuia din prietenii dvs. Folosind acest
site web identificati daca e posibil acest lucru. In caz afirmativ,
trimiteti e-cardul”
• Sarcina:
– ”Predati o materie care include si informatii despre X. Doriti sa
formulati cateva exercitii legate de acest subiect. Continutul acestui
site va ajuta?”
6. Interviurile pre- si post-test
• Interviurile pre-test au scopul de a afla interesul participantului
despre subiectul acoperit de sistem, cat de frecvent consulta
materiale despre acest subiect si cat timp dedica acestei
activitati
• Interviurile post-test au scopul de a obtine feed-back de la
participantii la test in legatura cu experienta lor relativa la
produsul testat (impresia generala, il considera util, vor reveni la
acest site, etc).
Intrebari interviu pre-test
Site-ul testat se refera la subiectul X
•
Cautati vreodata informatii legate de X? (Daca nu:
salt la 10)
•
Ce resurse folositi pentru a afla informatii legate de
X? (siste-uri web, carti, stiri)
•
(Optional) Ce site-uri web vizitati pentru a afla
informatii despre subiectul X?
•
Cat de des le vizitati?
•
Ce va place la site-urile vizitate?
Intrebari interviu pre-test
• Ce nu va place la fiecare din site-urile vizitate?
• Ce fel de informatii legate de subiectul X cautati pe internet?
• Care sunt ultimele 3 lucruri pe care le-ati cautat pe internet
legate de subiectul X?
• Care este motivatia interesului dvs legat de subiectul X?
• Daca ar fi sa va imaginati site-ul web ideal pentru subiectul X ?
Ce fel de informatii ar contine?
Cum ar arata si cum s-ar comporta?
Cum ar fi oganizat?
Intrebari interviu post-test
•
Care este impresia generala pe care v-a creat-o site-ul web?
•
Daca ar trebui sa acordati o nota acestui site, de la 1 la 10,
unde 1 este cea mai slaba nota si 10 cea mai buna nota, ce
nota ati alege si de ce?
•
Enumerati 3 cuvinte sau caracteristici care descriu acest site
web.
•
Care sunt principalele 3 lucruri care va plac la acest site?
•
Care sunt principalele 3 lucruri care va displac la acest site?
Intrebari interviu post-test
• Idaca ati putea face o modificare majora acestui site, care ar fi
aceasta?
• Veti mai reveni la acest site din proprie initiativa? De ce (nu)?
• Ce v-ar determina sa reveniti?
• Exista materiale pe care ati dori sa le adaugati la acest site?
Care?
• Ati recomanda acest site unui coleg? Dar unui prieten?
• Aveti alte intrebari sau comentarii legate de acest site Web sau
expereinta pe care ati avut-o cu el?
Interviuri post-test
I didn’t see it.
Why don’t you
make it look like
a button?
Do you
know why
you never
tried
that
option?
7. Chestionare post-test
• Costisitoare pregatirea lor
• Se distribuie fiecarui participant la test cerandu-i-se sa noteze
anumite caracteristici ale sistemului testat
• Se prezinta un instructaj in care sunt prezentate semnificatiile
scalei de notare
• Ex: 1 – acord puternic
5 – dezacord total
• Calitatea rezultatelor depinde de
calitatea intrebarilor
7. Chestionare post-test
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Pagina home este atragatoare
Site-ul in general este atragator
Imaginile de pe site sunt placute.
Site-ul are echilibru intre text si imagine
Culorile folosite sunt placute.
Literele, titlurile sunt scrise intr-un mod placut
Continutul primei pagini ma determina sa doresc sa explorez
restul site-ului
Navigarea prin site este usoara
Obtin informatia dorita rapid.
Explorarea site-ului este placuta.
E usor sa-ti amintesti unde gasesti informatiile.
Informatia e distribuita bine in diferitele pagini.
Pagina de start iti capteaza atentia.
Informatia e usor de citit.
Informatia e prezentata intr-o maniera care mi se potriveste.
7. Chestionare post-test
•
•
•
•
•
•
•
•
•
•
•
•
•
Ecranele au o cantitate de informatie potrivita .
Site-ul prezinta in mod evident identitatea companiei.
Informatia e relevanta pentru nevoile mele.
Site-ul e conceput pentru mine.
Continutul site-ului ma intereseaza.
Continutul site-ului m-ar determina sa ma intorc.
Continutul site-ului are caracteristici care il fac placut.
Site-ul are o proiectare futurista.
Site-ul se potriveste celor care il viziteaza pentru prima data.
Site-ul se potriveste celor care revin.
Site-ul are un scop clar.
Am simtit mereu ce este posibil sa fac la urmatorul pas.
Este clar modul in care elementele de pe ecran ( pop-upuri,
liste, meniuri, etc.) functioneaz.
• Greselile pe care le-am facut au fost usor de corectat.
Testarea de utilizabilitate
• Dupa realizarea testarii de utilizabilitate este
necesara:
– realizarea unei intalniri cu echipa de testare (cat
de curand posibil) pentru a discuta concluziile
testarii si a analiza rezultatalele
– Scrierea unui raport si discutarea acestuia cu
stakeholderii (beneficiarii)
– Specificarea pasilor urmatori in realizarea
proiectului si atingerea obiectivelor de
utilizabilitate
Grila de notare a proiectului
•
La evaluarea proiectului se vor lua in considerare urmatoarele aspecte:
–
–
–
–
–
Respectarea cerintelor utilizatorului - 30%
Respectarea principiilor de proiectare a interfetelor utilizator - 20%
Realizarea analizei sarcinilor – 25%
Prezentarea – 10%
Calitatea intocmirii documentatiei -15%
•
Fiecare grup de studenti va primi 2 note (E1-clientul si E2 indrumatorul) corespunzator acestei grile (cate o nota de la fiecare
evaluator).
•
Toti membrii grupului trebuie sa trimita evaluare de grup cel tarziu pana
in week-endul care precede prezentarea
•
In cazul unei evaluari considerate valide din partea grupului (nota G),
formula de calcul a notei finale pe proiect pentru fiecare student va fi:
– F= 50% E1+40%E2+10%G
•
Aceasta formula finala poate suferi variatii in functie de situatiile care
vor aparea pe parcursul prezentarilor si in functie de modalitatea de
realizare a evaluarii de grup.