Transcript TestForum 2014 - NFI Utbildning

TestForum 2014
2014-04-09
Robert Magnusson, Nordic Medtest, Karlstad
Lars Palm, Temagon AB / Future Position X, Gävle
NMT:s definition av testning
Testning är en empirisk, teknisk
undersökning i syfte att ta fram
kvalitetsrelaterad information om en
produkt åt intressenter
2
Dagens agenda
• Användbarhet
- Vad är användbarhet?
- Varför vill man testa användbarhet?
• Användbarhetstest
- Hur testas användbarhet?
- Vad blir output och hur hanterar man det?
3
Vad är användbarhet?
• Internationell standard, ISO 9241-11
• ” Den grad i vilken användare i ett givet
sammanhang kan bruka en produkt för att uppnå
specifika mål på ett ändamålsenligt, effektivt och
för användaren tillfredsställande sätt. (ISO 924111, 1998)
4
Användbarhetstest på LiV
• Pilot – HR system (tidrapportering, semester,
reseersättning m.m.)
• Självbetjäning på CSK
• Upphandling av nytt HR-system
5
Användbarhetstest NMT
Okulär observation
Test-rapport
ISO 9241-11
Digital
observation
Måluppfyllelse
Klarar/klarar inte
Effektivitet
Tidsåtgång
Tillfredsställelse
SUS-frågor
Score card: Good (80-100),
Fine (68-80), Pass (51-68), Fail
(0-51)
Video- & Ljudupptagning + musrörelser
Kommentarer från
testdeltagare
6
Pilot HR-system
• Testare
• Observatör
• FPX mentor
• Lärdomar
– Förberedelser
– Syfte
– Kunskap om
systemet
– Testdata
– Kommunicera
resultat
7
CSK Självanmälan
Användbarhetstest
-Testpersoner
-Fältstudie
Resultat:
-Ta bort 19 i årtal
-Ta bort nedsläckning av tangenter
-Skylt med instruktioner
-Skärm för integritet
8
CSK Självanmälan
Användbarhetstest
-Testpersoner
-Fältstudie
Resultat:
-Ta bort 19 i årtal
-Ta bort nedsläckning av tangenter
-Skylt med instruktioner
-Skärm för integritet
9
Upphandling nytt HR-system
• Del i bedömning av lämpligt HR-system
–
–
–
–
–
–
15 st LiV-personal
10 st LiV HR personal
Roller: Chef & Medarbetare
6-11 scenarier
Måluppfyllelse, Effektivitet & Tillfredsställelse
Kommentarer – viktigt!
10
Erfarenheter
• Vilken data får/kan användas
• Viktigt att fånga upp testpersoners kommentarer
• Viktigt att observatörer och testledare kan systemet
som skall testas och vet när uppgifterna lyckades
• Minst 13-15 testpersoner (statistiskt riktigt)
• Syfte bestäms innan test
• God planering ger bra resultat
• Utbildning eller inte innan test?
11
Effektivare vård & högra patientnytta
• Vårdens process vs system
– Stödjande verktyg
• Användarvänlighet
– intuitiv interaktion spar tid
• Patient involverad
– Självanmälan & Mina vårdkontakter (1177)
• Minskad tid vid system ger mer tid för
patientrelation
12
Framtida möjligheter med
användbarhetstest
• Fånga upp åsikter från vårdens personal
– Kombinerat med förbättringsprocess
•
•
•
•
•
Användbarhetstest på prototyper
Vårdens processer ihop med tänkta system
Kravställning
Trendkurva för vårdens leverantörer
10 min är mycket i vården som har många
anställda!
13
Våra testresurser hos Future Position X
Testfall
Testpanel
Testkompetens
Tekniska tester
Transformationtester
Programvara &
licenser
Testmiljö
Affärstester
Prestandatester
Dataset
Datakvalitet
Användbarhetstester
Metadata
Datatjänster
GeoTest Lab (Inspire-direktivet)
14
Cost/benefit
(?)
Varför testa användbarhet?
• Produkter utformade efter användares behov.
• Göra produkten bättre!
15
Användbarhetstest
• Mål; bedöma hur användbart ett system eller
applikation är.
16
Användbarhetsmått
3 Nyckelord
• Effectiveness [Måluppfyllelse]
”Nogrannhet och fullständighet med vilken användarna uppnår givna mål.” (ISO 9241-11,
1998)
• Efficiency [Effektivitet]
”Resursåtgång i förhållande till den nogrannhet och fullständighet med vilken användarna
uppnår givna mål” (ISO 9241-11, 1998)
• Satisfaction [Tillfredsställelse]
”Frånvaro av obehag samt positiva attityder vid användningen av en produkt” (ISO 924111, 1998)
17
Frågeformulär, SUS & SUMI
• SUS
System Usability Scale (Brooke, 1986)
Består av tio påståenden.
En slutpoäng
• SUMI
Software Usability Measurement Inventory (Kirakowksi & Corbett,
1993)
Består av femtio påståenden.
Sex olika kategorier poängsätts.
18
SUMI, sex kategorier
19
Användbarhetstest, Översikt
20
Exempel Testuppgifter
21
Exempel
Effectiveness & Efficiency
22
Exempel SUMI
23
Analys
• Analysera data
24
Rapportering
• Rapportera till kund
Mall= Common Industry Format
25
Våra tester – Det vi erbjuder i dagsläget
• 2 typer; On-site och On-line
• On-site
Test sker på plats.
• On-line
Test sker online.
26
On-site tester
27
On-line tester
28
GeoTest Användbarhetsprocess
29
På horisonten
• Rapportering
• Nordic MedTest / Future Position X
30
Stort Tack!
Tack!
[email protected]