Hur kvalitetssäkra komplexa IT-lösningar…

… och vad är egentligen test?

Sätterstrand Business Park 2014-05-27 Peter Furster Robert Magnusson 2014-01-30

Varför Nordic MedTest? Sjukvården drabbas allt för ofta av allvarliga incidenter på grund av fel och brister i vård-IT.

Det vill vi ändra på!

2

Ett kompetenscenter Ett

oberoende

och

öppet

center där

vårdgivare

(landsting, kommuner och privata aktörer) i samverkan med

leverantörer

av IT kan utveckla, testa och på ett

säkert sätt införa

nya och innovativa IT-tjänster i vård och omsorg.

Vårdens IT-miljö är komplex • • • • • Avancerade processer Hög grad av IT-stöd Vertikal historia, horisontell ambition Ökad belastning och ökade krav 21 Landsting, 290 Kommuner och +5000 privata vårdgivare

Ett mycket förenklat exempel… Användare IT-avd Systemleverantör Projekt Förvaltning Systemleverantör IT-avd Användare Tjänst Lokal impl. Standard- system Tjänsteplattform Standard- system Lokal impl. 5

Ett stort antal kedjor med länkade experter…

…som vill få igenom flödet…

Nordic MedTest – ett kompetenscenter 8

Exempel - Intygstjänsten 9

• Införande av vårdsystemintegrationer Förutsättningar – Ny nationell tjänst – Många olika parter – Olika vårdsystem/journalsystem – Sent projekt – Sjukskrivningsmiljarden – Många vill bara få det överstökat – ”Det där är redan restat…” – Ny testprocess… 10

Angreppssätt • • • • Inkrementellt – Projektmässigt – Systemmässigt Avgränsa scopet – Få koll på läget – Underlätta för nästa steg Skala upp stegvis Identifiera problem tidigt 11

Intygstjänsten 12

Erfarenheter Intygstjänsten • • • • Pressade tidsscheman (förseningar, bonus) – Ingen bra utgångspunkt för förbättringsarbete Involverade personers tid utnyttjades effektivt – Allas tid är dyrbar Få problem upptäcktes i E2E – Många fel hittas och åtgärdades innan NMT var ett stöd – Till alla parter 13

Vad är testning? En empirisk, teknisk undersökning i syfte att ta fram kvalitetsrelaterad information om en produkt åt intressenter

Utbildning

Tjänstekatalog

Användbarhet Utvecklings stöd Testmiljö Testning Certifiering Expert rådgivning Testledning Organisations stöd Testdata

Test genom hela livscykeln - Idé - Krav - Utveckling - Driftsättning - Förvaltning - Avveckling

Glöm inte bort varför… …flytta fokus från teknik till användande! Krav baserade på användning Testbara krav Testdriven utveckling Verksamheten med i hela processen

Rätt ambitionsnivå på testmiljöer Viktigt att välja ambitionsnivå på testmiljö efter respektive test. Produktionslik miljö, funktionslik miljö, skarpa integrationer, stubbar,…

Rätt ambitionsnivå på omfattning Kravbaserad testning och Riskbaserad testning 19

Går det att kvalitetssäkra komplexa IT lösningar? • • Ja! – Komplexiteten beror till största del på människor och organisationer Avgränsningar och skalbarhet är viktigt – För att vi ska förstå och få koll – För att undvika problem som inte är IT-relaterade 20

Testare – En ”egen yrkesgrupp”… …som drivs av att hitta fel och brister

Oberoende Testning sker med fördel av någon som inte har en relation till eller kring testobjektet

Användbarhetstester Robert Magnusson - NMT 2014-05-27

Användbarhetsmått ISO 9241-11 Effectiveness [Måluppfyllelse] Efficiency [Effektivitet] Satisfaction [Tillfredsställelse] 24

Frågeformulär SUS SUMI System Usability Scale Tio påståenden. En slutpoäng Software Usability Measurement Inventory Femtio påståenden. Sex olika kategorier poängsätts 25

Användbarhetstest NMT Okulär observation Digital observation Video- & Ljudupptagning + musrörelser Test-rapport ISO 9241-11 Måluppfyllelse Klarar/klarar inte Effektivitet Tidsåtgång Tillfredsställelse SUS-frågor Score card: Good (80-100), Fine (68-80), Pass (51-68), Fail (0-51) Kommentarer från testdeltagare 26

Användbarhetstest på LiV Pilot – HR system Självbetjäning CSK Upphandling HR system 27

Pilot – HR system

• • • • Testare Observatörer FPX mentor Lärdomar – Förberedelser – Syfte – Kunskap om systemet – Testdata – Kommunicera resultat Medarb 11 Chef 6 Scenarier Scenarier 28

Självbetjäning CSK

Användbarhetstest -Testpersoner -Fältstudie Resultat: -Ta bort 19 i årtal -Ta bort nedsläckning av tangenter -Skylt med instruktioner -Skärm för integritet 29

30

Upphandling HR system

10 HR personal • • • Måluppfyllelse/Effektivitet/Tillfredsställelse Kommentarer – viktigt! Del i bedömning av lämpligt HR-system 15 Personal/Läkare Medarb 11 Chef 6 Scenarier Scenarier 31

Erfarenheter • • • • • • • Vilken data får/kan användas Viktigt att fånga upp testpersoners kommentarer Viktigt att observatörer och testledare kan systemet som skall testas och vet när uppgifterna lyckades Minst 13-15 testpersoner (statistiskt riktigt) Syfte bestäms innan test God planering ger bra resultat Utbildning eller inte innan test? 32

Effektivare vård & högre patientnytta • • • • • Vårdens process vs system – Stödjande verktyg Patienten i focus Användarvänlighet – intuitiv interaktion spar tid Patient involverad – Självanmälan & Mina vårdkontakter (1177) Minskad tid vid system ger mer vårdtid 33

Framtida möjligheter • • • • • • Fånga upp åsikter från vårdens personal – Kombinerat med förbättringsprocess Användbarhetstest på prototyper Vårdens processer ihop med tänkta system Kravställning Trendkurva för vårdens leverantörer 10 min är mycket i vården som har många anställda! 34

Robert Magnusson – Nordic MedTest

STORT TACK!

35