Transcript - Testnet

Risicogebaseerd testen
Een koud kunstje? Of toch niet?
10 Mei 2011
TestNet - Voorjaarsevenement 2011 "Nieuwe Helden"
Jeanne Hofmans
Introductie
● Jeanne Hofmans
− Algemene Informatica, Universiteit Utrecht
− Ruim 6 jaar Improve Quality Services
● Administratief
− PGGM
− Rabobank
− Waternet
● Embedded
− RWS - testcentrum en tunnelveiligheid
− InTraffic - projecten ProRail
− Phillips Health Care
Improve Quality Services B.V.
2
Agenda
● Quiz
● Het probleem
− De praktijk
● Een oplossing
− De praktijk
Improve Quality Services B.V.
3
Quiz
Improve Quality Services B.V.
4
Risk
Likelihood (kans)
A factor that could result in future negative consequences;
expressed in in terms of impact and likelihood (ISTQB)
II
I
IV
III
Impact (schade)
Improve Quality Services B.V.
5
Testen = Risicomanagement
Maatregelen
Risico
Improve Quality Services B.V.
6
Risk Based Testing
Likelihood (kans)
An approach to testing to reduce the level of product risks
and inform stakeholders of their status, starting in the initial
stages of a project. It involves the identification of product
risks and the use of risk levels to guide the test process
(ISTQB)
II
IV
Risico
I
III
Impact (schade)
Improve Quality Services B.V.
7
RK
Risico-item A
I
Risico-item B
II
Risico-item C
II
Status
Probleem - de praktijk
Onze testplannen staan vol mooie woorden, maar …
Risico
… de opdrachtgever is onvoldoende betrokken,
… we hebben te weinig tijd,
… het is te complex,
?
Maatregelen
... en dus sturen we onze projecten op basis van
openstaande testgevallen en bevindingen.
Improve Quality Services B.V.
8
De praktijk
?!
: onbruikbaar
Risico’s:
Testgevallen: aanpak onbekend
●Deelsysteem A
●Deelsysteem B
●Deelsysteem C
●Robuustheid
●Performance
●Uitbreiding functie Y
●Interface P
●Loggingfunctie Z
●Performance?
?
Specificaties:
Klant
Improve Quality Services B.V.
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
9
Tester
De praktijk
?!
Testdoelen:
: te complex
Kenmerken per testsoort:
Aspecten per deelsysteem:
●Bedrijfsproces P en Q
●Deelsysteem X: •••, ••••, •
●Deelsysteem X: A •••
●Toetsing krediet
●Deelsysteem Y: •, •••••,
●Deelsysteem Y: C •
●Functionaliteit
●Totaal: ••, •••
●Totaal: •••
●Performance
●Performance: •, •••,
?
−Performance: H
Aspecten per kenmerk:
Per deelobject:
Kenmerken:
●Functionaliteit A
●Subsysteem D: •••, •••, ••
●Functionaliteit:
H
●Gebruik
:B
●Subsysteem S: •, •••,
Per
testsoort:
−P: C
Specs:
●Performance:
A
●Functionaliteit systeem F: ••••
−Q: A
●Uitbreiding functie Y
Klant −Toetsing krediet: B
●Functionaliteit totaal: •••
●Interface I
−Performance: H
●Performance: •••••
●Loggingfunctie Z
Improve Quality Services B.V.
10
Tester
De praktijk
!
: te eenzijdig
Wijziging Y beïnvloedt deelsysteem X.
Logging Z veroorzaakt traagheid functies f en g.
Risico’s:
Testgevallen:
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
!
Specificaties:
Klant
Improve Quality Services B.V.
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
11
Tester
De praktijk
!
: te eenzijdig
Interface I niet getest.
Of diepgang niet op basis van risico’s.
Risico’s:
Testgevallen:
●Loggingfunctie Z
beïnvloedt functie f
●Wijziging Y beïnvloedt
performance deelsysteem X
●Loggingfunctie Z met
functies f
●Performance deelsysteem X
met wijziging Y
?
Specificaties:
Klant
Improve Quality Services B.V.
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
12
Tester
Van probleem naar oplossing
● Probleem: productrisicoanalyse (PRA) is
− Onbruikbaar
− Te complex
− Te eenzijdig gebaseerd op
Eisen
“Out of the box” risico’s
● Oplossing
− Versimpel het proces door in PRA zowel risico’s m.b.t.
vastgelegde eisen als integrale, “out of the box” risico’s
te bepalen en hierop te sturen
Improve Quality Services B.V.
13
Een Oplossing
3 typen productrisico:
Kans
● Testbasis
− Eisen, ontwerp, ..
● Integraal
II
I
IV
III
− “Out of the box”, impliciet
● Regressie
Schade
− Ongewijzigde delen
Risico’s
Specificatie
Improve Quality Services B.V.
Testgevallen
Rapportage
14
Productrisico’s Testbasis
● Testbasis
Kans
− Eisen
− Ontwerp
− Use Case
− ...
II
I
IV
III
Schade
● Diepgang afhankelijk van risicokwadrant
(Use Case Test, schaalbaar door type pad)
−I
− II
− III
− IV
Improve Quality Services B.V.
: goed, fout, alternatief
: goed, fout
: goed, alternatief
: goed
15
● “Out of the box” risico’s
● FME(C)A of brainstorm
● Vroeg in ontwerpfase,
maar ook tijdens testtraject
Kans
Productrisico’s Integraal
II
I
IV
III
Schade
● Aanpak afhankelijk van risicokwadrant en risico
−
−
−
−
I
II
III
IV
Improve Quality Services B.V.
: ketentest (PCT, testmaat 1), real life test
: gebruikerstest, exploratieve test
: real life test, ketentest
:16
Productrisico’s Regressie
Kans
● Ongewijzigde delen
● Per systeemonderdeel
● Bestaande testgevallen
gebruiken
II
I
IV
III
Schade
● Diepgang afhankelijk van risicokwadrant
−
−
−
−
I
II
III
IV
Improve Quality Services B.V.
: zwaar
: licht
: licht
:-
(>75% regressietest)
(>25% regressietest)
(>25% regressietest)
17
Oplossing: 3 typen productrisico
!
Klant
Risico’s:
Testgevallen:
Integraal
●Loggingfunctie Z
beïnvloedt functie f
●Wijziging Y beïnvloedt
perfomance deelsysteem X
Testbasis
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
Regressie
●Deelsysteem X
Integraal
●Loggingfunctie Z met
functies f
●Perfomance X met
wijziging Y
Testbasis
●Uitbreiding functie Y
●Interface I
●Loggingfunctie Z
Regressie
●Deelsysteem X
Improve Quality Services B.V.
18
!
Tester
Risicobeheersing
Besluit
(Functie g alsnog testen)
Plan
Act
Voortgangsrapportage
Do
Check
(Loggingfunctie Z
beïnvloedt functie g)
Testspecificatie
Testuitvoering
(Extra testgevallen)
Deming Circle
Improve Quality Services B.V.
PRA
Testplan
(Extra Integraal risico)
19
Risicogebaseerd rapporteren
Type
Risico
RK
Integraal
Loggingfunctie Z beïnvloedt functie f
Integraal
Loggingfunctie Z beïnvloedt functie g
Integraal
Y beïnvloedt performance deelsysteem X
III
Testbasis
Uitbreiding functie Y
II
Testbasis
Interface I
I
Testbasis
Loggingfunctie Z
IV
Regressie
Deelsysteem X
IV
Improve Quality Services B.V.
20
RK'
I
II
Status
Praktijkvoorbeeld RWS (1)
● IAP Testcentrale voor verkeerssystemen
− Matrixborden, systemen verkeerscentrales, etc.
− Validatiebrief noodzakelijk voor leveranciers
● Acceptatietesten
− Systemen
− Projecten
− Testers
− Stakeholders
Improve Quality Services B.V.
21
Praktijkvoorbeeld RWS (2)
● Testprojecten niet goed stuurbaar op risico’s
● Testproces biedt te weinig houvast en inzicht
− PRA te complex
− Kwaliteit testontwerp en testgevallen heel divers
− Templates onnodig arbeidsintensief
Risico
Improve Quality Services B.V.
22
?
Maatregelen
Praktijkvoorbeeld RWS (3)
● Introductie 3 typen productrisico
− Nieuwe PRA (Excel)
− Testdocumentatie aangescherpt en aangepast
● In overleg basis teststrategie bepaald
− Selectie van 5 testtechnieken met schaalbare diepgang
− Keuze testtechniek afhankelijk van risicokwadrant
− Uitwerking testtechnieken in standaardtabellen
− Uitwerking testgevallen in Quality Center
● Pilot loopt: testers en stakeholders positief
Improve Quality Services B.V.
23
Standaardtabel Use Case Test
ID
ID Eis
Pad
Omschrijving
TG1
E1
Goed
Via menu M actie A uitvoeren
TG2
E1
Alternatief
Via menu N actie A uitvoeren
TG3
E1
Fout
Actie A kan niet worden
uitgevoerd wegens voorwaarde V
Improve Quality Services B.V.
24
Opmerking
Item Y is nodig in
configuratie
Vragen
Improve Quality Services B.V.
25