Transcript Slide 1 - IT

Basisopleiding-Gestructureerd testen
en TMap-NEXT®
Harry Storimans
Kennismaking
• Wie zijn we
• Wat is ons doel
• Wat willen we aan het einde van de cursus als bagage meenemen.
•
•
•
•
•
•
Harry Storimans
Testconsultant
IT-Zamna
www.IT-Zamna.com
06-13623772
[email protected]
2
Programma (1)
•
Dag 1
•
•
•
•
•
Gestructureerd testen
Functies
TMap NEXT® algemeen
Fasering TMap NEXT®
 Fase Planning
 Fase Beheer
 Fase Infrastructuur
 Fase Voorbereiding
Dag 2
•
Testsoorten
•
Fasering TMap NEXT® (vervolg)
 Fase Specificatie
 Fase Uitvoering
 Fase Afronding
•
Toetsen/statisch testen
3
Programma (2)
•
Dag 3
Dynamisch en Statisch
•
Testtechnieken deel I
 Syntactische testen
 Semantisch testen
•
•
Testtechnieken deel II
 Grenswaarde analyse
 Exploratory testing (ET)
 Use case testing (UCT)
Dag 4
•
Testhulpmiddelen
•
Testorganisatie
4
Dagindeling
•
09.00 - 09.30
Aanwezig
•
09.30 - 11.00
Training
•
11.00 - 11.15
Pauze
•
11.15 - 12.30
Training
•
12.30 – 13.15
Gezamenlijke lunch
•
13.15 – 15.00
Training
•
15.00 – 15.15
Pauze
•
15.15 – 16.30
Training
5
DAG 1
Gestructureerd testen
Functies testen
TMap NEXT® algemeen
Fasering TMap NEXT®
(Test Management approach)
6
Gestructureerd testen: waarom
•
Toenemend belang software in de samenleving
•
•
•
Hoeveelheid software verdubbelt elke 18 maanden
# Fouten daalt nauwelijks
Testen bedraagt veelal 30-40% van de projectkosten (efficiency)
Time to market & Quality to market
•
Testen kost veel geld / testen bespaart veel geld??????
•
Voor meer info: www.tmap.net
7
Testen, wat is dat? (1)
•
•
•
•
Het proces van plannen, voorbereiden, uitvoeren en beoordelen, dat tot
doel heeft de kenmerken van een informatiesysteem vast te stellen en het
verschil tussen de “vereiste”en de “actuele”status aan te tonen
Uiteindelijke doel: onderbouwde uitspraak kunnen doen over de kwaliteit
van het opgeleverde informatiesysteem
Testen bestaat uit activiteiten die uitgevoerd worden om een of meer
kenmerken van een product of dienst vast te stellen volgens een
gespecificeerde procedure
Testen is een proces dat inzicht geeft in- en adviseert over de kwaliteit en
de daaraan gerelateerde risico’s
8
Gestructureerd testen
•
Nadelen ongestructureerd testen:
• Tijdsdruk door:
•
•
•
•
Geen inzicht en advies kunnen geven over de kwaliteit van het
systeem door:
•
•
•
•
Ontbreken goede testplanning
Ontbreken van een gedefinieerde testaanpak
Ontbreken van goede afspraken
Ontbreken risicoanalyse
Ontbreken teststrategie
Niet gebruiken test ontwerptechnieken
Inefficiënt en ineffectief door:
•
•
•
Ontbreken van afstemming
Ontbreken afspraken
Ontbreken van prioriteiten
9
Gestructureerd testen
•
Voordelen gestructureerd testen:
• Is inzetbaar in elke situatie, ongeacht opdrachtgever of systeem
ontwikkelaanpak.
• Geeft inzicht in en advies over eventuele risico’s ten aanzien
van de kwaliteit van het geteste systeem.
• Vindt fouten in een vroeg stadium
• Voorkomt fouten
• Testproducten (testgevallen) zijn herbruikbaar
10
Kenmerken gestructureerde testaanpak
•
•
•
•
Bieden van structuur ( wat, door wie, wanneer, welke volgorde)
Het omvatten van de volledige scope en de beschrijving van het
complete scala aan relevante aspecten
Bieden van concrete handvaten
Het sturen van de testactiviteiten in het kader van tijd, geld en
kwaliteit.
11
Testen, wat is dat? (2)
•Vergelijking van het object onder test met een norm (verwachting, correcte
werking, eis)
•
•
•
•
Belangrijk hierbij is:
wat ga je testen; het testobject
• Duidelijke afbakening aanbrengen (scope, out of scope)
waarmee ga je vergelijken; de testbasis
• Systeemdocumentatie:
• Technisch ontwerp, functioneel ontwerp basisontwerp,
requirements, specificaties etc.
hoe ga je testen; de testmethode(n) en technieken
• Aanpak,
• Te gebruiken testtechnieken
• Evt testtools
• Beheer, managen
12
Manieren van testen
•
Dynamisch expliciet:
•
•
•
•
Dynamisch impliciet:
•
•
•
Testgevallen zijn expliciet ontworpen
Testen door runnen van software
Meest gangbare manier van testen
Testgevallen zijn niet expliciet ontworpen
Tijdens testen kan bijvoorbeeld ervaring worden opgedaan over
performance zonder daarvoor specifieke testgevallen
Statisch:
•
Beoordelen zonder runnen van testware door inspectie van
documenten (handleidingen, opleidingen, etc.)
13
Het V-model
Productie Acceptatie Test
EIS/WENS
EIS/WENS
VERWACHTING
VERWACHTING
Gebruikers Acceptatie Test
Functionele Acceptatie Test
Definitie
Definitie
Studie
Studie
Acceptatietesten
Acceptatietesten
Functioneel
Functioneel
Ontwerp
Ontwerp
Systeemtest
Systeemtest
Technisch
Technisch
Ontwerp
Ontwerp
Realisatie
Realisatie
Integratietest
Integratietest
Moduletest
Moduletest
14
Valkuilen
•
•
•
•
•
•
•
•
Testen is niet het vrijgeven of het accepteren
Het resultaat van testen is het leveren van inzicht in en advies over
de kwaliteit
Testen is niet de fase NA ontwikkeling
Testactiviteiten dienen parallel aan ontwikkeling uitgevoerd te
worden
Testen is niet bedoeld om vast te stellen of de juiste functionaliteit
is gebouwd
Testen stelt vast of de gewenste/beschreven functionaliteit is
gebouwd
Testen is niet goedkoop (niet testen is niet goedkoper)
Testen is niet het opleiden voor gebruik en beheer
15
Functies
De belangrijke test functies zijn:
• Tester/test uitvoerder: TU
• Test analist: TA
• Test coördinator: TC
• Test manager: TM
• Test adviseur: TA
•
Vaak zie je dat een organisatie de TA/TU zien als 1 tester en dat dan
ook verlangen bij de intake
16
Tester/Test uitvoerder
•
Verantwoordelijk voor het uitvoeren van de test, gebruikmakend
van het testontwerp en het testdraaiboek
•
De bevindingen worden vastgelegd in een
bevindingenadministratie en worden gerapporteerd richting de
betrokkenen
•
Belangrijke activiteiten hierbij zijn ondermeer:
•
•
•
•
vullen van de uitgangsbestanden
uitvoeren van de testen, zowel dynamisch als statisch
registreren van en rapporteren over bevindingen
beheren van de testware
17
Test analist
•
Verantwoordelijk voor het specificeren van de testgevallen,
gebruikmakend van testtechnieken. De testgevallen/het
restontwerp dient als basis voor het testdraaiboek. Daarnaast
verantwoordelijk voor het vastleggen van de testresultaten en
de te gebruiken testhulpmiddelen
•
Belangrijke activiteiten hierbij zijn ondermeer
•
•
•
•
•
Intake van de testbasis
Maken van het testontwerp en –draaiboek
Beheren van de testware
Registreren van en rapporteren over de bevindingen
Ondersteunen van de testers
18
Test automatiseerder
•
Verantwoordelijk voor het ontwikkelen van de testscripts voor het
geautomatiseerd uitvoeren van de tests. Hierbij gebruikmakend van
een testhulpmiddel
•
Belangrijke activiteiten hierbij zijn ondermeer:
•
•
•
•
Intake van de testgevallen en het testobject
Installatie testhulpmiddel
Programmeren van de testscripts
Uitvoeren van de geautomatiseerde test
19
Testcoördinator
• Geeft leiding aan een testteam
• Verantwoordelijk voor de budgettering, planning en organisatie
van alle testactiviteiten: testplannen, (voortgangs)rapportages
adviesrapporten over de kwaliteit van het testobject, uitvoering
en aansturing van het testproces
•
Belangrijke activiteiten hierbij zijn ondermeer:
•
•
•
•
•
Opstellen en onderhouden detail testplan
Laten realiseren testomgeving(en)
Bewaken van het testproces
Voortgangsrapportages
Vrijgaveadvies
20
Test manager
•
Geeft vaak leiding aan testcoördinatoren. Verantwoordelijk voor
de budgettering, planning en organisatie van alle testactiviteiten:
testplannen, (voortgangs)rapportages, adviesrapporten over de
kwaliteit van het testobject, uitvoering en aansturing van het
testproces. De scope van een test manager is groter dan die van
een test coördinator; meerdere testteams, meerdere projecten
•
Belangrijke activiteiten hierbij zijn ondermeer:
•
•
•
•
Opstellen en onderhouden Mastertestplan
Bewaken van het testproces
Voortgangsrapportages
Vrijgaveadvies
21
Test adviseur
•
•
Adviseert en ondersteunt de projectmedewerkers bij de optimale
toepassing van testmethoden, testtechnieken en testhulpmiddelen
Belangrijke activiteiten hierbij zijn ondermeer:
• Adviseren over testorganisatie
• Adviseren over inspectie/toetstechnieken
• Adviseren over testfasering
• Adviseren over teststrategie
22
TMap NEXT® (Test Management approach)
Algemeen
•
•
•
•
•
TMap NEXT® algemeen (in een “notendop”)
De TMap NEXT® fasering
Testtechnieken
Testtools
Exploratory Testing
23
TMap Next® algemeen (1)
TMap NEXT® is in een viertal essenties samen te vatten:
•
Gebaseerd op een BDTM (business driven testmanagement
aanpak), business case als bepalende factor
•
Beschrijft een gestructureerd testproces( MTP, managen van het
totale testproces)
•
Bevat een complete gereedschapskist
•
Technieken: HOE wordt er getest
•
Infrastructuur: WAAR en WAARMEE wordt getest
•
Organisatie: WIE testen er
•
Is een adaptieve testmethode
24
De kracht van TMap NEXT®
•
•
•
•
Ontstaan vanuit praktijkervaringen
In elke omgeving te gebruiken (omgeving / platform
onafhankelijk).
Te gebruiken als rode draad (gebruik wat je er van gebruiken kunt
binnen je project)
Een complete testaanpak, waarmee iedere organisatie elke
testuitdaging, nu en in de toekomst, succesvol aan kan gaan
25
TMap Next® algemeen (2)
•
Business driven: (BDTM)
•
Keuze voor het afdekken van bepaalde risico’s, het te bereiken
resultaat en de hoeveelheid te besteden geld en tijd moet
gebaseerd zijn op rationele en economische afwegingen
•
Invulling TMap NEXT®:
•
Business driven testmanagement aanpak als een rode draad
van het gestructureerde TMap NEXT® testproces
26
TMap Next® algemeen (2a)
27
Waarbij TMap NEXT® helpt
•
•
•
•
•
•
•
•
Vertalen wensen naar een concrete testaanpak;
Uitvoeren van onder andere een;
•
Productrisicoanalyse; (PRA)
•
Teststrategie/Testaanpak;
•
(niet) functionele test;
Inrichten / beheren testinfrastructuur;
Maken testontwerp;
Voorbereiden, Specificeren en Uitvoeren;
Rapporteren testresultaten vanuit perspectief opdrachtgever;
Gebruik maken van testtechnieken;
Het aangeven van het resultaat van de test, dat wordt vastgelegd in
concrete afspraken.
28
TMap NEXT® algemeen (3)
Gestructureerd testproces
•
Wie, wat, waar, wanneer, hoe, waarmee
•
TMap NEXT® faseringsmodel:
•
Fase Planning (TM)
•
Fase Beheer (TM)
•
Fase Infrastructuur (TM)
•
Fase Voorbereiding (TM,TC)
•
Fase Specificatie (TA)
•
fase Uitvoering(TA/TU)
•
fase Afronding(TC,TM)
•
Gedurende elke fase dient beheer te zijn ingericht (managen)
29
TMap NEXT® algemeen (4)
•
TMap NEXT® faseringsmodel:
30
TMap NEXT® algemeen (4)
•
Gereedschapkist om mee in te regelen:
•
Infrastructuur: waarmee
•
Technieken: hoe
•
Organisatie: wie
•
Inhoud gereedschapskist:
•
Checklisten
•
Technieken
•
Procedures
•
Organisatiestructuren
•
Testomgevingen/tools
31
TMap NEXT® algemeen (5)
Testmethode
•
Flexibel opgezet
•
Toepasbaar in diverse systeem ontwikkelsituaties:
•
Nieuwbouw
•
Onderhoud
•
Zelfontwikkeld systeem
•
Aangeschaft pakket
•
Uitbreiding
32
Definities volgens TMap NEXT®
Testen is het proces van:
• Plannen (geheel testtraject plannen)
• Voorbereiden (fasering)
• Meten (bijhouden data)
Dat tot doel heeft de kenmerken van een software product
vast te stellen en het verschil tussen de vereiste en
actuele status aan te tonen
33
Valkuilen
•
•
•
•
•
Testen is niet het vrijgeven of accepteren (advies over kwaliteit)
Niet de fase NA ontwikkeling
•
Het behelst een serie activiteiten die parallel moeten worden
uitgevoerd aan ontwikkeling
Testen is niet goedkoop
•
Testen bij vroegtijdige inschakeling zeer rendabel, baten zijn
erg hoog)
Niet het opleiden voor gebruikers en beheer
Niet bedoelt om vast te stellen of de juiste functionaliteit is
gebouwd, maar het vaststellen of de gewenste functionaliteit is
gebouwd
34
Voordelen gestructureerde testaanpak (1)
•
•
•
Geeft inzicht in en advies over de risico’s ten aanzien van de
kwaliteit van het systeem
Testproces is inzichtelijk, beheersbaar en overdraagbaar
Fouten worden in een vroeg stadium gevonden (vroeg inschakelen
testteam)
35
Voordelen gestructureerde testaanpak (2)
300
250
200
Relatieve
kosten
om
fouten
te
herstellen
150
100
50
0
36
Wat levert testen op?
•
•
Testkosten:
•
Kosten van infrastructuur
•
Bestede uren van de testers en hun tarieven
Testbaten :
•
Voorkomen hoge herstelkosten (eerder vinden fouten)
•
Voorkomen schade in productie
•
Vertrouwen hebben / krijgen in het product
•
Testopbrengst = Testbaten - Testkosten
37
Manieren van testen
•
•
•
Dynamisch expliciet testen
•
Testgevallen expliciet ontworpen om informatie over het
betreffende kenmerk (kwaliteitsattribuut) te verkrijgen). Door
executie van het testobject/ runnen van de software
Dynamisch impliciet testen
•
Tijdens het dynamisch testen kan ook informatie over andere
kenmerken worden verzameld, waar niet expliciet testgevallen
voor zijn ontworpen
Statisch testen
•
Worden de eindproducten beoordeeld zonder dat er sprake is
van het runnen van software (inspecteren van documentatie
38
Testbasis en Testsoorten
•
•
Doel testsoort: om aan te tonen in welke mate het product aan
bepaalde verwachtingen, eisen, functionele specificaties of
technische specificaties voldoet. (referentie,
systeemdocumentatie)
Testbasis:
•
De testbasis is de informatie die het gewenste systeemgedrag
definieert.
•
Linkerkant van het V-model (documentatie)
39
Testen = Risicomanagement
•
•
•
Evenwicht vinden tussen de teststrategie/-aanpak en de
productrisico’s versus GELD
Duivelsdriehoek (Tijd, Middelen, Budget)
No Risk = No Test
•
Vastleggen van risico’s in een Risicolog
40
Risico-log (1)
•
•
•
•
Nummer
•
Uniek identificatienummer
Kans
•
Inschatting van de kans op optreden van het risico, verdeeld
in laag, midden of hoog
Impact
•
Inschatting van de impact van het risico als het zich
daadwerkelijk voordoet, verdeeld in laag, midden of hoog
Urgentie
•
De mate van aandacht die aan het risico moet worden
besteed.
•
De berekening is de product van kans en impact
41
Risico-log (2)
•
•
•
•
Datum opvoer
•
Datum waarop het risico gesignaleerd is als risico voor het
project
Auteur
•
Degene die de dreiging van het risico heeft opgemerkt
Omschrijving risico
•
Beschrijving van het risico. Noodzakelijk is om hierbij te
beschrijven wat de gevolgen van het risico zijn in tijd, geld
en/of kwaliteit
Wanneer
•
Op welk moment, in welke fase van het project kan dit risico
zich voordoen
42
Risico-log (3)
•
Risico-eigenaar
•
•
Type
•
•
Per definitie is dit een stuurgroeplid. Het is praktisch om een
gedelegeerde in het project te benoemen die als taak heeft om het
risico te monitoren
Het betreft hier de typering van de tegenmaatregel in termen van
PRACT, zie ook de legenda
Tegenmaatregel
•
De beschrijving van de tegenmaatregel. Ook hier is de beschrijving in
termen van tijd, geld en/of kwaliteit een vereiste
43
Risico-log (4)
•
Status
•
Met de status wordt aangegeven dat het risico alleen nog maar
is gesignaleerd (N); het risico onderhanden is; maatregelen
zijn bepaald en het risico wordt gemonitoord (O); de
maatregel geëffectueerd is (impact =0) of het risico zich niet
meer zal voordoen (kans =0) (A)
44
Legenda Risico-log (1)
•
Kans
•
1: klein
•
2: midden
•
3: groot
•
Impact
•
1: klein
•
2: midden
•
3: groot
•
Urgentie
•
Kans * Impact
45
Legenda Risico-log (2)
•
Impact op
•
BC: business
•
K: kwaliteit
•
T: tijd
•
B: budget
•
M: middelen (geld)
•
Type maatregel
•
P: preventief/prevent
•
R: reduceren/reduce
•
A: accepteren/accept
•
C: contigency
•
T: transfer
46
Legenda Risico-log (3)
•
Status
•
N: nog niet onderhanden
•
O: onderhanden
•
A: al gedaan
In de bijlage is een Risklist meegeleverd
47
Enkele testprincipes (1)
•
•
•
•
•
Zorg voor onafhankelijk testen (organisatie, testteam)
Testen is uitdagend, moeilijk en eist creativiteit
Pas de strategie aan op basis van resultaten
Compleet c.q. 100% testen is onmogelijk
Evenwicht zien te vinden
48
Enkele testprincipes (2)
•
•
•
•
•
•
Beschrijf van te voren het verwachte resultaat
Test zowel Positief als Negatief (Valid/Invalid)
Zorg voor herbruikbare testgevallen
Begroot en plan hertesten
Start tijdig en vind “goedkope” fouten (Toetsen)
Gebruik historische gegevens
49
Waar moet een tester aan voldoen (1)
Vaardigheden (Skills)
• Testhouding (fouten vinden)
• Communicatieve vaardigheden, kunnen communiceren op:
• Management niveau
• Gebruikers niveau
• Leverancier niveau
• Accuraat
• Stress bestendig
• Geen 9-5 houding
50
Waar moet een tester aan voldoen (2)
Kennis:
•
IT en kwaliteitszorg in het algemeen
•
Gestructureerd testen/technieken
•
Projectmanagement
•
systeemontwikkeling
51
Waarbij TMap NEXT® helpt (1)
•
Vertalen van wensen van de organisatie naar een concrete aanpak
en aansturing van de testuitvoering
•
Kunnen omgaan met de diverse IT ontwikkelmethodieken door
een testmanager, coördinator, testanalist/-uitvoerder, een ieder
vanuit zijn eigen verantwoordelijkheid
52
Waarbij TMap NEXT® helpt (2)
•
Uitvoeren van onder andere een:
•
Product Risico Analyse (PRA): kwaliteitsattributen (zie
volgende twee dia’s)
•
Teststrategie/aanpak
•
Testen (functioneel)
•
Maken van testontwerpen en het gebruik van diverse testontwerp
technieken
•
Aanbrengen fasering in testproces
•
Uitvoeren verschillende activiteiten
•
Aangeven van het resultaat van de test
53
Kwaliteitsattributen
• Dynamische kwaliteitsattributen/Kenmerken:
• Beveiliging;
• Bruikbaarheid;
• Continuïteit;
• Controleerbaarheid;
• Functionaliteit;
• Gebruikersvriendelijkheid;
• Inpasbaarheid;
• Performance;
• Zuinigheid.
• Informatiesysteem is hierbij in werking
54
Kwaliteitsattributen
• Statische kwaliteitsattributen/Kenmerken
• Beheerbaarheid;
• Connectiviteit;
• Flexibiliteit;
• Herbruikbaarheid;
• Onderhoudbaarheid;
• Portabiliteit;
• Testbaarheid.
55
Waar is TMap NEXT® toepasbaar?
•
Bij outsourcing
•
Iteratieve, incrementele, waterval, (ontwikkelmethode
onafhankelijk)
•
Nieuwbouw, Onderhoud, Migratie
•
Combinaties van zelfontwikkeling, hergebruik, gebruik van
standaardpakketten
56
Fasering testtraject TMap
NEXT® (1)
57
Fasering testtraject TMap
NEXT® (2)
•
•
•
•
•
•
•
P = Fase Planning;
B = Fase Beheer;
I = Fase Infrastructuur;
V = Fase Voorbereiding;
S = Fase Specificatie;
U = Fase Uitvoering;
A = Fase Afronding.
58
Faseringsmodel
•
Door gebruik te maken van een test faseringsmodel wordt het
overzicht behouden tijdens het testproces
•
Door te noteren WAT, WANNEER, HOE, WAAR(MEE),
DOOR WIE moet gebeuren in het stramien van het proces
worden vanzelf de claims op en de relatie met andere aspecten
zoals technieken, infra en organisatie gelegd.
59
Fase Planning (1)
Activiteiten:
•
Vaststellen opdracht (scope, buiten scope)
•
Oriënteren opdracht
•
Analyseren productrisico’s (PRA)
•
Bepalen teststrategie/testaanpak
•
Bepalen begroting op verschillende niveaus
•
Begroting MTP;
•
Begroting per testsoort (ST, SIT, FAT, GAT. Keten, PAT);
•
Begroting per testfase;
•
Begroting per testactiviteit.
•
Bepalen planning
•
Definiëren testproducten/mijlpaalproducten
60
Fase Planning (2)
•
Opdrachtformulering
•
Wie is opdrachtgever;
•
Wie is opdrachtnemer;
•
Bepalen beschouwinggebied; (scope)
•
Uitgangspunten; (door het testproces aan de omgeving
opgelegd)
•
Randvoorwaarden; (door de omgeving aan het testproces
opgelegd)
•
Globale intake en studie
•
Verkrijgen van inzicht in en bestuderen van beschikbare
documentatie;
•
Afnemen van interviews; (opdrachtgever,
materiedeskundigen, leverancier, testers)
61
Fase Planning (3)
•
Vaststellen testbasis
•
Eenduidig definiëren van de testbasis en
uitgangsdocumentatie;
•
Bepalen relevante documentatie; (wat gebruiken we wel/wat
gebruiken we niet)
•
Identificeren documentatie (versie, status, opleverdatum)
•
Bepalen teststrategie
•
Op welke wijze en met welke diepgang gaat er getest worden
•
Strategiebepaling (risicotaxatie, bepalen kwaliteitsattributen,
bepalen relatief belang, onderverdelen deelsystemen, bepalen
relatief belang deelsystemen, detailleren testbelang per
deelsysteem en kwaliteitsattributen, vaststellen te gebruiken
testtechnieken)
•
Opstellen begroting
62
Fase Planning (4)
Inrichten organisatie, vaststellen van de wijze waarop
de organisatie van het testproces wordt ingericht:
• Bepalen benodigde functies
• Testmanager;
• Testcoördinator;
• Testuitvoerder;
• Testanalist.
• Toewijzen taken, verantwoordelijkheden en bevoegdheden
• Beschrijven organisatie
• Toewijzen personeel
• Vaststellen opleidingen
• Vaststellen overlegstructuren/rapportagelijnen
63
Fase Planning (5)
Inrichten testproducten:
•
Eenduidig definiëren van de op te leveren testproducten
•
Vaststellen testproducten (= testware: plannen, testspecificaties,
draaiboek, rapportages (voortgang, kwaliteit, testproces, testsoort,
eindrapport, evaluatierapport))
•
Opstellen normen en standaards
64
Fase Beheer (1)
Activiteiten:
•
Uitvoeren beheer
•
Testproces;
•
Infrastructuur;
•
Testproduct beheer;
•
Bevindingenbeheer;
•
Testsoort(en);
•
Bewaken
•
Plannen/herplannen
•
rapporteren
65
Fase Beheer (2)
Uitvoeren van beheer:
•
Op overkoepelend niveau beheren van het testproces,
infrastructuur en testproducten
•
Inzicht kunnen bieden in:
•
Voortgang;
•
Kwaliteit totale testproces;
•
Kwaliteit van het testobject.
66
Fase Beheer (3)
•
Bewaken
•
Wordt er gewerkt conform opgesteld Master Testplan (MTP)
•
Analyseren gebeurtenissen, inschatten risico’s, definiëren
maatregelen
•
Afstemming met opdrachtgever
•
Tools
•
Bevindingenregistratie; TestDirector/Quality Center
•
Testware beheertool;
•
Plannings- en voor toegangsbewakingtool;
•
Workflowtool.
67
Fase Beheer (4)
•
Opdrachtgever voldoende inzicht over en sturingsmogelijkheden
over:
•
Voortgang testproces;
•
Kwaliteit en risico’s testobject;
•
Kwaliteit van het testproces.
•
Randvoorwaarde:
•
Opstellen MTP;
•
Een van de testsoorten is reeds gestart.
68
Fase Beheer (5)
•
Rapporteren, inzicht verschaffen in:
•
Kwaliteit testobject;
•
Voortgang;
•
Kwaliteit van de afzonderlijke testsoorten.
•
Belangrijke rapportages:
•
Voortgangsrapportage
•
Risicorapport
•
•
•
•
Gepland, Gedaan, Evt verschil, gepland, Evt risico’s
Impact, Trigger, Maatregel
Vrijgaverapport
Eindrapport
69
Fase Beheer (6)
Indien noodzakelijk bijsturen van het testproces:
• Doorvoeren maatregelen en evalueren effectiviteit;
• Aanpassen producten uit de planfase;
• Terugkoppelen aan opdrachtgever.
70
Fase Infrastructuur (1)
Activiteiten:
•
Specificeren infrastructuur;
•
Realiseren infrastructuur;
•
Beheren infrastructuur;
•
Conserveren infrastructuur.
71
Fase Infrastructuur (2)
Specificeren van de infrastructuur:
•
Werkplek
•
•
•
•
•
Ruimtes;
Bureaus;
Stoelen;
Pc’s.
Testomgeving
•
•
•
•
•
•
•
•
Uit welke componenten moet de omgeving bestaan;
Het aantal testomgevingen;
De soort(en) testomgeving(en);
Eisen vanuit beheer;
Back-up activiteiten;
Gebruik en beheer testgegevens;
Autorisaties;
Versie programmatuur.
72
Fase Infrastructuur (3)
•
Realiseren van de infrastructuur
•
•
•
Specificeren intake infrastructuur
•
•
De gedetailleerde specificaties uit de specificatiefase van
infrastructuur worden gerealiseerd
Bij voorkeur gereed voordat fase Uitvoering begint
Opstellen checklist, gebaseerd op de specificaties
Intake infrastructuur
•
Acceptatie van de infrastructuur, voldoet deze aan de eerder gestelde
eisen en wensen (checklist)
73
Fase Infrastructuur (4)
•
Beheren van de infrastructuur:werkplek is en blijft beschikbaar voor
•
Conserveren van de infrastructuur (is optioneel)
de tester
•
Testomgeving(en) is(zijn) beschikbaar:
 Oplossen knelpunten;
 Beschikbaar stellen logging;
 Back-up en restore;
 Doorvoeren wijzigingen;
 Monitoren.
•
•
•
Selecteren infrastructuur;
Verzamelen en bijwerken infrastructuur;
Overdragen infrastructuur.
74
Fase Voorbereiding (1)
•
Uitvoeren detail intake testbasis
•
•
Definiëren testeenheden
•
•
Testbaarheid van de testbasis vaststellen(relevante documentatie,
opstellen checklists, beoordelen doc,
De te testen deelsystemen opdelen in testeenheden (onafhankelijk
van elkaar kunnen testen)
Toewijzen testtechnieken
•
Welke testtechnieken koppelen we aan welke functie/deelsysteem
75
Fase Voorbereiding (2)
•
Opstellen Master Testplan (MTP)
•
Opstellen Detail Testplannen (DTP):
•
•
•
•
Systeem testplan;
SIT testplan;
Acceptatie testplan; (Functionele, Gebruikers, Productie)
Opstellen Teststrategie:
•
Op basis van de risico’s een verdeling maken van:
 Relatief belang van de deelsystemen
 Relatief belang van de kwaliteitsattributen
 Het belang per deelsysteem/kwaliteitsattribuut
•
Lichter/zwaarder testen door middel van het toewijzen van
technieken en (waar mogelijk) vaststellen van diepgang
76
Fase Voorbereiding (3)
Risicomanagement
Risicoanalyse
•
Activiteit
•
Kans van optreden
•
•
•
•
Impact risico
•
•
•
•
Laag;
Middel;
Hoog;
Laag;
Middel;
Hoog;
Actie
•
•
Geen;
Type actie.
77
Huiswerkopdracht
TMap Next®, doorlezen:
•
Hoofdstuk 2 en 3
•
Paragraaf 6.1, 6.2, 6.3 en 6.4 (niet de subparagrafen; mag wel,
hoeft niet)
78
Vragen
•
•
•
•
•
•
•
•
•
•
•
•
•
Geef een definitie van testen volgens TMap Next®:
Geef een aantal nadelen van ongestructureerd testen:
Geef een aantal voordelen van gestructureerd testen:
Welke drie manieren van testen onderkent TMap Next® en geef een beschrijving van
elke manier
Teken het V-model volgens TMap Next® en verklaar. Benoem een aantal valkuilen
bij testen:
Benoem 5 testfuncties die TMap Next® onderkent :
Geef van elke functie een aantal taken, testactiviteiten:
Waarbij helpt TMap Next® gedurende een testtraject:
Welke fasen onderkent TMap Next®:
Benoem een aantal essentiële testprincipes volgens TMap Next®
Noem een aantal dynamische kwaliteitsattributen:
Teken het Wybert model volgens TMap Next®:
Noem een aantal activiteiten per fase:
79
EINDE DAG 1
•
•
•
•
Gestructureerd testen;
Functies testen;
TMap Next® algemeen;
Fasering TMap Next®.
80
DAG 2
•
•
Testsoorten
Fasering TMap Next® (vervolg)
–
–
–
•
Fase Specificatie;
Fase Uitvoering;
Fase Afronding;
Toetsen/Statisch testen.
81
Testsoorten
Testsoort
•
Een groep van testactiviteiten die gezamenlijk wordt
georganiseerd en aangestuurd
Fasering per testsoort:
•
White box: programmatest, integratietest, moduletest
(ontwikkelaars)
•
Black box: systeemtest, FAT, GAT, Keten, PAT (testteam)
82
FAT = Functionele Acceptatie Test
•
Gericht op de functionele werking, is deze conform de
requirements:
•
Een door de gebruiker in een productie-like omgeving uitgevoerde
test, die moet aantonen dat het ontwikkelde systeem aan de
functionele eisen voldoet.
•
Gericht op functionaliteit (juistheid, volledigheid, etc.)
•
Tmap-next: Een door de toekomstige gebruiker(s) in een zoveel
mogelijk als-ware-het-productieomgeving uitgevoerde test, die
moet aantonen dat het ontwikkelde systeem aan de functionele
eisen voldoet
83
GAT = Gebruikers Acceptatie Test
•
Door de gebruikers uitgevoerde test, die moet aantonen dat het
ontwikkelde systeem aan de vooraf gestelde functionele en
kwaliteiteisen voldoet.
•
Ondersteunt/vergemakkelijkt het systeem de werkzaamheden van
de gebruikers (eisen/wensen gebruikersorganisatie)
•
Tmap-Next: een door de gebruiker(s) in een zoveel mogelijke alsware-het-productieomgeving uitgevoerde test, die moet aantonen
dat het ontwikkelde systeem aan de eisen/wensen van de
gebruiker voldoet
84
PAT = Productie Acceptatie Test
•
Gericht op de exploitatie-eisen
•
Meestal pas kort voor de introductiedagen uitgevoerd door
technisch beheerders en medewerkers van het rekencentrum
•
Uitgevoerd in een productie-like omgeving
85
Belang kwaliteitsattributen
•
•
•
•
•
•
Functionaliteit
Betrouwbaarheid
Bruikbaarheid
Efficiency
Onderhoudbaarheid
Portabilliteit
45% : Systeemtest, FAT
25% : Systeemtest, FAT
15% : expliciet GAT
15%: PAT
-
86
Fase Specificatie /Terminologie
•
Testspecificatie:
•
een beschrijving van wat er getest gaat worden; de logische
testgevallen c.q. testsituaties
•
Testscript:
•
een beschrijving van hoe er getest gaat worden; de acties en
controles met betrekking tot de fysieke testgevallen in
volgorde van uitvoering
•
Testdraaiboek:
•
overzicht, onderlinge samenhang; uit te voeren volgorde van
testgevallen
87
Fase Specificatie (1)
Randvoorwaarden
•
Testbasis dient beschikbaar en gefixeerd/bevroren te zijn
•
Relevante documentatie voor specificatie (FO. TO.
Requirements, BO)
•
Testbasis bevindingen uit de detail intake dienen te zijn verwerkt
•
Relevante testbasis dient up to date te zijn
•
Beschrijving fysieke tabellen is beschikbaar
•
Opleverschema/planning is beschikbaar
88
Fase Specificatie (2)
•
Opstellen testspecificaties
•
per testeenheid opstellen testspecificaties/testgevallen
•
Definiëren uitgangsbestanden
•
verzamelen van de in de testspecificaties beschreven initiële
gegevens en het centraal definiëren hiervan
•
Opstellen testscripts
•
omzetten van de testspecificaties naar uitvoerbare, concrete
testacties
•
Opstellen testdraaiboek
•
vastleggen van de volgorde waarin scripts zullen worden
uitgevoerd
89
Fase Specificatie (3): Elementair testgeval
Input
Initiële situatie
Processing
Test actie
output
Controle
90
Fase Specificatie (4)
Activiteiten en producten
Activiteiten
•
Analyseren te testen situaties;
•
Opstellen logische testgevallen;(enkelvoudige LT’s opstellen)
•
Opstellen fysieke testgevallen;
•
Initiële gegevensverzameling vaststellen;
•
Opstellen testscripts.
Producten
•
Testspecificaties;
•
Testscript;
•
Testdraaiboek; (in de map is een voorbeeld meegeleverd)
91
Fase Specificatie (5)
Specificeren intake testobject
•
Vastleggen van de wijze waarop de intake van het testobject wordt
uitgevoerd
•
Opstellen checklist testobject
(bedieningshandleidinggebruikershandleiding, installatiehandleiding)
Opstellen testscript pre-test
92
Fase Specificatie (6)
Testscript:
•
Identificatienummer:
•
Uniek nummer
•
Testdoel
•
Wat is het testdoel, wat wil je aantonen met de test
•
Omschrijving:
•
Aanpak, hoe ga je te werk
•
Data te gebruiken:
•
Preconditie
•
Verwacht resultaat:
•
Wat verwacht je als output te verkrijgen
•
Daadwerkelijk resultaat:
•
Wat krijg je als output
93
Fase Specificatie
Uniek nummer
Omschrijving/
testdoel
Verwacht resultaat
LT 1.0
Verifiëren dat het
opgeleverde inlog scherm
conform requirements is
opgeleverd
Inlog scherm is volgens
requirements opgeleverd
LT 2.0
Verifiëren dat alle
datumvelden conform
requirements zijn
opgeleverd
(dd-mm-eeyy)
Datumvelden zijn
conform requirements
opgeleverd
94
Fase Specificatie
Uniek
nummer
Omschrijving/
testdoel
Verwacht
resultaat
Daadwerkelijk
resultaat
FT1.1
gebruikersnaam
8 char
hoofdletters
8 char
geen
hoofdletters
FT1.2
wachtwoord
10 posities
Laatste twee
posities en
cijfers
10 posities,
laatste twee
cijfers
FT 1.3
Etc.
FT 2.1
Etc.
FT …n
Etc.
95
OK
NOK
X
X
Fase Uitvoering (1)
Randvoorwaarde
•
Het testobject of een afzonderlijk testbaar deel van het testobject,
moeten opgeleverd zijn
•
De testscripts voor het testobject of een afzonderlijk testbaar deel
moeten beschikbaar zijn
•
Van de bijbehorende testinfrastructuur moet de intake succesvol
zijn verlopen
96
Fase Uitvoering (2)
•
Intake testobject
•
Doel: vaststellen of er zinvol getest kan worden
•
Intake testobject: uitvoeren pre-test
•
Vullen uitgangsbestanden
•
Opbouwen uitgangsbestanden benodigd voor testuitvoer
97
Fase Uitvoering (3)
Uitvoeren (her)tests
•
Verkrijgen van testresultaten op basis waarvan de beoordeling van
het testobject kan plaatsvinden
•
Uitgevoerde testgevallen (OK, NOK)
•
Bevindingen
•
Wijzigingsverzoeken
•
Geaccepteerde fouten
98
Fase Uitvoering (4)
Controleren en beoordelen testresultaten
•
Vaststellen van de overeenkomsten en het analyseren van de
verschillen tussen verkregen testresultaten en de voorspelde
resultaten
•
Vergelijken voorspeld versus daadwerkelijk
•
Analyseren verschillen:
•
•
•
•
•
Testuitvoering fout
Testspecificatie fout
Programmafout
Testomgeving
Testbasis (inconsistentie, onduidelijkheid)
99
Fase Uitvoering (5)
Bevindingenregistratie
•
Korte samenvatting
•
Geconstateerd op (datum)
•
Versie testobject
•
Defect status
•
•
Ernst
•
•
Showstopper, Serious, Medium, Minor (schade die het oplevert)
Testsoort
•
•
Vastgelegd, dubbel, in behandeling, opgelost, hertest
ST, FAT, GAT, PAT
Geconstateerd door (naam tester)
10
Fase Uitvoering (6)
Bevindingenregistratie vervolg
•
Toegewezen aan
•
Prioriteit
•
•
Oorzaak
•
•
Hoog, Middel, Laag (oplossnelheid, hoge impact=schade heeft vaak
ook een HOOG als prioriteit)
Testobject, documentatie, omgeving, script
Uitgebreide omschrijving
•
Testdoel, verwacht resultaat, verkregen resultaat
101
Fase Uitvoering (7)
Onderhouden testdraaiboek
•
Actueel houden van het draaiboek
•
Moet testware worden aangepast test opnieuw worden
uitgevoerd
•
Up-to-date houden i.v.m. hergebruik
•
Bevindingenregistratie
•
Excel sheet
•
Tool: Test Director/Quality Center
•
Beheren van de gedane bevindingen
•
Kwaliteit opgeleverde systeem
•
Voortgang
102
Fase Uitvoering (8)
Voortgangsrapportage
•
Naam systeem (testobject, versie)
•
Datum voortgang (dag, week)
•
Testactiviteiten te doen
•
•
•
•
•
•
•
Wat had er gedaan moeten worden aan testactiviteiten
Wat is er daadwerkelijk gedaan
Impact verschil tussen wat en daadwerkelijk
Wat gaan we nog doen
Planning update
Eventueel monitoren risico’s (impact, kans, actie)
Kwaliteit testobject
103
Fase Afronding (1)
Randvoorwaarde
• De testuitvoering is afgerond; er is besloten geen (her)tests meer uit
te voeren
104
Fase Afronding (2)
Doel:
•
Het conserveren van de testware (ten behoeve van hergebruik)
•
Verkrijgen van ervaringscijfers voor een betere beheersing van
toekomstige testtrajecten (leereffect)
•
Opstellen eindrapport om de opdrachtgever te informeren over het
verloop van de test
105
Fase Afronding (3)
Activiteiten
Evalueren testobject
•
Evalueren van de kwaliteit van het testobject
•
Opstellen van het definitieve vrijgave advies
Evalueren testproces
•
Verkrijgen inzicht in de wijze waarop het testproces is verlopen,
verzamelen van ervaringsgegevens
•
Evalueren testproces
•
Verzamelen gegevens
•
Opstellen kosten/baten analyse
106
Fase Afronding (4)
•
•
•
•
•
•
•
Opstellen evaluatierapport
Informeren opdrachtgever over de kwaliteit van het testobject
Evaluatie testobject
Evaluatie testproces
Evaluatie teststrategie
Planning versus realiteit
Evaluatie hulpmiddelen, methoden en technieken
107
Fase Afronding (5)
Conserveren testware
•
updaten, hergebruik
•
opstellen paklijst testware
•
verzamelen en bijwerken testware
•
overdragen testware
Decharge testteam
•
officieel beëindigen van het testtraject
•
decharge verlenen aan het testteam
Conserveren testware
•
updaten, hergebruik
•
opstellen paklijst testware
•
verzamelen en bijwerken testware
•
overdragen testware
Decharge testteam
•
officieel beëindigen van het testtraject
•
decharge verlenen aan het testteam
108
Toetsen- statisch testen
Doel: reviewen opgeleverde documentatie:
•
Plan van Aanpak
•
Functionele ontwerpen
•
Basis ontwerpen
Zo vroeg mogelijk in het traject bevindingen doen
Draaiende applicatie is niet nodig
Oplossen van gedane bevindingen hebben nauwelijks impact op tijd en
geld
109
Huiswerkopdracht
TMap Next®, doorlezen:
paragraaf 6.5, 6.6, 6.7 en 6.8 (niet de subparagrafen; mag wel, hoeft niet)
110
Huiswerkopdracht
TMap Next®, vragen
111
EINDE DAG 2
•
•
•
Testsoorten
Fasering TMap Next® (vervolg)
Toetsen/Statisch testen
112