Transcript Agile Testautomatisering in de praktijk - Jori Ramakers

Agile.
Test.
Automatisering.
Agile testautomatisering in
de praktijk
Bussum, Oktober 2014
| 2
Jori Ramakers
Test Tool Consultant, Sogeti
Specialist in vakgebieden
• Testen
• Testautomatisering
• Service Virtualisatie
Testspecialist in domeinen
• Web
• Componenten (web services/MQ/ESB)
• Batch processen
• Databases
• …
Sogeti PowerPoint Referentie 2014 | 3
Waarom testautomatisering?
Versnelling
testuitvoering
Meer testen
Bewaken
kwaliteit
Kortere
Time to Market
• Geautomatiseerd testen is sneller dan handmatig
testen
• Hierdoor kan in dezelfde tijdspanne meer werk
worden verricht
• Meer testen = meer, maar ook sneller en vaker
bevindingen doen
• Sneller inzicht in kwaliteit = sneller verbeteren =
sneller een goed product
| 4
Agile – Progressie vs Regressie
• Bij Agile blijft de regressieset groeien
• Bij Agile is testautomatisering een must
| 5
Agile testautomatisering
Activiteiten
Testautomatisering
Overige
Handmatig testen
Algemeen
Sogeti PowerPoint Referentie 2014 | 6
Agile – Overall Strategy
Activiteiten
Testautomatisering
Overige
Handmatig testen
Algemeen
Doelen
Baten
Product / technologieën
Scope
Tool
Sogeti PowerPoint Referentie 2014 | 7
Toolselectie
V
e
r
s
u
s
• Welke technologieën moeten worden ondersteund?
• Wie gaat de tool aansturen en gebruiken?
• Wat is het beleid van de organisatie omtrent test tools?
| 8
Agile – Detailed Strategy
Activiteiten
Testautomatisering
Overige
Handmatig testen
Algemeen
Taken
Impact & veranderingen
Planning & burndown
Haalbaarheid
Herbruikbaarheid
Sogeti PowerPoint Referentie 2014 | 9
Detailed Strategy
Backlog
Nieuw
Veranderingen
Backlog
Herbruikbaarheid?
Haalbaarheid?
Planning
Burndown Chart
| 10
Detailed Evaluation
Activiteiten
Testautomatisering
Overige
Handmatig testen
Algemeen
Voortgang vs planning
Feeback
Verbeteringen
Sogeti PowerPoint Referentie 2014 | 11
Detailed Evaluation
Burndown Chart
Planning
User Input
Feedback
Acties
Input nieuwe planning
| 12
Testuitvoering – Keuze testset
Activiteiten
Testautomatisering
Overige
Handmatig testen
Testuitvoering
- Intake testen
- Volledige regressie
Performance afhankelijk
Algemeen
Sogeti PowerPoint Referentie 2014 | 13
Verschil Daily vs Weekly
User Story 1
Happy flow
Alternatieve flow 1
Alternatieve flow 2
Subset
Intake testen
User Story 2
Happy flow
Alternatieve flow 1
Alternatieve flow 2
User Story 3
Happy flow
Alternatieve flow 1
Alternatieve flow 2
Volledige
regressieset
| 14
Testuitvoering – Intake testen
Activiteiten
Testautomatisering
Overige
Test
Subset
Handmatig testen
Algemeen
Regressie
Progressie
NOK
NOK
NO
Analyse
Change
required?
OK
YES
Kostenbaten
analyse
Defect
Automate
Sogeti PowerPoint Referentie 2014 | 15
| 16
Agile Testautomatisering - ANWB
Doelen, eisen en beleid – Overall Strategy
Test & Beheer asset
Laagdrempelig
Verschillende technologieën
Toolselectie
+
Sogeti PowerPoint Referentie 2014 | 17
ANWB – Meerdere omgevingen
Dagelijks
Testomgeving
Wekelijks
Acceptatie
omgeving
Productie hotfix
Hotfix omgeving
|
ANWB – Test & Beheer asset
Team 1
Team 2
Team 3
Team member
Basic level
Advanced level19
Test Tool Architect
|
ANWB – Detailed Strategy
Herbruikbare componenten
Sprintdoelen, planning & burndown
| 20
ANWB – Sprint evaluation
Definition of Done
Gebouwd
Getest
Geautomatiseerd
| 21
ANWB – Automation - Haalbaarheid
Sogeti PowerPoint Referentie 2014 | 22
ANWB – Automation - Herbruikbaarheid
Sogeti PowerPoint Referentie 2014 | 23
ANWB – Meerdere omgevingen
Volledige set
180 Testgevallen
Intake testen
60 Testgevallen
Testomgeving
Iedere
deployment
Acceptatie
omgeving
Hotfix omgeving
|
ANWB - Dashboard
| 25
ANWB - Dashboard
| 26
Conclusie
 Continue bezig met uitvoeren, aanpassen en uitbreiden
 Continue gedane werk reviewen en verbeteren
 Architectuur oplossing = must voor een robuuste onderhoudbare testset
=
 Sneller testen = meer testen in dezelfde tijd = meer kunnen doen in een
sprint
 Resultaat: Mede dankzij testautomatisering is het project herijken
geslaagd binnen de gestelde tijdkaders
| 27
Vragen?
28