Testing Back 2 Basics Testing in the Real World: Practische tools & ervaringen Rien van Vugt, Capgemini Rien Wie ? ’80-’85 ’85-’89 ’89 - Heden Inhoud De basis
Download ReportTranscript Testing Back 2 Basics Testing in the Real World: Practische tools & ervaringen Rien van Vugt, Capgemini Rien Wie ? ’80-’85 ’85-’89 ’89 - Heden Inhoud De basis
Slide 1
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 2
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 3
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 4
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 5
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 6
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 7
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 8
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 9
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 10
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 11
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 12
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 13
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 14
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 15
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 16
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 17
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 18
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 19
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 20
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 2
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 3
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 4
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 5
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 6
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 7
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 8
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 9
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 10
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 11
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 12
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 13
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 14
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 15
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 16
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 17
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 18
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 19
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah
Slide 20
Testing Back 2 Basics
Testing in the Real World:
Practische tools & ervaringen
Rien van Vugt, Capgemini
Rien Wie ?
’80-’85
’85-’89
’89 - Heden
Inhoud
De basis
Test coördinatie
Some of My Best Practices
o Test Plan & Proces
o Test vanuit business perspectief
o Voortgang
o Compartimentaliseren/vereenvoudigen
o Test metrics
o De Eindsprint
Testen: De Basis
Traceability
Traceability
Conform Design
&
Fit for Business
Traceability
Test Coördinatie
Vinklijst
Test cases
Test 1.1
Test 1.2
Test 1.3
……
Test 2.1
Test 2.2
……
……
Test 3.1
……
……
……
……
Test n.m
Vinklijst
Defects
Defect 1
Defect 2
Defect 3
Defect 4
Defect 5
Defect 6
……
Defect x
Requirement
Traceability
Vinklijst
Requirements
(optioneel)
Requirement 1
Requirement 2
Requirement 3
Requirement 4
……
Requirement Y
En vergeet de
testomgeving niet
Some of My Best Practices
Test Plan & Proces
Test vanuit business perspectief
Voortgang
Compartimentaliseren/vereenvoudigen
Test metrics
De Eindsprint
Test Plan
Test Plan versus Powerpoint
Strategie en uitgangspunten gaan verloren in de details
Powerpoint versie om de rode draad aan te geven
Inschatting test inspanning:
“Waar gehakt wordt, vallen spaanders”
Testinspanning is relatief aan de ontwikkelinspanning
Wetmatigheden:
o Wet van behoud van ellende
o “You’re never lucky”
o Testen van een interface kost minstens 3 weken doorlooptijd
Flexibiliteit om af te wijken en/of bij te stellen indien nodig
Proces: Test Management
Test case Event State
Test Plan
Defined
High level
design started
Test obsolete or out of scope
Test Design
HLTD
Detailed level
design started
DLTD
Test design
completed
Deferred
Test obsolete or out of scope
Test
Ready for
test
postponed/
re-activated
Test execution started
Tested NOK
Tested OK
Error
Retest
started
Tested
NOK
Retest
OK
Tested OK
Out of scope
Test Execution
Test
Proces: Defect Management
Defect Event State
Development
Defect Management Board
Production or Test
Evaluate & Classify
New
Resolve
defect
Resolution
started
Re-evaluate
Test
Open
Investigate
Analsed
Build
Fix ready
Re-test or
Extra tests
required
Resolve
defect
Resolved
Fix installed
Reject (no defect) or
Duplicate or
Change Request
QA
Test defect
Test
Installed next
test level
Error
Tested NOK
OK
Closed
Approved
Tested OK
Verified/stable
Monitor
Verify
Error/unstable
Defer resolution
Deferred
Continue
Belang Sterke Business Relatie
Begrijp wat je test: Investeer in een goede relatie met gebruikers
Vroeg aansluiten: Review specificaties en doe er direct wat mee:
=> High level test ontwerp & Traceability
Loop eens een dagje mee!
Test niet alleen “conform specificatie”
Maar ook voor “fit voor business”
……
Test Planning & Voortgang
Testen lijkt zo simpel:
Gewoon X aantal testen uitvoeren binnen periode Y
Maar hoeveel hertesten nodig i.v.m. gevonden fouten?
Dit maakt testen minder voorspelbaar =>
oBaseline & ETC zijn onvoldoende
oWerkelijk aantal benodigde test executies (testen + hertesten)
voorspellen: meet aantal test cycli per test
Risico niveau Benodigde test tijd Beschikbare doorlooptijd
Communicerende vaten, wat is belangrijker ?
Project leiding beslist, de test manager adviseert.
50
Voortgang: dynamische test cycli
0
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned
vs Actual
Planned
vs Actual
Tests executed
450
300
Actual progress
400
Planned progress (target)
250
350
Tests executed
Planned progress (original)
Actual progress
Actual completion
Planned progress
Planned completion (original)
Actual completion
# Testcases
300
200
250
150
200
Planned completion
150
100
100
50
50
00
WK35
WK36
WK37
WK38
WK39
WK40
WK41
WK42
Planned vs Actual
450
Tests executed
Actual progress
400
© 2011 Capgemini. All rights reserved.
1
Voortgang: Maak het Zichtbaar
Context Diagram
Proces Diagrammen
YYY
Xxxxxx
zzzzzz
DDDDD
GGG
JJJJ
HHHH
KKKK
XXX
X1234
SSSSS
OOO
CCC
PPPPPPP
X1222
X1208
TTTTTTT
RRRRR
X1212
X1212
NNN
ZZZZZZ
WWWWW
AAAA
UUU
X1208
FFFFF
MMMM
VVVV
Legend
QQQQ
BBBBBB
EEEEEEE
Systems
in scope
Legacy interfacing
in scope
Legacy interfacing
out of scope
Interface
Manual
Testen Compartimentaliseren
Systeem
A
Proces 1
Proces 2
Proces 3
Systeem B
B
Systeem
C
Systeem
D
Test Metrics: Meten Is Weten
Komt dit bekend voor?
Issues tav metrics:
Geen metrics
Alleen wekelijks achteraf bijv.
voor rapportage
Geen interesse voor metrics
totdat …. de @#$ uitbreekt
Geen intrinsiek onderdeel van
de workflow
Gebrek aan details (bijv. root
cause defects, traceability
informatie)
Test Metrics: Meten Is Weten
Test Case Metrics
Defect Metrics
Status
Status
Test Execution Status
Distributie
Test Status by Category
Planned vs Actual
Trend
Test Execution Progress
Workload
Test Status by Tester
Remaining Defects
Distributie
Open Defects by Category
Aging
Trend
Open Defect Trend
Workload
Open Defects by Group
Test Metrics: Meten Is Weten
Start simpel: Status, Trend, Distributie
Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens
verzameld worden
Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management
Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day
Dashboard, Trends en Traceability met een druk op de knop
Test Tooling
Test cases
End Of Day (Excel)
Imported Information
Extra info
Manual or
Derived from
Import
Defects
CSV, XLS or API
Special EOD formulas
Trend tables
Traceability tables
Shortlists
Excel Graphics &
Tables
Dashboard(s) for
Coordination
&
Reporting
De Eindsprint: PRA & ABC Risico
Hoeveel Testen Is Genoeg?
Risk Analysis
Vaak is er gebrek aan tijd om het origineel
ambitie niveau te halen
5
Impact
Test cases:
Welke testen en hertesten nog uitvoeren?
20
Low
C
A
Go Live Run to Zero
140
120
tbd
B*
100
# Defects
A*
80
60
40
20
0
Voordeel: Go-Live concencus met business
B
Risk
Defects:
Welke defects nog oplossen en testen?
Run to Zero proces inrichten
10
Medium
o Op basis van eerdere product risico analyse (PRA) en/of
o Op basis van MoSCoW voor requirements
o Op basis van risico openstaande defects
o Bepaal ABC risico klasse tav. Go-Live met de business:
A = No Go UAT, B=No Go Go-Live, C = Acceptabel
Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing
o Priority (urgentie) en Severity (business impact) geven 1e
indicatie
Resolved
Open
High
Samenvatting
2 lijsten om te managen: Testen en Defects
Test proces stroomlijnen en verbeteren
Dagelijks meten en sturen op content
Daarnaast kwaliteit proces controleren
Testen vanuit business perspectief geeft extra
toegevoegde waarde: “fit for business”
[email protected]
http://www.linkedin.com/groups?gid=2381680&mostPopular=&trk=tyah