Transcript Verifiering och validering

Verifiering och
validering
Begrepp
Validering
• Är det rätt system?
• Uppfyller vi kundens behov och förväntningar.
Verifiering
• Är systemet rätt?
• Har vi gjort det vi sa vi skulle göra?
Granskning
• Uppfyller ett objekt sin specifikation
Testning
• Uppfyller ett exekverbart objekt sin specifikation
Syfte med V&V
Finna alla fel?
Finna alla allvarliga fel?
Visa avsaknad av fel?
Olika syfte beroende på produkt/tjänst
Vad är V&V?
Verifiering
är produkten rätt?
Vad är en bra test?
Validering
är det rätt produkt?
Vad är en bra test?
När Mercedes själva gjorde om testen
Kunde detta gjorts
tidigare?
F=m*v2
Lösning -:)
State of practice?
Ad hoc lösningar
Testning introduceras för sent
Testfall baserar sig på tidigare fel
Testning är ett lågstatus arbete
Låg användning av automatiserade tester
Användning av kvantitativa metoder
sällsynta
Lyckat testarbete
Användarna i högre grad får det de önskar
och behöver
Nöjda användare -> arbetar effektivare ->
företagets vinst ökar
Tecken på lyckat testarbete
Kunderna fortsätter att köpa produkten/
tjänsten
Supportkostnaderna minskar
Misslyckat testarbete
Två angrepps sätt
–  Statiskt -> manuell granskning
–  Dynamiskt-> exekvering av testfall
Förseningar
Requirement
s
Följdfel
Design
Kvarstående buggar
Code
Rubbat förtroende
Text
Ökade kostnader
Komplexitet
Statisk
(granskning)
• Lästeknik
• Gruppstorlek
• Timing
• Vad?
Dynamisk (testning)
• Black box - white box
• Modul -subsystem - system
• Testmiljö: utveckling simulator - målmijö
• Regressionstestning
När ska man stoppa?
20
Olika testnivåer
Enhet/modul
Integrations
Användbarhets
Funktions
System
Acceptans
Primitiv testmodell
V&V process
Acceptans
test
Systemtest
Komponent
test
V&V process
Testprocess systematisk testning
Definiera och kommunicera testmål och
strategi
Tidig testplanering och design
Klara nivåer och kriterier för testning
Automatiserad testgenerering och
utfallsanalys
Systematisk testning
Testdokumentation
!"#$%
#$&'$"+,*
!"#$(-'.*
677,1"-#"%
-)++*
!"#$#("/,%*
01'2).*
!"#$%
#/3"4'*
Upprepat lyckande
5"-%
&'(()&$"&*
Undvika fel
!"#$%
&'(()&$*
Trade-offs i testning
V&V tekniker
White-box!
Black-box!
Coverage! Judgement!
Input/output!
Statistical!
•  Statement! •  Error guessing! •  Equivalence class! •  Usage based!
•  Branch!
•  Ad Hoc!
•  Boundary value!
•  Random!
•  Decision!
Ekvivalens partitionering
Boundary value analys
-1
-1
0…99 100
0…99 100
Component
-10 -9…499 500
-10 -9…499 500
Välj ett värde på varje sida gränsen
Andra black-box tester
Error guessing
Stress testning
Scenario-baserad testning
White-box testning
Statement coverage
Bottom-up testning
Exekvera varje sats minst en gång
Verktyg
Krav kan vara:
Ingen död kod
Top-down testning
Kom ihåg
Hitta fel
Bygg förtroende
Testare destruktiva - men kreativa
Handledning - 8/11
Gästföreläsningar
Grupp 2 - 09.00 - 09.20
Grupp 5 - 09.20 - 09.40
Sal: C626
Grupp 1 - 09.40 - 10.00
I format: pdf, .doc
Grupp 4 - 10.00 - 10.20 .docx, xls, eller xlsx
Grupp 3 - 10.20 - 10.40
Inskickat projektplan och utkast till kravspec
senast den 4/11 kl 12.00 via mail till CL
Måndagen den 15/11 kl 13-15 sal 547
Sigurdur Birgisson från Jayway
Fredagen den 3/12 kl 10.00-11 sal C548
Hampus Jakobsson från TAT