Transcript ISO IEC 25000

OPPILAITOSPORTAALI
ISO/IEC 25000
-standardisarja (SQUARE)
Ohjelmistojen ja järjestelmien
laadun mittaaminen
Ohjelmiston ja järjestelmän laatumalli
Laadun mittarit, esimerkkejä
Laadun arvioinnin periaatteita
Tervetuloa luentoaineiston käyttäjäksi!
Tämän luentoaineiston ovat laatineet TkL Risto Nevalainen
FiSMA ry:stä ja professori Markku Tukiainen Itä-Suomen
Yliopistosta. Kalvosarja on tuotettu SFS:n
projektirahoituksella.
Aineisto on suunnattu ammattikorkeakoulujen ja yliopistojen
opettajille ja opiskelijoille. Kalvosarja esittelee ohjelmistojen
ja järjestelmien laadun mittaamisen standardiperheen
SQUARE keskeisen sisällön sekä työn alla olevat
uudistukset.
Tässä kalvosarjassa ei käsitellä laadun mittaamisen
standardeja yksityiskohtaisesti, vaan yleisen johdanto-osan
jälkeen esitellään lähinnä laatumalli, esimerkkejä laadun
mittareista ja arvioinnin periaatteista.
13.4.2015 | 3
Aineiston käyttö ja tekijänoikeudet
• Tämän luentoaineiston tekijänoikeudet
omistaa Suomen Standardisoimisliitto SFS ry.
• Esitystä saa vapaasti käyttää
opetustarkoituksiin ja sitä saa tarvittaessa
muokata. Aineistoa lainattaessa lähde tulee
mainita.
• Aineiston käyttö kaupallisiin tarkoituksiin on
kielletty.
• Tämä materiaali on päivitetty viimeksi
10.12.2013.
13.4.2015 | 4
Sisältö
• Laadun mittaamisen standardien ja mallien
kokonaisuus
• Hieman ISO/IEC 25000 viitekehyksestä
• ISO/IEC 25010 –standardi (laatumalli)
• Esimerkkejä laadun mittareista
• Ohjelmiston ja järjestelmän laadun arviointi
• Kokemuksia standardin käytöstä
• Standardin jatkokehitys
13.4.2015 | 5
Mikä on SQuaRE malli ja viitekehys?
• SQuaRE = Software Quality Requirements
and Evaluation
– Yleisnimi tuotelaadun ISO/IEC 25000
standardiperheelle
• SQuaRE sisältää laatumallin ja joukon laadun
mittareita ohjelmistolle, järjestelmälle ja
lähiaikoina myös palvelulle ja tiedon laadulle
(Software, Systems, Services, Data)
– Standardiperhe on kasvanut pikkuhiljaa
kattamaan käytännössä kaikki digitaalisen
maailman tärkeimmät tuotteen mittaamisen
yleiset osa-alueet
13.4.2015 | 6
Hieman historiaa
• Ohjelmiston laadun mittaamisen standardin kehitys
alkoi jo vuonna 1985. Ensimmäiseksi koottiin lista
laatuun vaikuttavista tekijöistä.
• Boehm model ja McCall model olivat tärkeimmät
alkuvaiheen julkaistut mallit, joita käytettiin lähteinä.
• Jo alkuvaiheessa myös laadun arviointi otettiin
mukaan standardointityöhön.
• Ensimmäinen standardi julkistettiin vuonna 1991:
ISO/IEC 9126: Information technology-Software
product evaluation-Quality Laatupiirres and the
guidelines for their use
• ISO/IEC 9126 jaettiin muutama vuosi myöhemmin 9126
(mallit ja mittarit) ja 14598 (laadun arviointi) sarjoiksi
13.4.2015 | 7
SC7 ja WG6 työryhmä, jossa
SQUARE standardia tehdään
SWG 1
Business
Planning Group
SWG 5
SC7
Standards Management Group
SWG22
Secretariat
WG2
Systems & Software
Documentation
WG4
Tools and
Environment
WG6
Software Product
Measurement and
Evaluation
WG7
Life Cycle
Management
Vocabulary
Maintenance
WG10
Process
Assessment
WG19
Techniques for
Specifying IT Systems
WG20
Software Engineering
Body of Knowledge
WG21
Software
Asset Management
WG24
SLC Profiles and
Guidelines for VSE
WG26
Software Testing
WG28
CIF Usability
WG42
Architecture
13.4.2015 | 8
SC7 WG6 / ISO/IEC 25000 edeltäjät
• ISO/IEC 9126: Software engineering - Product quality –
(Part 1: Quality model, Part 2: External metrics, Part 3:
Internal metrics, Part 4: Quality in use metrics)
• ISO/IEC 14598: Software Engineering - Product
evaluation – (Part 1: General overview, Part 2: Planning
and management, Part 3: Process for developers, Part 4:
Process for acquirers, Part 5: Process for evaluators,
Part 6: Evaluation module)
Lisäksi on hyvä huomioida etenkin seuraavat standardit:
• ISO/IEC 12207, ohjelmistotuotannon elinkaarimalli
• ISO/IEC 15288, järjestelmäsuunnittelun elinkaarimalli
• ISO/IEC 15939 Mittaaminen
• ISO/IEC 20000, IT-palvelujen hallinnan malli
• ISO/IEC 29119, Ohjelmiston testaus
13.4.2015 | 9
ISO/IEC 9126 series of International Standards and Technical Reports define a general-purpose quality model,
quality characteristics and give examples of metrics. The ISO/IEC 14598 series of International Standards gives an
overview of software product evaluation processes and provide guidance and requirements for evaluation. Parts 2
and 6 relate to corporate or departmental level for evaluation management and support, while parts 3, 4 and 5 give
requirements and guidance for evaluation at the project level. Figure B1 shows the relationship between these
standards and technical reports.
ISO/IEC 9126 ja ISO/IEC 14598
kokonaisuus ja ryhmittely
Resources
and
environment
Evaluation
support
Evaluation
process
Evaluation
process
Software
product
Internal
metrics
External
metrics
Effect of the
software
product
Quality in
use metrics
14598-1
14598-2
14598-3
9126-1
14598-4
14598-6
14598-5
9126-3
9126-2
9126-4
13.4.2015 | 10
Siirtyminen 9126 ja 14598 -> SQuaRE
SQuaRE nykyinen arkkitehtuuri ja sen standardit
ISO/IEC 2503n: Quality
Requirement Division
25030: Quality
Requirements (IS)
ISO/IEC 2501n: Quality Model Division
ISO/IEC 2504n:
25010: System and software quality models (IS)Quality Evaluation Division
25012: Data Quality Model (IS)
25040: Quality Evaluation
Process (IS)
2501n: IT Service Quality Model (WD)
ISO/IEC 2500n: Product Quality General
Division
25000:
Guide to SQuaRE (IS)
25041: Evaluation Guide for
Developers, Acquirers and
Independent Evaluators (IS)
25000 Rev.: Guide to SQuaRE (FDIS)
25001: Planning and Management (IS)
25001 Rev.: Planning and Management (FDIS)
ISO/IEC 2502n: Quality Measurement Division
2504n: Evaluation Module (NYA)
25020: Measurement Reference Model (IS)
25021: Quality Measure Elements (TR)=>(IS)
25045: Evaluation Module for
Recoverability (IS)
25022: Measurement of Quality in Use (CD)
25023: Measurement of Sys & SWP Quality (CD)
25024: Measurement of Data Quality (CD)
ISO/IEC 25050 ~ 25099: SQuaRE Extension Division
ISO/IEC 25060 ~ 25069:
25051: Requirements for quality of COTS
Common Industry Format for Usability
software product and instructions for testing (IS)
JWG JTC1/SC7 and ISO/TC159/SC4
25051 Rev.: Requirements for quality of COTS
JTC1/SC7/WG6
Hyderabad Meeting
software product and instructionsISO/IEC
for testing
(Pub.)
Report
12
12
SQuaRE standardien ryhmittely eri
osioihin
Laatumallien
osio
2501n
Laatuvaatimusten
osio
2503n
Ohjelmiston ja
järjestelmän
laadun hallinnan
osio 2500n
Laadun
arvioinnin
osio
2504n
Laadun mittaamisen
ja mittojen osio
2502n
Mahdolliset muut aiheet ja laajennukset 25050 - 25099
13.4.2015 | 13
Ohjelmiston ja järjestelmän laadun
hallinta: 2500x osio
• Tässä osiossa kuvataan ohjelmiston ja järjestelmän laadun
hallinnan ja mittaamisen käsitteistö ja osa-alueet
• Tähän mennessä on julkaistu kaksi standardia:
• ISO/IEC 25000: Guide to SQuaRE
– Yleinen johdatus SQuaRE ajatteluun, käsitteistöön ja
standardiperheeseen kokonaisuutena.
• ISO/IEC 25001: Planning and Management
– Laadun mittaamisen vaatimukset standardia käyttävän
organisaation kannalta.
13.4.2015 | 14
Laatumallit: 2501x osio
• Tässä osiossa määritellään SQuaRE laatumallit sekä
asetetaan vaatimukset niiden käytölle, soveltamiselle ja
muokkaamiselle.
• Tähän mennessä on julkaistu kaksi standardia:
• ISO/IEC 25010: System and software quality models
– Ohjelmiston / järjestelmän käytön aikainen laatumalli,
sisältäen viisi osa-aluetta ja niiden luonnehdinnat. Ne
jakaantuvat edelleen 11 laatuominaisuuteen.
– Kehittämisen aikainen laatumalli, jakaantuen 8 osa-alueeseen
ja 31 erilliseen laatuominaisuuteen.
• ISO/IEC 25012: Data quality model
– Järjestelmässä olevan tiedon laatumalli, jakaantuen myöskin
osa-alueisiin ja laatuominaisuuksiin kuten 25010.
• ISO/IEC 25011: Service quality model
– Tämä standardi on vielä kesken, julkaistaan ehkä vuonna
2015
13.4.2015 | 15
Laadun mittaaminen ja mitat: 2502x osio
• Tässä osiossa määritellään vaatimukset laadun mitoille,
yksilöidään suositeltavat mitat ja annetaan niiden käytön
ohjeita.
• Tässä osiossa on viisi standardia (osa vielä työn alla):
• ISO/IEC 25020: Measurement reference model and guide
– Yleiset vaatimukset, mittojen jäsennys ja käytön ohjeet.
• ISO/IEC 25021: Quality measure elements
– Perusmittojen jäsentely ja määritelmät.
– Standardeissa 25022, 25023 ja 25024 käytetään
perusmittoja johdettujen mittareiden luontiin
• ISO/IEC 25022: Quality in use measures (työn alla)
• ISO/IEC 25023: Measurement of system and software
product quality (työn alla)
• ISO/IEC 25024: Measurement of data quality (työn alla)
13.4.2015 | 16
Laadun vaatimukset: 2503x osio
• Ohjelmiston / järjestelmän laatu ilmaistaan organisaation
vaatimuksina, joiden perusteella laatumallit ja laatumitat
valitaan ja sovitetaan tarpeiden mukaisesti.
• Laadun vaatimukset asetetaan eri näkökulmat ja
sidosryhmät huomioiden ja tasapainottaen, esimerkiksi
ostaminen, asiakkaan vaatimukset, ylläpito,
laadunvarmistus ja auditointi.
• Sisältää ohjeet laatuvaatimusten asettamiseen.
• Tässä osiossa on julkaistu yksi standardi:
• ISO/IEC 25030: Quality requirements
– Ohjelmistotuotteelle asetettavien laatuvaatimusten
asettaminen.
13.4.2015 | 17
Laadun arviointi: 2504x osio
• Yleiset vaatimukset ohjelmiston / järjestelmän laadun
arvioinnille (evaluation).
• Vaatimukset metodeille, joiden avulla laatu todetaan.
• Tässä osiossa on julkaistu kaksi standardia:
• ISO/IEC 25040: Quality evaluation process
– Arvioinnin prosessi ja sen vaatimukset.
• ISO/IEC 25041: Evaluation guide for developers, acquirers
and independent evaluators
– Vaatimukset ja ohjeet kehittäjille, ostajille ja
riippumattomille tarkastajille laadun arvioimiseksi.
13.4.2015 | 18
SQuaRE standardiperheen käyttämisen
periaate – miten osiot toimivat yhdessä
Asiakas
Käyttäjä
Kehitysorganisaatio
Ostaja
Tarkastaja
Kehittäjä
Saa ohjeita
Asettaa
Laatuvaatimukset
Tukee
Määrittää
Laatumallit,
mittaaminen ja
mitat
guidance
Suorittaa
Laadun
arviointi
Tukee
13.4.2015 | 19
Laadun mittaaminen tuotteen elinkaaren
eri vaiheissa
Needs
Requirements
Quality in
Use Measures
Product
Quality in use
Quality in use
Specifying
Requirements
Evaluating
Validation
Determine
External
Quality
Indicates
External Quality
Specifying
Measures
Requirements
Determine
External
Validation &
Verification
Verification
Quality
Evaluating
Indicates
Internal
Quality
Measures
Specifying
Internal Quality
Internal
Requirements
Quality
Evaluating
Verification
Implementation
13.4.2015 | 20
LAATUMALLI 25010 JA
ESIMERKKEJÄ MUISTA
STANDARDIN OSISTA
13.4.2015 | 21
ISO/IEC 25010 ohjelmiston ja
järjestelmän laatumalli
• Käytön aikaisen laadun malli (quality in use) koostuu
viidestä osa-alueesta eli laatupiirteistä (Laatupiirres,
some of which are further subdivided into
subLaatupiirres). Laadun piirteet ja ominaisuudet on
johdettu järjestelmän yleisistä käyttötilanteista. Ne pitää
tulkita tapauskohtaisesti, yhtä ainoaa oikeaa laatumallia
ei ole.
• Ohjelmiston / järjestelmän laatumalli (internal and
external), koostuen kahdeksasta laatupiirteestä. Ne
voidaan nähdä sekä staattisina että dynaamisina
ominaisuuksina. Standardissa käytetään myös jakoa
sisäiset (internal) ja ulkoiset (external). Pääasiallinen
tarkoitus on käyttää tätä laatumallia ohjelmiston tai
järjestelmän kehittämisen aikana.
13.4.2015 | 22
Käsitteiden hierarkia SQuaREssa: laadun
yksilöinti laatupiirteiksi ja edelleen
laatuominaisuuksiksi
Quality
Laatupiirre
(Characteristic) 1
Laautekijä 1
Laatupiirre 2
Laatupiirre 3
Laatupiirre n
Laatupiirteen
osa-alue (sub-char) 1
Laatupiirteen
osa-alue 2
Laatupiirteen
Osa-alue n
Laautekijä
(quality property) 1
Laatutekijä 2
Laatupiirre n
Laautekijä 2
Laautekijä 3
Laautekijä n
13.4.2015 | 23
Muutama termi
• Laatupiirre (quality characteristic, subcharacteristic) =
laadun itsenäisesti arvioitavissa oleva osa-alue
• Laatuominaisuus (quality attribute) = laadun
mitattavissa oleva laatupiirteen osa, voi jakaantua
edelleen laatutekijöiksi (quality properties)
• Sidosryhmä, osapuoli (stakeholder) = yksilö tai
organisaatio, jolla on tarve ja kiinnostus laatuun.
Esimerkkejä sidosryhmistä: kehittäjät, järjestelmän
toimittajat, ostajat, tuotteen omistajat, ylläpitäjät,
sopimusosapuolet ja loppukäyttäjät.
• Käyttäjä = yksilö tai ryhmä, joka hyötyy järjestelmästä
sen käytön aikana.
• Loppukäyttäjä = henkilö joka on vuorovaikutuksessa
ohjelmiston ja / tai järjestelmän kanssa.
13.4.2015 | 24
Laadun elinkaaren päävaiheet: sisäinen,
ulkoinen, käytön aikainen
Prosessi
Ohjelmiston laatu
vaikuttaa
Proses
sin
laatu
Sisäiset
mitat
Käytön
aikainen
laatu
Ulkoiset
laatutekijät
riippuu
riippuu
Prosessin
mitat
vaikuttaa
vaikuttaa
Sisäiset
laatutekijät
Ohjelmistotuotteen
vaikutus
riiippuu
Ulkoiset
mitat
Määritellyt
käyttötilanteet
Käytön
aikaiset
mitat
13.4.2015 | 25
Laatumallien käyttökohteet SQUAREstandardiperheessä
Laatumallit
Ohjelmiston /
Järjestelmän
laatumalli
Käytön aikaisen
Laadun malli
Datan laatumalli
Ihminen-kone järjestelmä ja vuorovaikutus
Tietojärjestelmä
Tietoliikennejärjestelmä
Ensisijaiset,
Toissijaiset
ja muut
käyttäjät
Muu data
Käyttämisen
ympäristl
System oleva laitteisto
Kohteena
Tietokone
Muu
ohjelmisto
Kohdeohjelmisto
Kohteen
data
Key:
Mitä mallilla pyritään mittaamaan
Muita huomioitavia asioita ja yhteyksiä
Muut sidosryhmät
Laadun mittaamisen käyttökohteiden
väliset tärkeimmät riippuvuudet
Kehittämisprosessin laatu
Ohjelmiston
laatu
Resurssien
laatu
A
B
A vaikuttaa B:hen, tai
B seuraa A:sta
Järjestelmän
laatu
Järjestelmän
käytön aikainen
laatu
Muiden
osajärjestelmien
laatu
Määritelty
käyttötilanne
Sidosryhmät
Tehtävä
Ympäristö
13.4.2015 | 27
Käytön aikaisten laatupiirteiden jäsentely
(5 kpl, 9 alipiirrettä)
Käytön
aikainen laatu
Tehokkuus
Tehollisuus
Tyytyväisyys
Riskittömyys
Käyttövaatimusten
täyttyminen
Tehokkuus
Tehollisuus
Hyödyllisyys
Taloudellisten
riskien
hallinta
Käyttövaatim
usten
täydellisyys
Terveys- ja
turvallisuusriskien
hallinta
Joustavuus
Luottamus
Käyttämisen
ilo
Käyttömukavuus
Ympäristöriskien
hallinta
Käytön aikaiset laatupiirteet – muutama
selvennys
Tehokkuus (Effectiveness) = täsmällisyys ja täydellisyys miten haluttu
käyttämisen tavoite saavutetaan
Tehollisuus (Efficiency) = resurssien käyttäminen suhteessa
saavutettuun tehokkuuteen
Tyytyväisyys (Satisfaction) = tyytyväisyys ohjelmiston / järjestelmän
käyttöön määritellyssä käyttötilanteessa
Riskittömyys (Freedom from risk) = riskien hallinnan (mitigation) määrä
suhteessa riskin potentiaaliseen vaikutukseen
Käyttövaatimusten täyttyminen (Context coverage) = mainittujen neljän
laatupiirteen täyttyminen määritellyssä ja uudenlaisessa
käyttötilanteessa (mukaanlukien määritellyt erityistilanteet)
13.4.2015 | 29
Esimerkki laatupiirteestä: turvallisuus
(safety)
• Käytön aikainen laatupiirre (riskittömyyden osa-alue):
Terveys- ja turvallisuusriskien hallinta
– Tarkempi määritelmä: hallinnan aste ihmisille
aiheutuvien riskien välttämiseksi aiotussa
käyttötilanteessa
• Tähän laatupiirteeseen soveltuvia mittariehdokkaita
standardissa ISO/IEC 25022 ovat esimerkiksi:
– Käyttäjille aiheutuva terveysongelma järjestelmän
käyttämisessä (ongelmien määrä / kaikki käyttäjät)
– Käyttäjille aiheutuvan terveysongelman vaikutus
suhteessa tavoitearvoon (esim. Prosenttiluku)
– Järjestelmän aiheuttamien terveysongelmien
kokonaismäärä (vaikutukselle altistuneet / populaatio)
13.4.2015 | 30
Kehittämisen aikaisten laatupiirteiden
jäsentely SQuaRE – mallissa (8 kpl, 31
alipiirrettä)
13.4.2015 | 31
Ohjelmiston ja järjestelmän kehittämisen
aikainen laatu – laatupiirteiden avauksia (1/2)
13.4.2015 | 32
Ohjelmiston ja järjestelmän kehittämisen
aikainen laatu – laatupiirteiden avauksia (2/2)
13.4.2015 | 33
Ohjelmiston laadun mittaamisen logiikka
SQuaRE standardissa
13.4.2015 | 34
Standardin kehitystyö lähitulevaisuudessa
• Kukin osa uusitaan oman aikataulunsa mukaan
– Parhaillaan työn alla 25020 sarja (laadun mitat),
perustuen aiempaan standardiin ISO/IEC 9126.
– Samaten ollaan tekemässä 25040-sarjaa (laadun
arviointi), perustuen aiempaan ISO/IEC 14598
sarjaan.
• Lisäksi uusia osia tulossa kaiken aikaa, esim.
– Palvelun laatumalli ISO/IEC 25011. Tällä
standardilla on tulevaisuudessa käyttöä myös ITpalveluiden ja pilvipalvelujen mittaamisessa.
13.4.2015 | 35
Standardin käyttökokemuksia Suomessa
• Laajaa mielenkiintoa ohjelmistoyrityksissä, kun
– Kun pitää osoittaa ohjelmiston laatu asiakkaalle tai
viranomaiselle
– Kun tuotelaatu nähdään keskeisenä kilpailutekijänä ja halutaan
mitata se suoraan, ei vain asiakastyytyväisyytenä tai
kehittämisprosessin kyvykkyytenä
• Standardi on verraten yksityiskohtainen, joten se ei sovellu
ihan vasta-alkajille
– Käytön voi kuitenkin aloittaa omien laatutarpeiden ja –
vaatimusten tunnistamisesta, ottaen laatumalli käyttöön
vähitellen aloittaen tärkeimmistä osa-alueista
• SQuaRE – mallia käytetään myös lähteenä muissa
standardeissa
– Etenkin ohjelmistotestauksen standardi ISO/IEC 29119
13.4.2015 | 36
Lisätietoa standardeista
• SQuaRE standardiperheestä vastaa kansainvälinen
ISO/IEC JTC 1/SC7 – alikomitea, erityisesti sen
työryhmä 6 (WG 6 IT Product Quality). Moni muukin
JTC1:n työryhmä on mukana ohjelmistojen ja
järjestelmien standardien laadinnassa. Hae lisätietoja
www.sfs.fi.
• Suomen osalta FiSMA ry (Finnish Software
Measurement Association) seuraa SC7 – alikomitean ja
sen työryhmien työtä ja laatii kansallisia kannanottoja.
Hae lisätietoja www.fisma.fi.
13.4.2015 | 37