Transcript PPT - TUKE

Riadenie IT prostredia
Meranie a zlepšovanie
IT procesov
Martin Sarnovský
Katedra kybernetiky a umelej inteligencie
Fakulta elektrotechniky a informatiky
Technická univerzita v Košiciach
Riadenie IT prostredia
LS 2013/2014
1
Obsah prednášky

Meranie IT služieb - kontext



Meranie pri návrhu služby




Startégie a modely testovania a validácie
Prístupy a techniky testovania, typy testov
Meranie pri prevádzke služby



Ukazovatele: CSF, KPI
Metódy Balanced Scorecard a Six Sigma
Meranie pri prechode služby


Meranie ako proces v CSI, opakovanie z prednášky č. 7
Meranie ako súčasť fáz životného cyklu IT služby
Cyklus monitorovania a riadenia
Typy monitorovania
Meranie v kontexte CSI





SMF - Rámec merania IT služieb
Model merania IT služby, technológia vs. manažment
Meranie v modeli manažmentu služieb
Príklady - KPI
Interpretácia výsledkov merania
Riadenie IT prostredia
LS 2013/2014
2
Meranie IT služieb a procesov - kontext (1)
Meranie je zahrnuté ako proces v rámci priebežného
zlepšovania služieb (Continual Service Improvement, CSI):

Výkonnosť poskytovateľa IT služieb je kontinuálne meraná
a zlepšenia sú zapracovávané do procesov, IT služieb
a IT infraštruktúry za účelom zvýšenia účinnosti, efektívnosti
a optimalizácie nákladov.
Procesy CSI:






7-krokový proces zlepšovania
Reporting: podávanie správ
Meranie
Návratnosť investícií
Otázky biznisu
SLM - manažment úrovní služieb.
Riadenie IT prostredia
LS 2013/2014
3
CSI - Meranie v rámci Demingovho cyklu
Plánuj - Vykonaj - Kontroluj - Zlepšuj:
4-fázový cyklus pre manažment procesov
Autor: W. Edwards Deming

PLÁNUJ: Návrh alebo revízia procesov, ktoré podporujú IT služby.

VYKONAJ: Implementácia plánu a manažment procesov.

KONTROLUJ: Meranie procesov a IT služieb, porovnávanie s cieľmi
a vytváranie výkazov (reportov).

ZLEPŠUJ: Plánovanie a implementácia zmien pre zlepšenie
procesov.
Riadenie IT prostredia
LS 2013/2014
4
Meranie služieb pri CSI - všeobecne
Základne, referenčné body (baselines) :


Stanovenie bodu, od ktorého bude meranie prebiehať
Referenčné body treba dokumentovať; stanovujú sa na všetkých úrovniach
(strategic, operational,...).
Dôvody na meranie služieb:




Ohodnotenie, potvrdenie (to validate) predchádzajúcich rozhodnutí,
Nastavenie smerov (to direct) budúcich aktivít,
Overenie (to justify) správnosti smeru,
Zasahovanie (to intervene), korekcia
Otázky pri meraní služieb:

Prečo meriame a monitorujeme? Kedy meranie skončiť? Používa niekto údaje,
ktoré sú výsledkom merania?

Otázka pri každom meraní a tvorbe správy: Stále je toto meranie potrebné?
Riadenie IT prostredia
LS 2013/2014
5
Meranie služieb v CSI - 7-krokový proces
1. Definovať, čo by sa malo merať
2. Definovať, čo môžeme merať
Znalostná špirála:
3. Zhromaždenie údajov (gathering)
4. Spracovanie údajov (processing)
5. Analyzovanie údajov
6. Prezentácia a použitie informácií
7. Implementácia opravných akcií
Riadenie IT prostredia
LS 2013/2014
6
Meranie IT služieb a procesov - kontext (2)
Meranie je súčasťou fáz životného cyklu IT služieb:

Návrh služby (Service Design): metódy Balanced Scorecards
a Six Sigma, vyhodnocovanie podstatných faktorov úspechu (CSF)
a kľúčových ukazovateľov výkonnosti (KPI)

Prechod služby (Service Transition): validácia a testovanie IT služby,
zabezpečenie súladu so špecifikáciami návrhu a s potrebami / biznis
cieľmi organizácie.

Prevádzka služby (Service Operation): monitorovanie a riadenie
IT služby v prevádzke
Meranie slúži predovšetkým na zabezpečenie kvality
(Quality Assurance, QA)
Riadenie IT prostredia
LS 2013/2014
7
Meranie pri návrhu služby
Úlohy počas návrhu služby:

meranie, analýza údajov a reporting počas procesov návrhu,

overenie / zabezpečenie súladu s požiadavkami biznisu,

vykonávané priebežne, počas návrhu aj manažmentu IT služieb.
Ukazovatele:

Podstatný faktor úspechu (Critical Success Factor, CSF),

Kľúčový ukazovateľ výkonnosti (Key Performance Indicator, KPI)
Metódy merania:

Balanced Scorecard (Systém vyvážených ukazovateľov výkonnosti)

Six Sigma - DMADV

Ďalšie metódy: SWOT analýza, porovnávanie (benchmarking), ...
Riadenie IT prostredia
LS 2013/2014
8
Ukazovatele merania
Def: Podstatný faktor úspechu (Critical Success Factor, CSF) : Niečo, čo
sa musí stať, aby proces, projekt, plán alebo IT služba boli úspešné.
Def: Kľúčový ukazovateľ výkonnosti (Key Performance Indicator, KPI):
Metrika, ktorá pomáha riadiť a spravovať proces, IT službu, aktivitu.


Je možné určiť a merať veľa metrík, ale iba najdôležitejšie z nich sa
definujú ako KPI a používajú sa pre aktívne manažovanie a reportovanie
procesu, IT služby, alebo aktivity.
Cieľ - riadenie účinnosti, nákladovej a celkovej efektívnosti.
Na meranie dosiahnutia úspechu každého CSF sú používané KPIs,
napr.:
Merané pomocou:
CSF: ”Ochrana IT služby
pri vykonaní zmeny”
atď.
Riadenie IT prostredia
KPI: ”Percentuálne zníženie,
že zmena vyvolá incidenty”
KPI: ”Percentuálne zníženie
neúspešných zmien”
LS 2013/2014
9
Metóda Balanced Scorecard (1)
Balanced Scorecard - Systém vyvážených ukazovateľov výkonnosti
Autori: R.S.Kaplan, D.P.Norton; metóda vytvorená v r. 1990
Komplementárna metóda k ITIL, z pohľadu IT zahŕňa:
 Perspektíva zákazníka - IT ako poskytovateľ služby, úroveň je
dokumentovaná v SLA.
 Vnútorné procesy - kvalita prevádzky podporovaná procesmi
manažmentu incidentov, problémov, zmien, konfigurácií a nasadení.
 Učenie sa a rast - produktivita biznisu, flexibilita IT, investície
do softvéru, profesionálne vzdelávanie a vývoj.
 Finančná perspektíva - súlad IT s požiadavkami biznisu, riadenie
nákladov a rizík, dodávka očakávanej pridanej hodnoty. Finančný
manažment IT je proces, v ktorom sa alokujú náklady a vypočítava sa
návratnosť investícií (Return of Investments, ROI).
Riadenie IT prostredia
LS 2013/2014
10
Metóda Balanced Scorecard (2)
Riadenie IT prostredia
LS 2013/2014
11
Metóda Balanced Scorecard (3)
MTRS - Stredný čas
obnovy služby
(Mean Time to
Restore Service)
Riadenie IT prostredia
LS 2013/2014
12
Metóda Six Sigma
Autor: B.Smith (Motorola Inc.), v r. 1986; info napr. na www.sixsigma.sk
Metóda pôvodne navrhnutá pre riadenie odchýliek vo výrobe - 6 stupňov variability,
ku každej sa vyčísľujú náklady na kvalitu, cieľom je znížiť odchýlky.
Pri meraní IT procesov a služieb sa používa ako systém na zlepšenie existujúcich
resp. vývoj nových procesov spľňajúcich žiadané kritériá kvality.
Six Sigma (DMADV) definuje procesy:
1. D: formálne definovať ciele návrhu IT služby v súlade
s očakávaniami zákazníka a so stratégiou organizácie.
2. M: určiť CSFs, schopnosti (capabilities), riziká.
3. A: určiť alternatívy, vyhodnotiť ich vzhľadom na
definované ciele, vybrať najlepší návrh.
4. D: Vytvoriť detailný návrh IT služby, optimalizovať
plán jej verifikácie.
5. V: Vytvoriť a nasadiť pilotné aplikácie, zapojiť do prevádzky
služby vlastníkov procesu.
Riadenie IT prostredia
LS 2013/2014
13
Meranie pri prechode služby
Úlohy počas prechodu služby:

validácia a testovanie IT služby,

zabezpečenie súladu so špecifikáciami návrhu a s potrebami / biznis
cieľmi organizácie.
Ciele:

Plánovanie a implementácia štruktúrovaného procesu validácie a
testovania, ktorý objektívne overí mieru súladu novej alebo zmenenej
IT služby s požiadavkami biznisu / zákazníka (vzhľadom na SLA),

Zabezpečenie kvality celého vydania - služby a jej komponentov,
schopností (capability) dodaných v rámci vydania (release),

Identifikácia, ohodnotenie a spracovanie chýb a rizík v priebehu
prechodu služby.
Riadenie IT prostredia
LS 2013/2014
14
Stratégie a modely testovania
Stratégia testovania - definuje celkový prístup k organizácii
a alokovaniu zdrojov na testovanie. Zahŕňa:




Transformáciu návrhu služby do modelov a požiadaviek na testovanie,
Výber najvhodnejšieho prístupu testovania vzhľadom na pokrytie
funkčnosti, rizík, zmien a zdrojov IT služby,
Určenie vstupných a výstupných kritérií testov (prípustnej miery chybovosti)
na základe kritérií akceptovateľnosti (acceptance criteria), a to pre každú
úroveň testovania,
Premietnutie rizík, obmedzení a zdrojov definovaných v požiadavkách
na zmenu (request for change, RFC) do požiadaviek na testovanie.
Model testovania - plán, čo sa bude testovať + testovacie skripty
definujúce spôsob testovania (ako sa bude testovať); má byť
opakovateľný a efektívny. Model testovania zahŕňa:



Možnosť spätnej verifikácie požiadaviek / kritérií návrhu
Možnosť kontroly počas vykonávania testu, vyhodnocovania a reportingu.
Zaistenie / umožnenie správy a zmeny prvkov testovania.
Riadenie IT prostredia
LS 2013/2014
15
Modely testovania - príklad
Riadenie IT prostredia
LS 2013/2014
16
V-model testovania a validácie
fázy vývoja
IT služby
Riadenie IT prostredia
úrovne / typy
testov
LS 2013/2014
17
Prístupy / techniky testovania
Zoznam prístupov k testovaniu, ktoré je možné použiť (aj
kombinovane) vzhľadom na typ IT služby, model služby, profil
rizík, úroveň znalostí / skúseností, ciele a úrovne testovania:













Hodnotenie (review) dokumentu,
Modelovanie a meranie - testovanie modelu služby a plánu prevádzky,
Testovanie na základe rizík - výber kritických služieb z hľadiska biznisu,
Súlad so štandardami,
Testovanie na základe skúseností / expertov,
Testovanie na základe metód životného cyklu organizácie: waterfall, agile,
Simulácia,
Scenáre použitia,
Hranie rolí,
Prototypovanie,
Laboratórne testovanie,
Regresné testovanie,
Pilotné aplikácie.
Riadenie IT prostredia
LS 2013/2014
18
Typy testov
Všeobecné predpoklady:



zahrnúť kompletnú škálu (pravdepodobných) používateľov,
testovať všetky aspekty služby (vrátane podporných služieb),
dokumentovať výsledky testov (reporting)
Funkčné testy - líšia sa v závislosti od typu služby a spôsobu dodania.
Nie-funkčné testy (non-functional):
Funkčné testy - príklady:










Test použiteľnosti (usability),
• “Môže používateľ urobiť
operáciu X?”
Test dostupnosti (accessibility),
• “Pracuje funkcia Y správne?”
Test procesov a procedúr,
Test výkonnosti, kapacity a prispôsobivosti (resilience),
Test škálovateľnosti,
Nie-funkčné testy - príklady:
Test kompatibility,
• “Koľko používateľov sa môže
Test bezpečnosti,
naraz prihlásiť do systému?”
• “Ako ľahko sa dá zvonka
Test nápravy, kontinuity a obnovy,
preniknúť do systému?”
Test konfigurácie, implementácie a inštalácie,
Test prevádzky a možností spravovania.
Riadenie IT prostredia
LS 2013/2014
19
Meranie pri prevádzke služby
Úlohy počas prevádzky služby:
 monitorovanie a riadenie IT služby v prevádzke,
 založené na priebežnom / cyklickom monitorovaní, reportovaní,
a vykonávaní akcií na zlepšenie.
Definície:

Monitorovanie (Monitoring) - opakované pozorovanie konfiguračnej
položky, IT služby alebo procesu na zistenie udalostí, situácie a zmien;
uistenie sa, že je známy súčasný stav.

Reportovanie (Reporting) - analýza, vytvorenie a distribuoanie výstupov
monitorovania.

Riadenie, akcie na zlepšenie - zaistenie súladu s definovanými
štandardami / normami, určenie vst./výst. podmienok pre akcie,
regulácia výkonnosti systémov, zariadení a služieb v prevádzke.
Riadenie IT prostredia
LS 2013/2014
20
Cyklus monitorovania a riadenia

Aktivita a jej výstup sú monitorované merané a porovnávané s určenou normou.

Ak je odchýlka od normy nad prípustným
prahom výkonnosti / kvality, riadenie
vykoná korekčnú akciu.

Systémy otvoreného cyklu - aktivity sú
vykonávané bez ohľadu na podmienky
prostredia (napr. zálohy, backups).

Systémy uzavretého cyklu - monitoruje sa
prostredie a aktivity sa vykonávajú ako
odozvy na zmeny prostredia (napr.
zaťaženosť siete, network load
ballancing).
Riadenie IT prostredia
The Monitor-Control Loop
LS 2013/2014
21
Cyklus monitorovania a riadenia v ITSM
Riadenie IT prostredia
LS 2013/2014
22
Typy monitorovania (1)

Aktívne vs. pasívne:



A: Dotazovanie (interrogation) zariadení na zistenie ich stavu.
P: Generovanie udalostí (events) z monitorovaných zariadení.
Reaktívne vs. proaktívne:


R: Spustenie akcie pri objavení sa určitého typu udalosti / chyby.
P: Detekcia situácií (patterns) alebo udalostí, ktoré naznačujú chybu.
Riadenie IT prostredia
LS 2013/2014
23
Typy monitorovania (2)

Priebežné meranie vs. meranie založené na odchýlkach (výnimkách,
exception-based measurement):



Výkon (performance) vs. výstup (output):



PM: monitorovanie v reálnom čase, zisťuje sa súlad s normou výkonnosti.
(Rozdiel oproti aktívnemu monitorovaniu - to nemusí byť priebežné.)
MZnO: neprebieha v reálnom čase, zber a reporting údajov sa spúšťa po
vzniku odchýlky / chyby. Je lacnejšie a ľahšie ako PM, ale môže spôsobiť
dlhšiu odstávku IT služby - t.j. používa sa na menej kritické služby.
Výkon: Meranie a reporting kvantitatívnych údajov o výkonnosti zariadení,
komponentov, tímov - napr. početvolaní na Service Desk. Meranie výkonu
by sa malo používať iba interne v IT oddelení.
Výstup: Meranie a reporting kvalitatívnych parametrov IT služieb.
Monitorovanie v testovacích prostrediach:

priblíženie testovacieho prostredia (vrátane monitorovania, reportingu
a riadiacich akcií) reálnej prevádzke.
Riadenie IT prostredia
LS 2013/2014
24
Meranie v kontexte nepretržitého zlepšovania služieb
Úloha v procese CSI:
 meranie, monitorovanie a reporting IT služby ako celku (nie iba
výkonnosť jednotlivých komponentov).
Pr. “Server bežal a bol
dostupný na 100% počas
daného obdobia.”
- Bolo zároveň dostupné
aj sieťové pripojenie?
Tri základné miery:

Dostupnosť
(Availability),

Spoľahlivosť
(Reliability),

Výkonnosť
(Performance).
Riadenie IT prostredia
LS 2013/2014
25
Rámec merania IT služieb (1)
Service Measurement Framework, SMF
Predpoklady pre vytvorenie SMF:



Znalosť biznis procesov, určenie najdôležitejších procesov z hľadiska prínosu
hodnoty pre biznis (lebo IT musí podporovať biznis ciele),
Súlad medzi operačnými, taktickými a strategickými cieľmi organizácie (lebo
inak meranie a reporting neprinášajú hodnoty / efekt),
Tvroba SMF smerom k budúcnosti tak, aby sa dali na základe meraní robiť
rozhodnutia.
Určenie, čo sa bude merať a vyhodnocovať v rámci SMF:





Služby
Komponenty
Procesy manažmentu služieb, ktoré podporujú jednotlivé IT služby,
Aktivity v procesoch manažmentu služieb,
Výstupy.
Riadenie IT prostredia
LS 2013/2014
26
Rámec merania IT služieb (2)
Ďalšie parametre pre vytvorenie SMF:



Ciele - čo sa snažíme dosiahnuť, ako budeme vedieť, že sme to už dosiahli,
Výber metrík - čo potrebujeme merať (aby sa dali robiť rozhodnutia), ktoré
metriky nám to umožnia, určenie cieľov pre metriky (na základe SLA),
Definovanie procedúr a politík - určenie procesov / aktivít, nástrojov na zber dát,
rol a zodpovedností, kritérií pre priebežné zlepšovanie.
Najdôležitejšie komponenty SMF:




Rámec výkonnosti - integrovaný do procesov plánovania biznisu, zameraný na
biznis a IT ciele, cenovo efektívny, vyvážený (z hľadiska toho, čo všetko sa
bude merať), prispôsobiteľný zmenám.
Metriky výkonnosti - presné a spoľahlivé, dobre definované a jasné, vhodne
zvolené vzhľadom na ciele, identifikujúce príležitosti na zlepšenie.
Ciele výkonnosti (ktoré majú byť „SMART“: specific, measurable, achievable,
relevant, timely),
Úlohy a zodpovednosti - kto definuje metriky a ciele, kto monitoruje a meria, kto
zbiera údaje, kto spracúva a analyzuje, kto vytvára správy a kto ich prezentuje.
Riadenie IT prostredia
LS 2013/2014
27
Príklad - KPI pre manažment služieb
Riadenie IT prostredia
LS 2013/2014
28
Interpretácia výsledkov merania (1)
Príklad: počet incidentov za mesiac:
Počet incidentov klesá - je to dobré, alebo zlé?

Treba vziať do úvahy ďalšie namerané / zistené udaje...
Riadenie IT prostredia
LS 2013/2014
29
Interpretácia výsledkov merania (2)
Príklad: počet incidentov za mesiac v pomere k incidentom
vyriešeným počas prvého kontaktu:
Schopnosť riešiť incidenty počas prvého kontaktu klesá.

Ďalej treba zistiť, čo je príčinou poklesu riešení v prvom kontakte - boli prijatí
noví pracovníci do Service Desku? Boli odstránené niektoré služby?
Poskytuje organizácia iný spôsob riešenia incidentov? ...
-> Implementácia manažmentu problémov (Problem management)
Riadenie IT prostredia
LS 2013/2014
30
Percentá incidentov merané podľa priorít
Cieľ definovaný v SLA
Priorita
incidentov
Riadenie IT prostredia
LS 2013/2014
31
Príklady na KPI - incident & problem management
Riadenie IT prostredia
LS 2013/2014
32
Otázky?
Riadenie IT prostredia
LS 2013/2014
33