Transcript Podatkovna skladišča in poslovna inteligenca

Very basic of DW, BI, CPM
Slavko Kastelic
CSO
Agenda
•
•
•
•
Osnovni gradniki
Data Warehouse
Business Intelligence
Corporate Performance Management
Minard 1869: Napoleon March to Moscow
http://cuatrotipos.files.wordpress.com/2008/03/chart-minard.jpg
US – Fiscal Chart From 1799-1870
http://timoelliott.com/blog/2010/03/stunning-business-intelligence-visualizations…-from-1830.html
Year 2010
Statements
Dashboards
Scorecards
Management
6
Influences
Influences
Process
Sources
Results
Metrics
Metrics
Controller
Goals
Other
Data Flow
Management
7
Popotovanje od doma do službe
• Cilj: služba
8
Načrtovanje
Cilj
Strateški plan - KPI
Operativni plan
Predvidevanja
• Lokacija
• Pravočasno v službi - 8:15 toleranca -10 min
• Porabljen čas: 15 min +- 5 min  avto, helikopter
• Cena goriva: 1EUR toleranca +- 10%  avto, kolo
•
•
•
•
Določimo pot po odsekih
Količina bencina
Zdrav, naspan šofer
Minimalna poprečna hitrost
• Sezona (zima, poletje, turistična sezona...
• Vreme (sneg, dež, sonce, megla, poledica...)
• Dnevni čas 7:00, 8:00, 9:00 (rush hour)
9
Vmesni cilji
Start
Točka #1
Točka #2
Cilj
5 min
5 min
5 min
10
Spremljanje
Procesa
Virov
Rezultatov
Vplivov
• Hitrost
• Trenutna lokacija
• Delovanje v okviru pričakovanj – KPI – opozarjanje,
alarmiranje
• Oddaljenost od cilja
• Konkurenca
• Regulatorji
• Okvare
11
Spremljanje - interno
• KPI - Dashboard
• Alerts – voda, olje, pas, nesreče, gneče...
• Analize – board computer
12
Spremljanje – odmik od cilja
13
Vplivi
Cilj
Proces
Viri
Rezultati
• Vodstvo: sprememba poti – otroke v šolo
• Uporabniki: rabim zvezke
• Reguator: omejitev hitrosti, zapore cest, novi
semaforji..
• Razmere: vreme
• interni: okvare, gorivo, pnevmatike, ...
• konkurenca
• Lokacija (Jesenice)
14
Ukrepanje
Sprememba
hitrosti
Sprememba
cilja
Sprememba
poti
15
Bottom Line: 1812 vs 2010
Nothing New - Except
Kompleksnost procesov
Motnje (število, amplituda)
Merilne točke
Število ljudi
Odzivni časi
Odmiki od načrtovanih vrednosti
16
Poslovni
dogodek
Poslovna vrednost
Visoka
Vpliv latence na poslovno vrednost ukrepa
Podatek
v DW
Informacija
Nizka
Ukrepanje
podatki
analize
Čas
odločitve
17
Visoka
Vpliv latence na poslovno vrednost ukrepa
Poslovni
dogodek
Poslovna vrednost
Podatek
v DW
Nizka
Informacija
Ukrepanje
podatki
Čas
analize
odločitve
18
Osnovni gradniki
MDM – Master Data Management
Poročanje
ERP
Host
Analiza kock
OLAP analiza
DQ
Salesforce
Marketing
Ad hoc analiza
Interni viri
AJPES
Banka
ETL
Data mart
(DM)
Registri
Zunanji viri
Viri
Relacijski, ASCII,
XML, aplikacije, ...
Podatkovno
skladišče
(DW)
DI
DWH
Obveščanje
Finančno in
regulatorno
poročanje
Planiranje in
budžetiranje
Modeliranje in
Optimizacija
profitabilnosti
Finančna
konsolidacija
Data Mining
Vizualizacije
Nadzorne plošče
In kazalci
BI
CPM
Metadata
Definicija DW
DW – Data Warehouse – Podatkovno skladišče
Je zbirka podatkov: organizirana po poslovnih področjih, integrirani, zgodovinski in so
nespremenljivi. Vse to za potrebe izboljšati proces odločanja.
Vir: Bill Inmon
Je kopija transakcijskih podatkov, ki so strukturirani za poizvedbe in analize.
Vir:Ralph Kimbal, The Data Warehouse Toolkit
Zgodovina DW:
1960ta - General Mills in Dartmouth College, v skupni raziskavi razvijeta pojme “dimension” in “fact”.
1970ta- ACNielsen in IRI naredijo prve “data marte” za potrebe prodaje.
1983 - Teradata predstavi bazo podatkov, ki je zasnovaa posebej za sisteme za podporo odločanju.
1988 - Barry Devlin in Paul Murphy objavita članek An architecture for a business and information systems v IBM Systems Journal kjer objavita terimin "business data
warehouse".
1990 - Red Brick Systems predstavi Red Brick Warehouse, baza podatkov, ki specializirana za podatkovna skladišča
1991 - Prism Solutions predstavi Prism Warehouse Manager, programsko opremo za izgradnjo podatkovnih skladišč.
1991 - Bill Inmon objavi knjigo Building the Data Warehouse.
1995 – Ustavnovljen je The Data Warehousing Institute, je organizacija ki promovira podatkovna skladišča
1996 - Ralph Kimball objavi knjigoThe Data Warehouse Toolkit.
Vir: Wikipedia
20
Gradniki DW
Viri
ETL, ELT
Aplikativni
strežnik
Podatkovno
skladišče
Meta podatki
21
Analitika
Transakcijski sistem
•
•
•
•
Dostop do podatkov je tipa pisanje in branje
Podatki so organizirani po aplikacijah
Podatki navadno niso standardizirani čez aplikacije
Zgodovina podatkov je ponavadi omejena na trenutno stanje
Sistem je optimiziran za procesiranje transakcij in ne za analitiko.
22
Podatkovno skladišče
Podatki v podatkovnih skladiščih so:
•
•
•
•
samo za branje
orientirani po področjih
Finance
integrirani
Marketing
Podatki o
zgodovinski
strankah
Prodaja
Nabava
Proizvodnja
Podatkovno skladišče je optimizirano za analitiko
23
ETL
ETL
Ekstrakcija, Transformacija in Load-prenos je proces:
• Ekstrakcije podatkov iz različnih podatkovnih virov
• Čiščenje in integracija podatkov
• Prenos podatkov v podatkovno skladišče
24
Meta podatki
Podatkovno skladišče
Open the
district sales
analysis.
Select Sales_dollars,
District_id
From Fact_SkuDayStore
Lookup_district
District=District_id
in Lookup_District
Sales=Sum(Sales) in
Fact_ItemDayStore
Meta podatki
25
BI/DW Landscape 2.0
Definicija BI
BI – Business Intelligence – Poslovna Inteligenca oz. Poslovno Obveščanje
Izraz se nanaša na metode, tehnologije, aplikacije, prakso, ki pomagajo boljše razumeti poslovanje.
Je arhitektura in zbirka integriranih rešitev na operativnem nivoju in nivoju podpore odločanja ter baz
podatkov, ki poslovnemu svetu zagotavljajo enostaven dostop do poslovnih podatkov.
Vir: Moss, Atre: Business Intelligence Roadmap
BI tehnologije nam omogočijo zgodovinski, trenutni in prediktivni vpogled v poslovanje. BI tehnologije
vključujejo: Analitiko, OLAP, Data Mining, Prediktivno analitiko, Alarme…
Namen BI je boljša podpora poslovnega odločanja, lahko tudi rečemo, da je BI sistem za podporo
odločanju (Decision Support System).
BI in DW
Velikokrat BI aplikacije uporabljajo podatke iz podatkovnih skladišč. Vsa podatkovna skladišča se ne
uporabljajo za BI in tudi vse BI aplikacije ne potrebujejo podatkovnega skladišča.
Zgodovina BI:
1958 – Je Hans Peter Luhn definiral izraz “Busines Intellignece”, kot prezentacija dejstev na način, ki te vodijo h želenemu cilju.
1989 – Je Howard Dresner (kasneje je postal analitik pri Gartner Group) predlagal BI kot skupni izraz ki opisuje: koncepte in metode kako izboljšati odločanje z
uporabo “fact-based” sistemov.
Vir: Wikipedia
27
BI Tehnologije
28
Pogled na podatke OLAP
Trgovina
Ljubljana
Koper
Maribor
Izdelek
Grozdje
Češnje
Melone
Prodaja
Stroški
Dobiček
Nabava
...
Jabolka
Hruške
Q1
Čas
Vir: dr. Jurij Jaklič, dr. Mojca Indihar Štemberger
Q2
Q3
Q4
Vizualizacija
32
Napredna vizualizacija
Data mining – podatkovno rudarjenje
• Preprosto povedano: rudarjenje uporabljamo za odkrivanje vzorcev in povezav v
podatkih z namenom boljših poslovnih odločitev.
Robert Small, Two Crows
• Je proces ekstrakcije veljavnih, prej nepoznanih informacij iz velikih baz
podatkov, na podlagi katerih lahko ukrepamo.
Cabena et al.: Discovering DM From Concept to Implementation
• Avtomatizirano iskanje vzorcev, ki predstavljajo znanje in so implicitno spravljeni
v velikih podatkovnih bazah, skladiščih in drugih velikih podatkovnih virih.
• Tehnike, ki jih uporabljamo za iskanje spodaj ležečih struktur in povezav v velikih
količinah podatkov.
34
Vrste problemov / naloge - DM
•
•
•
•
•
•
•
Karakterizacija in diskriminacija (opis razredov)
Asociacije (pravila povezav, kaj gre skupaj)
Klasifikacija (prireditev oznake)
Ocena (prireditev numerične vrednosti)
Napovedi (bodoče obnašanje)
Razvrščanje v skupine (clustering)
Evolucijska analiza (spremljanje sprememb
obnašanja skozi čas - zaporedja)
Data Mining vs. OLAP/ROLAP
OLAP
Data Mining
Kakšen je bil odziv na našo
marketinško akcijo?
Kakšen je profil ljudi, ki se bodo
verjetno odzvali na naše naslednje
marketinške akcije?
Koliko kosov našega novega izdelka
smo prodali našim obstoječim
strankam?
Katere stranke bodo verjetno kupile
naš naslednji nov produkt?
Kdo so naših 10 najboljših strank?
Katerih 10 strank mi ponuja največji
profitni potencial?
Katere stranke niso obnovile
pogodbe prejšnji mesec?
Katere stranke bodo verjetno prešle
h konkurenci v naslednjih 6-tih
mesecih?
Kakšna je prodaja po regijah za
zadnji kvartal?
Kakšna je pričakovana prodaja po
regijah za naslednje leto?
Kakšen % izdelkov, ki smo jih
naredili včeraj je zanič?
Kaj lahko storimo, da znižamo %
napak?
Poročanje in OLAP nam dajeta informacije iz zgodovinskih dejstev nam
podatkovno rudarjenje lahko pomaga napovedati dogodke v prihodnosti
36
CPM Definicija
CPM – Corporate Performance Management – Upravljanje učinkovitosti poslovanja
Je skupek upravljalskih in analitičnih procesov, ki omogočajo učinkovitost organizacije z namenom
doseganja enega ali več izbranih ciljev.
CPM je del BI, ki vključuje spremljanje, upravljanje učinkovitosti organizacije, glede na KPI (ključne
dejavnike uspeha) kot so promet, stroški, povračilo investicije…
Sinonimi: BPM, CPM, EPM
Zgodovina CPM:
Referenca CPM se pojavi v knjigi Sun Tzu z naslovom The Art of War. Sun Tzu razlaga,da moramo za zmago v bitki imeti dobro razumevanje naših prednosti
in slabosti, enako velja za sovražnika. Pomanjkanje znanja na katerem koli področju se lahko konča s porazom.
Leta 1989 Howard Dresner, raziskovalec pri Gartnerju označi BI kot izraz, ki pod isto streho uvršča metode za izboljševanje poslovnega odločanja na podlagi
dejstev.
CPM Elementi
CPM Aplikacije
•
•
•
•
•
Budgeting, Planning and Forecasting
Dashboards and Scorecards
Profitability Modeling and Optimization
Financial Consolidation
Financial, Statutory and Mgmt. Reporting
BI Maturity Model
• maturity model that benchmarks your progress in
data warehousing and business intelligence
• help you determine where you are, where to go
next and how to get there
• Wayne W. Eckerson, Director of TDWI Research
(The Data Warehousing Institute)
• created 2004, renewed 2007, new aspects 2009
BI adoption Curve
• eight key categories (scope, sponsorship, funding, value,
architecture, data, development, delivery)
• five stages, two gaps
Source: TDWI Research
1. Prenatal and Infant Stage
Inform Executives!
Typicaly
• management reporting (print)
• operational reporting (OLTP)
• spreadmarts (Excel, Access)
• IT backlog -> powerfull end users
• multiple truths
• what happened, will happen
Cross the Gulf
 executive sponsorship
 funding
 data quality
 manage change
 manage people
Source: TDWI Research
2. Child Stage
Empower Workers!
Typical
• first steps in DW
• departmental
• multiple data marts
• first BI tool
o query
o reporting
o ad hoc OLAP
• power users
• what happened
Source: TDWI Research
3. Teenager Stage
Monitor Processes!
Typical
• single consistent DW
• cross departmental
• standards (project, methodology)
• BI manager
• self service for power users
• casual users
• what is happening
Cross the Chasm
 manage business changes
 standardize semantics
 move to corporate IT
 prevent ‘report chaos’
 keep up with business needs
Source: TDWI Research
4. Adult Stage
Drive the Business!
Source: TDWI Research
Typical
• strategic enterprise DW
• unified architecture
• fully loaded
• flexible and layered
• just-in-time delivery
• dashboards & scorecards
• predictive analytics
• centralized management
• competence center
• what should we do
5. Sage Stage
Drive the Market!
Typical
• framework of standards
• center of excellence
• federated development
• extended enterprise
(customers, suppliers)
• BI and data services
EDW becomes commodity. • decision automation
(like electricity, water, transportation)
• what can we offer
Source: TDWI Research
Business Value and ROI
- VALUE
- COST
Source: TDWI Research
Local Control vs Enterprise Standards
- STANDARDS
- FLEXIBILITY
Source: TDWI Research
BI Usage
- CASUAL USERS
- POWER USERS
Source: TDWI Research
BI Insight
- DATA FRESHNESS
- DECISION LATENCY
Source: TDWI Research
?
Slavko Kastelic
[email protected]