Transcript Adattárházak

Adattárházak
2011.11.26.
Láng András
Üzleti Intelligencia
Cél:
Jó minőségű
adat
Üzleti Intelligencia
Business Intelligence
(BI)
Helyesen felhasznált
információ
+
tudás
+
profit
Üzleti Intelligencia
• Adatvagyon menedzsment
Adatminőség  konszolidáció, adattisztítás
Adatleltár  adatkatalógusok, metaadat-kezelés
Törzsadat
Adatpótlás,
Törzsadatok  MDM, egyéb törzsadat
mulplikátumok
helyesbítés érvényes
nyilvántartások
Technikai és üzleti
Off-line, on-line
felderítése, számuk
adatokkal
Törzsadat-kezelés
metaadatok
metaadat
• Központi riportfejlesztés
és
riportmenedzsment
csökkentése
Zajok kiszűrése
(Master
Data
nyilvántartása
karbantartás
Adattárházból  integrált,
historikus
forrásból
Pl.
címadatszótárak,
Management)
Más rendszerekből
 forrásrendszerből,
adatbázis
cégnyilvántartások
Pl. Központ
Ügyféltörzs
linken keresztül
Adattárházak létjogosultsága
• Egymástól elszigetelt rendszerek
Lekérdezés csak az adott rendszer adataira készíthető
• Operatív rendszerek
Általában csak aktuális adatok
Normalizált struktúrák
• Adattárház
Integrált
Historikus
Denormalizált adatszerkezet
Sokrétű felhasználás
Mutatószámok képzése
Kulcsfontosságú (KPI) mutatószámok előállítása és prezentálása
közérthető, esztétikus formában.
Elemzések készítése
Nagy mennyiségű információ megjelenítése úgy, hogy az szükség
szerint szűrhető, kategorizálható legyen.
ID
Name
Type
Relevant
324
Szabó
C
y
321
Hajnal
B
n
Riportok, jelentések készítése
Táblázatos vagy azzá alakítható formátumú, rögzített
adattartalommal rendelkező lekérdezések eredménytáblái.
Operatív/front-end rendszerek ellátása adatokkal
Jellemzően tételes, könnyen származtatható adatok előállítása és
továbbítása. Általában kiemelt fontosságú a rendelkezésre állás.
Komplexitás, erőforrás igény
Adatbányászat
Rejtett összefüggések algoritmus segítségével vagy manuálisan
történő feltérképezése, számszerűsítése.
Az adattárházak felhasználási
területei (példák)
A kinyert információ felhasználása
Végfelhasználó
Rövid- és hosszútávú stratégiai döntések
meghozatalához szükséges jelentések
Felső- és középvezetők, a menedzsment
Jelentésszolgálat a felügyeleti szervek felé
A jelentéseket szolgáltató területek dolgozói
(illetve később természetesen az érintett
felügyeleti szerv dolgozói)
Multinacionális vállalatok esetén
adatszolgáltatás az anyavállalat felé
Az anyavállalatnál dolgozó elemzők illetve a
csoportszintű menedzsment tagjai
A szervezet normális működéséhez szükséges
elemzések
például egy bankban a hitelkockázat-elemzési
területen dolgozók
Az adattárház helye
ED
(TS)
IS
(TS)
IS
(TS)
ED
PS
(TS,SS)
PS: Operatív rendszer
(Production System)
SS: Forrásrendszer
(Source System)
IS
PS
DWH
TS: Célrendszer
(Target System)
PS
IS: Információs rendszer
(Information System)
PS
PS
(SS)
PS
(SS)
PS
(SS)
PS
PS
(SS)
PS
(SS)
ED
ED
(SS)
ED: Elektronikus
dokumentum
(Electronic Document)
Az adattárház típusai
Célrendszerek
információs rendszerek
adatpiac réteg
transzformációs réteg
háromrétegű
staging réteg
Adattárház
adattisztítás, historizálás,
struktúraváltás,
kalkulációk, szűrés
adatpiac réteg
staging réteg
Forrásrendszerek
operatív és egyéb rendszerek
kétrétegű
Az adattárház egy lehetséges
felépítése
Információs
rendszerek
IS1
IS2
IS3
IS4
…
ISn
Metaadat-kezelő rendszer
Információ
kinyerése
Adatpiacok (ROLAP vagy MOLAP struktúrában)
Kockagenerálás,
Adatpiacosítás
Historikus adatok (ROLAP struktúrában)
Delta-képzés
(historizálás)
Adattárház
Integrált előző napi adatok (ROLAP
struktúrában)
Struktúraváltás,
tisztítás,
transzformálás
Forrásrendszerek előző napi lenyomata (OLTP
struktúrában)
Szűrés, közös
platformra
hozás
Forrásrendszerek
PS1
PS2
PS3
PS4
…
PSn
Az adattárházak fejlesztése
Kétféle fejlesztési metódus:
•
Big Bang
A Big Bang fejlesztés során felmérik a szervezek különböző egységeiben az aktuális
és lehetséges (releváns) igényeket, majd felépítik az adattárházat, beleértve az
adatpiacokat is.
•
Inkrementális
Az inkrementális fejlesztés alkalmazásánál egy igény jelentkezése során felépítenek
egy (esetleg több) adatpiacot. Az igénynek nyilvánvalóan olyannak, kell lennie,
amely kielégítése adattárház igénybe vételével lenne célszerű.
Az előbbi értelemszerűen hosszabb átfutási idejű ás költségesebb fejlesztést
igényel, mint az utóbbi.
(Természetesen a változáskövetéssel elkészülő újabb adatpiac verziók is fejlesztés
révén valósulnak meg.)
Az adattárházak fejlesztése
1. inkremens
2. inkremens 3. inkremens
DM
DM
DM
DM
DM
DWH
DWH
PS
DM
PS
Inkrementális
PS
PS
PS
PS
Big Bang
Az inkrementális fejlesztés ábráján az egy PS nem egy adatforrást jelez, hanem a
fejlesztéshez felhasznált forrásrendszerek halmazát.
Az adattárházak fejlesztése
Előny (+)/Hátrány (-)
Igények felmérése
Többletmunka újabb igények
felmerülése esetén
Fejlesztési, üzemeltetési
költségek
Fejlesztés időigénye
Big Bang
Inkrementális
-
+
Az egyes szervezeti egységek
nem biztos, hogy szükségét érzik
a fejlesztésnek, ezért az
együttműködés csorbát
szenvedhet.
+
-
Általában már tartalmazza az
adattárház a szükséges adatokat.
Gyakran nem tartalmazza még az
adattárház a szükséges adatokat.
-
+
Sokszorosa az inkrementálisnak.
Tárhely igény
Mivel az érintett terület
nyújtotta be az igényt,
bizonyosan teljes mértékben
együttműködik.
Már a kezdetekkor nagy.
Töredéke a Big Bang-nek.
+
Eleinte kevesebb, az egyes
inkrementumok beépülésével nő.
Az adattárházak fejlesztése
A fejlesztés menete (mindkét esetben):
1. Igények felmérése, követelmények meghatározása
2. Logikai adatmodell elkészítése (az igények lefordítása)
3. Forrásadatok megkeresése, forrásrendszerek feltérképezése
4. Fizikai adatmodell elkészítése (platformfüggően valamennyi objektumra)
5. Megvalósítás
6. Tesztelés (felhasználói – adattartalmi, performanciális, regressziós)
7. Ősfeltöltés (az adattárház feltöltése a régebbi adatokkal pl. archív
adatbázisokból)
8. Élesítés
A két legalapvetőbb különbség a hagyományos és az adattárház
fejlesztés között a fenti 3. és 7. pont.
A 3. pont a forrásrendszerek integrálásából , a 7. pont az adatok
historikus mivoltából adódik.