Transcript OLAP - Murat Bilgin

Murat Bilgin
Hakkımda
• Kıdemli Veri Ambarı Uzmanı / Generali Sigorta
• btkulubu.com Kurucu üye
• Kitap Yazarı
[email protected]
http://www.muratbilgin.com
Murat
Bilgin
@murat_bilgin
Ajanda
• Business Intelligence(BI) Nedir?
• Data Warehouse(DW) Nedir?
• OLTP vs. OLAP
• Dimensional Modelling (Ralph Kimball)
• ETL (Extract – Transform – Load)
• OLAP Küpleri
• Demo (ETL,SSAS OLAP Küpleri)
Business Intelligence(BI) Nedir?
• BI, veriyi yararlı bilgi haline dönüştüren nesneler topluluğudur.
• BI süreçleri,verilerin toplanmasını,depolanmasını,analiz edilmesini ve son kullanıcının dataya erişmesini
sağlayarak,kuruluşun daha iyi iş kararları almasına imkan sağlar.
• BI, kuruluşların gözle görülemeyen bilgilerini ortaya çıkararak organizasyonun gelişmesine imkan sağlar.
BI Temel Hedefler
• İhtiyaç duyulan tüm veriye erişimi sağlamalı.
• Sadece önemli olan veriyi kullanıcıya göstermeli.
• Her zaman doğru değerleri göstermeli.
• BI sistemi,son kullanıcıların kararlar almak için başvuracağı bir adres haline gelmeli.
• Tarihsel veriyi de tutarak geleceğe yönelik tahminler yapabilmemizi sağlayabilmeli.
BI Hakkında Bilinen Yanlışlar
• BI sistemlerinin geliştirilip son kullanıcıya sunulması yıllar sürer.
• Geliştirme sürecinin zaman ve maliyeti yüksek.
• BI sistemlerini sadece büyük bütçeli şirketler kullanabilir.Orta ve küçük boyutlu şirketlerde olması lüks.
• BI sistemlerinin, kuruluşları başarıya ulaştıracağına inanılmaması.
BI Yaşam Döngüsü
Data Warehouse(DW) Kavramı
• DW, değerli verinin farklı bir ortamda konsolide edilmesiyle oluşan büyük çaplı bir veri deposudur.
• DW, veriyi kolay, hızlı ve doğru biçimde analiz etmemizi sağlar.
• DW= Karar Destek Sistemi (Decision Support System)
• Bir veri ambarı tasarımına başlamadan önce, veri ambarı mimarisinin hedefleri açık ve iyi anlaşılmış olması
zorunludur.
DW Tarihi
• Bill Inmom 1990’da “Building the Data Warehouse” isimli kitabını yayınlamıştır.
• Ralph Kimball 1996’da “Data Warehouse Toolkit” isimli kitap yayınlamıştır.
• 2002’de Inmom farklı kaynaklardan zaman varyantlı veri deposu oluşturma tekniklerini kitabında
tanıtmıştır.
• 2002’de Ralph Kimball birden fazla veri kaynağından beslenen Data Mart’ı tanıtmıştır.
Inmom DW Yaklaşımı
•
İlişkisel : Veritabanındaki her veri, ilişkili olduğu veriye tam bağımlıdır.
• Tarihsel : Veritabanındaki her değişiklik tarihsel olarak izlenir ve kaydedilir.Böylece gelecekte tarihsel
raporlar üretilebilir.
• Statik : Veritabanına yazılmış bir veri asla silinmez.Veri,gelecekteki raporlamalar için korunur.
• Entegre : Veri ambarı,kuruluşun tüm verilerini içeren bir entegrasyonla beslenmelidir.
Kimball DW Yaklaşımı
• Veri ambarı,özellikle sorgu ve analiz için yapılandırılmış verilerin bir kopyasıdır.
• Veri her zaman boyutsal olarak tutulmalıdır.
Dimensional Model
•
Fact Table : İçerisinde sayısal değerler barındırarak etrafından toplanmış olan boyut
tablolarının(dimension table) bağlandığı tablolardır.
• Dimension Table : Fact Table’da yer alan Foreign Key’leri temsil eden tablolardır.
Product ID : Primary Key (Dimension)
ID : Foreign Key (Fact)
Star Schema
•
Merkezi bir Fact tablosuna direkt bağlı olan çok sayıda Dimension tablosunun oluşturduğu yıldız
şeklindeki yapılardır.
Snowflake Schema
• Merkezi bir Fact tablosuna bağlı olan çok sayıda dimension tablosuna bağlı, başka dimension tablolarının
oluşturulduğu yapılardır.
OLTP (Online Transactional Process)
• OLTP = Anlık (Güncel) Veri.
• OLTP sistemlerde Insert, Update, Delete gibi DML (Data Manipulation Language) işlemleri sıklıkla
gerçekleşmektedir.
• OLTP sistemlerinin modellenmesinde normalizasyon kurallarına dikkat edilip veri bütünlüğü (PrimaryForeign Key) sağlanmalıdır.
OLAP (Online Analytical Process)
• OLAP, çok boyutlu verilere hızlı bir şekilde bütünleşik olarak erişilmesini sağlayan sistemlerdir.
• OLAP, OLTP sistemlerden beslenerek organizasyonun tamamı hakkında çok hızlı bir şekilde bilgi
sağlanması amacıyla oluşturulmuş yapılardır.
• OLAP = Güncel olmayan (Eski) Veri.
• OLAP yapıları çok sık Insert ve Update işlemlerine tabii tutulmazlar.
• OLAP sistemlere belirli periyodlarda veri yükleme işlemi yapılır.
OLTP vs OLAP
OLTP
OLAP
Kullanım Şekli
Operasyonel İşlemler
Bilgisel İşlemler
Yapılan İşlemler
Harekete Dayalı
Analize Dayalı
Kullanıcılar
Ofis Çalışanları
Raporlama Çalışanları
Fonksiyonlar
Günlük İşlemler
Dönemsel İşlemler
Database Dizaynı
Normalizasyona göre
Star - Snowflake/Nesnesel
Görünüm
Detaylı /Düz ilişkiler
Özet / Çok Boyutlu
Erişim
Okuma / Yazma
Genelde Sadece Okuma
Database Büyüklüğü
100 MB – GB
100 GB - TB
Kullanıcı Sayısı
1000’ler Düzeyinde
10’lar Düzeyinde
ETL (Extract-Transform-Load)
• ETL, çeşitli veri kaynaklarından hedef veri tabanımız arasında iş akışına ve ihtiyaçlarımıza uygun dataların
ayrıştırıldığı, dönüşüm işlemlerinin yapıldığı bir süreçtir.
• ETL paketleri ise iş zekası mantığının esas alarak oluşturulan paralel çalışan uygulamalar bütünüdür.
• Extract : ETL sürecinin ilk adımı değişik kaynaklardan(Flat File,Excel,İlişkisel Veri Tabanları) veri çekmektir.
• Transform : Datalar üzerinde sıralama, toplama, birleştirme, gruplama, ihtiyacımıza uygun hesaplanmış
alanlar yaratma, veri doğrulama, filtreleme gibi dönüştürme işlemleri yapılır.
• Load : Dönüştürülen veri hedefe (DW-Data Mart) aktarılır.
OLAP Küpleri
Veri Ambarı tablosu :
Multi-Dimensional (OLAP) :
date 2
date 1
p1
p2 c 1
p1
12
p2
11
c1
44
c2
4
c2
c3
c3
50
8