Yapı Kredi Bankası Veri Entegrasyonu Süreci

Ahmet Vefa Erdem Şubat 2013

İçerik

• • • • • Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Yapı Kredi Hakkında

 1944 te kuruldu, Türkiye’nin ilk ulusal çaplı parakende odaklı özel bankası  127 milyar TL konsolide aktif büyüklük( 30.Eyl.2012 )  928 şube  2,825 ATM  17,000 personel  6,4 milyon aktif müşteri  # 1 : 8 milyon Kredi Kartı (%19 üye işyeri, %13,6 kart sayısı )  2,3 milyon internet bankacılığı kullanıcısı  %80 : ADK dan gerçekleşen işlemlerin oranı  # 1 : Mobil bankacılık ( %15 mobil bankacılık sektöründeki payı )  # 1 : Factoring (%14,3 Pazar payı )  # 1 : Leasing ( %17,2 Pazar payı )  Yurt dışı iştirakler: Hollanda, Rusya, Azerbaycan  Güçlü sermayedarlar : Koç Holding ve UniCredit

3

Yapı Kredi : Sektöründe BT öncüsü

 1967 : Türk bankacılık sektöründe bilgisayarı ilk kullanan banka  1984 : Şubeler arası online uygulamaya ilk geçen banka  1988 : Kredi kartı ve tüketici kredilerini ilk sağlayan banka  1991 : Telefon bankacılığı ve Kredi Kartı Bağlılık Programını ilk başlatan banka  1995 : ISO 9001 kalite sertifikasını ilk alan banka  2002 : Mobil POS uygulamasını ilk kullanan banka  2006 : Koçbank ve Yapı Kredi BT sistemlerini başarılı bir şekilde birleştirerek sektördeki en büyük birleşmeyi tamamlayan banka  2007 : World Card programını yeniden yapılandıran ve müşterilerine aynı marka altında çok daha esnek servisler sunan banka  İlk Türkçe Finansal I-phone uygulamasını sunan banka  Engellilerin kolay kullanımı için özel olarak geliştirilmiş ATM ‘leri ilk kullanıma açan banka

4

İçerik

• • • • • Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Teknolojik Dönüşüm Çağı

In Memory Databases

Bireysel Dönüşüm

Mobil cihaz bağımlılığı : Nomofibia ! Sanal Sosyalleşme Paradoksu

Tüketicinin Dönüşümü

Türkiye’nin İnternet ile Dönüşümü

37 mio • Türkiyedeki internet kullanıcısı sayısı • Dünyadaki en kalabalık ilk 33 ülkeden sonraki 197 ülke nüfusundan fazla • Genç nüfusun internet kullanma oranı %66 %20, 29 mio • İnternetteki kitlenin netten alışveriş yapma oranı • Geriye kalan potansiyel e-ticaret müşterisi internet kullanıcısı 29.6 milyon 30,6 milyar TL • Türkiye’de 2012 yılında gerçekleşen E-Ticaret hacmi • Türkiye’de 2012 yılında gerçekleşen e-ticaret işlem adedi 162 mio ( * Gümrük ve Ticaret Bakanlığı Müsteşarlığı-2012 )

Türkiye’nin İnternet ile Dönüşümü

* Milyar TL 350 300 265 250 200 150 100 50 0 21,2 %8 2011 %25 %40 332 29,88 %9 2012 ( *Gümrük ve Ticaret Bakanlığı Müsteşarlığı ) Kartı Alışveriş E-Ticaret

İçerik

• • • • • Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Yapı Kredi’nin BT Dönüşümü

• Harmoni ve OpenWorld gibi büyük dönüşüm programları ile servis bazlı mimari ve açık sistemlere geçiş • Veri Yönetişimi politikalarının belirlenmesi • SDLC ile kalite standartlarında istikrar • Sektör lideri mobil bankacılık uygulaması (%15) • Sektör lideri kredi kartı Worldcard ‘ın liderliğini perçinleyecek CRM ve müşteri hizmetleri uygulamaları • İlk parakende banka olmanın verdiği köklü kültür ile bireysel bankacılıkta yenilikçi ve ödüllü CRM uygulamaları (2012 CRM Excellence Awards -EMEA Gold, Customer Analytics)

Veri Ambarı Mimarisi ETL and Metadata

Real Time Data Integration Job scheduling Power Designer Data Modeling BO Repository Business Model (Universes) Ad Hoc Reporting X

Core Banking

database Y database

Source Systems INTBANK

INTBANK database

Workflow

W database

OpenWorld

T database

HOST (Credit Card) ODS ( Operational Data Store)

ODS2 Retail Data Mart (CRM02)

Enterprise Data Warehouse

DW Schemas Profitibility Data Mart (MIS) Credit Card Data Mart CRM Data Mart Data Mining Data Mart Other data marts WorldReport Merchant Reporting Kartograf OLAP Reporting

Business Intelligence

KKSUBE branch reporting Seyir Defteri Wealth Management Akıl Defteri Customer Management

Analytical Applications

Budgeting and planning Campaign Mangmt Data Mining Basel II Calculation Credit Scoring Fraud Detection Single Pyramid Profitability Management

Rakamlarla YKB Veri Ambarı

Data Warehouse ETL Database DW Büyüklüğü?

• Sybase IQ 15.2

• 70 TB DW toplam tablo sayısı?

• ~17,000 tablo ETL Yöntemi • Inhouse Development DW kaynak db sayısı?

Kaç farklı tipte Db ile veri alışverişi var?

ETL deki job sayısı?

Günlük çalışan job sayısı?

Aylık sorgu sayısı?

Gecelik proses edilen data miktarı?

• 15+ ( Önemli bir kısmı ODS üzerinden geçerek ) • 6 ( Oracle, Exadata, SQL Server, MySQL, Mainframe, SAS ) • ~15,000 • ~10,000 • Diğerleri aylık, haftalık, vs • ~1,6 milyon defa ( Aralık-12 ) • ~3,5 TB

İçerik

• • • • • Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Entegrasyon Platformu Seçim Süreci

Proje

ETL Toola geçiş

Q3-2012

RFP

Q4-2012 Q1-2013

POC

Q2-2013

Satınalma HW & Kurulum Eğitim Mimari Belirleme

Q3-2013

Projeler

Q4-2013

Değerlendirme : DW ve MIS yazılım grupları, Altyapı grubu, Veri Mimarisi grubu RFP dokumanı (teknik şartname) hazırlandı ve 5 aday ile paylaşıldı ve sonuçları ortak puanlandı RFP yanıtları üzerinden puanlama ile aday sayısı 3 ‘e düşürüldü ve POC ye davet edildi RFP puanlarına, POC sonuçlarına ve referans araştırmasına göre Informatica seçildi Seçilen Platform

2014

Yapı Kredi’de Veri Entegrasyonu Kapsamı

• • • • • •

Öncelikli Kapsam:

Veri ambarı ve datamartların ETL otomasyonu Veri ambarı ve datamartların veri arşivleme ile büyümesinin kontrol altına alınması Arşivlenen verilerin «data federation» yöntemi ile erişilebilir kılınması Veri ambarı ve datamartların test datası oluşturma ve veri maskelemesi Veri ambarı ve datamartların kaynaktan önyüze kadar uçtan uca metadata yönetiminin yapılabilmesi ve etki analizi çıkarılabilmesi ETL veri kalitesi amacıyla veri profilleme • • • •

Orta Vadeli Kapsam;

Online data entegrasyonu- web service High Availability – Grid mimari Yapısal olmayan verinin entegrasyonu (word, PDF, email, logfile ) Big data entegrasyonu

Yapı Kredi Veri Entegrasyonu Hedef Kazanımlar

Modernizasyon • ETL ve Veri Entegrasyonu yapısını modernize etmek • Kişi bağımlı ve emek yoğun kod geliştirme yöntemi yerine ETL tool ile hızlı ve standartlara uyumlu geliştirme ve yönetim modeline geçmek Verimlilik & Maliyet odaklılık Yönetilebilirlik • Geliştirme, bakım maliyetlerini ve süresini azaltmak • Altyapı ve disk maliyetlerini azaltmak • Etki analizi yapabilmek için güçlü metadata yönetim altyapısı • Geliştirme ve yönetim kolaylığı, hızlı ve entegre bir geliştirme platformu • Metadata ve Veri yönetişimi ( Data Governance ) • Veri hacminin etkin yönetimi ve kontrol altında tutulması ( Data Achiving ) • Risklerin azaltılması ( Test Data Management ) • Veri kalitesi ile hatasız ve hassas raporlama ( Data Quality ) Yeniliklere açıklık • Big Data, Unstructured Data gibi farklı data yönetim tekniklerine uyum ve adaptasyon

Mevcut durum

Enterprise BI, Reporting Source 1 Source 2 Source 15 Replication ODS Codes DWH Codes DMart DMart DMart

ETL Tool Kullanımı sonrası durum

Enterprise BI, Reporting Enterprise Metadata Source 1 Source 2 Source 15 Replication ODS ETL Data Masking DWH ETL Data Virtualisation TestData Archives DMart DMart DMart Enterprise Data Services

İçerik

• • • • • Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

En iyi Veri Ambarı çözümleri bile yeni kullanım tarzları için yeniden kurgulanmaya ihtiyaç duyuyor!

• • • • • Daha fazla esneklik Daha fazla performans Sürekli yeni veri tiplerinin ortaya çıkması ( big data, unstructured, video streaming ) Farklı beklentileri olan farklı kullanıcı gruplarının doğması Gittikçe artan analitik ihtiyaçlar (descriptive, predictive, prescriptive analytics )

Artan analitik ihtiyaçlar Descriptive Analytics

Geçmişe ait data DW Klasik DW, BI raporlama. Geçmiş verilere bakarak performansın sebeplerini görmeye yarar. Satış, pazarlama, operasyon, finans verilerine bakan tüm yönetim raporlamaları

Predictive Analytics

Geçmişe ait data DW+ D.Mining

Gelecek öngörüsü Tarihsel dataya ilaveten kurallar, algoritmalar ve dış kaynak datalar harmanlanarak geleceğe dair öngörüde bulunulmasına yardımcı olur. Kurallar, Algoritmalar

Prescriptive Analytics

Geçmişe ait data DW+ D.Mining+ Big Data+ MachineLearning Gelecek öngörüsü Optimum fayda Aksiyonlar Kurallar, Algoritmalar Tahminlemenin ötesine geçer. Geleceğe dönük öngörünün yanı sıra, öngörülerden elde edilecek optimum fayda için karar vericilerin alması gereken aksiyonları da önerir.

Artan analitik ihtiyaçlar

Veri Ambarı yaklaşımında değişim kaçınılmaz…

Gartner’a göre ; • Strategic Big Data: Big Data is moving from a focus on individual projects to an influence on enterprises’ strategic information architecture. • Dealing with data volume, variety, velocity and complexity is forcing changes to many traditional approaches. This realization is leading organizations to abandon the concept of a single enterprise data warehouse containing all information needed for decisions. • Instead they are moving towards multiple systems, including content management, data warehouses, data marts and specialized file systems tied together with data services and metadata, which will become the “logical” enterprise data warehouse.

( Gartner 2013 Summit )

Teşekkürler !