Transcript Kristian Ramsrud Kan vi fjerne ventetiden helt?

Kan vi fjerne ventetiden helt?
Erfaringer fra DNV GL
Kristian Ramsrud
2015-06-02
1
DNV GL © 2014
2015-06-02
SAFER, SMARTER, GREENER
Massively Parallel Processing (MPP) Database
2
DNV GL © 2014
2015-06-02
Massively Parallel Processing (MPP) Database
3
DNV GL © 2014
2015-06-02
DW Appliance er en spesialisert “Alt-i-ett-løsning”
4
DNV GL © 2014
2015-06-02
The DNV GL Group
DNV GL Group
Headquarter: Oslo, Norway
Maritime
 Headquartered in
Hamburg,
Germany
 5,600 employees
 80 countries
DNV GL © 2014
Oil & Gas
Energy
 Headquartered in
Arnhem,
Netherlands, core
hub in Bristol, UK
 Headquartered in
Høvik, Norway
 5,800 employees
 3,100 employees
 30 countries
 30 countries
2015-06-02
5
Business Assurance
 Headquartered in
Milan, Italy
 2,000 employees
 50 countries
DNV
GL
Global delivery capability and strong presence
Europe / Africa /
Middle East
10,000 staff
Americas
3,000 staff
Asia / Oceania
4,000 staff
2,500
100
17,000
Mill. EURO (2012)
countries
employees
DNV GL © 2014
2015-06-02
6
BICC
 BI Competency Center
– Høvik
– Shanghai
– Gdansk
– Arnhem
– Hamburg
 Totalt ca 40 årsverk
 Ett globalt team, der roller og ansvar fordeles uavhengig av fysisk plassering
 Leverer tjenester til alle DNV GLs forretningsområder
7
DNV GL © 2014
2015-06-02
BI-løsningen
 >2000 tabeller
 >2300 ETL-jobber
 Ca 7 TB
 47 konseptuelle modeller i BI-verktøyet
 Migrerer eksisterende datavarehus til en MPP-plattform
IBM Pure Data for Analytics (Netezza)
8
DNV GL © 2014
2015-06-02
Investment motivation
 Main business pains are:
– Long response time of reports for users
– Poor support for self service BI
– Costly development process
 Main requirements are:
– Scalability for future projects
– Reduced need for tuning and custom solutions
– Substantial uplift of existing performance
DNV GL © 2014
2015-06-02
9
Ytelsesproblemer
Hvor er flaskehalsen?
Bruker
 BI-verktøy
 Nettverk
 SAN
IIS
 Database
 DB-modellering
 BI-verktøymodellering
BI-verktøy
 Antall brukere
 Backup
 …???
DW
Disk
10
DNV GL © 2014
2015-06-02
Potensielle fordeler med en DW Appliance
BICC
agility
BICC
Self
service
BI
BICC
development
efficiency
General
performance
improvements
Operations
efficiency
and reliability
GISgruppen
BICC Analytical Services
In-database
statistics
DW
DNV GL © 2014
Forskning
2015-06-02
11
In-database
GIS
services
Erfaringer
 For å lykkes med en DW appliance må man tenke på andre ting enn tidligere
– Hvordan kan vi utnytte parallelliteten?
– Move less, scan less
– La arbeidshestene dra lasset. Unngå å la “kusken” gjøre jobben i
hestespannet.
12
DNV GL © 2014
2015-06-02
Erfaringer?
13
DNV GL © 2014
2015-06-02
BI-rapporter
 Self-service:
– Konsulenter har fått en ny hverdag. Analyser som tidligere tok 3-8 timer tar nå
under 3 minutter.
– Tør å gjøre analyser som tidligere ikke var mulig
– Har sluttet å eksportere data for videre bearbeiding. Jobber nå i stedet
interaktivt i BI-verktøyet
– Brukerne mener de nye mulighetene gir dem en sterk markedsposision.
14
DNV GL © 2014
2015-06-02
BI-rapporter
 Standardrapporter
– Lanserer de første standardrapportene denne uka
– Forbedring på mer krevende rapporter, men der det er intensiv prosessering i
BI-verktøyet er det andre tiltak som må gjøres.
– Tidligere tester viser klar forbedring
– De mest tidkrevende rapportene viser størst forbedring
– Vi kombinerer DW appliance med in-memory-teknologi i rapporteringsverktøyet
der det er naturlig.
15
DNV GL © 2014
2015-06-02
ETL
 Stor forbedring i lastetid
 Eksempel: Finansiell konsolidering
– Tidligere har det tatt opp til 90 minutter å publisere tall. I enkelte perioder
gjøres dette 6-8 ganger om dagen
– Dette kan nå gjøres på ca. 15 min.
 Andre tester har vist enda bedre ytelsesforbedring
 For å oppnå gode resultater er det en del ETL-jobber som må tilpasses en MPPtankegang.
16
DNV GL © 2014
2015-06-02
Avansert analyse
 GIS
– Samarbeid GIS-teamet og BICC
– Direkte nytteverdi
– Prosjekter med større datavolumer
– Eksempel: GIS-analyse forbedret seg fra å
bruke 8 timer til ca. 2,5 min
 Avansert statistikk
– Samarbeid med forskere i DNV GL
– Kontroll over DW appliancencens kapasitet
er viktig for å unngå at krevende
kalkulasjoner stjeler kapasitet.
17
DNV GL © 2014
2015-06-02
Stedlig/romlig informasjon er en
naturlig del av en analyse
Økonomi og drift
Økonomi
 Prosjekter med større datavolum
 Terminering av servere
 Forventer en redusert driftskostnad med DW appliance
Drift
 Interne databaseoperasjoner er særs effektive.
 Større kontroll, men også større ansvar
– Leverandøren tar et ansvar for systemet.
– Må avklare ansvar for oppgaver tidligere levert av IT-infrastruktur
18
DNV GL © 2014
2015-06-02
Migrering
 Migrering er tidkrevende
– Samtlige ETL-jobber må modifiseres
– Tilpasninger i BI-verktøyet
– Koordinering
 Kvalitetssikring
 Synkronisering mellom gammel og ny plattform
 Standard for migreringsarbeid
 Gode, automatiserte testrutiner må etableres, men kan være vanskelig.
Eksempel: tegnsett eller avrunding. Hva er et akseptabelt avvik?
 Prosjektkoordinering og samarbeid med annet pågående arbeid.
19
DNV GL © 2014
2015-06-02
Erfaringer?
BICC
agility
BICC
Self
service
BI
BICC
development
efficiency
General
performance
improvements
Operations
efficiency
and reliability
GISgruppen
BICC Analytical Services
In-database
statistics
DW
DNV GL © 2014
Forskning
2015-06-02
20
In-database
GIS
services
Innkjøpsprosess
 Hvorfor gjøre noe med databasen? (Er den problemet?)
Bruker
 DNV GL skapte felles forståelse gjennom en analyseprosess
IIS
 RFT og POC
BI-verktøy
DW
Disk
21
DNV GL © 2014
2015-06-02
DNV GLs videre planer
 Migrering
 Høste ytterligere av DW appliancens potensiale
 Forsterke samarbeidet med analytiske fagmiljøer
 Bruke ELT for ytterligere reduksjon i lastetid
22
DNV GL © 2014
2015-06-02
Oppsummering
 DW applianceteknologien løper videre
 Avansert analyse integreres
 Brukerstyrt analyse blir en viktigere del av rapporteringsløsningene
23
DNV GL © 2014
2015-06-02
Kristian Ramsrud
[email protected]
www.dnvgl.com
SAFER, SMARTER, GREENER
24
DNV GL © 2014
2015-06-02