Curs 6 - Sisteme informatice economice

Transcript Curs 6 - Sisteme informatice economice

INSTRUMENTE UTILIZATE PENTRU INTEGRAREA DATELOR

Cursul 6

A

GENDA Sisteme de gestiune a bazelor de date Sisteme de gestiune a depozitelor de date Instrumente pentru federalizarea datelor Instrumente pentru migrarea datelor

1. SGBD

 

un ansamblu complex de programe care asigură interfaţa între o bază de date şi utilizatorii acesteia.

Rolul unui SGBD

a defini şi descrie structura BD, printr-un limbaj propriu specific, conform unui anumit model de date; a încărca/valida datele în BD respectând restricţiile de integritate impuse de modelul de date utilizat; a realiza accesul la date pentru diferite operaţii (consultare, interogare, actualizare, editare situaţii de ieşire), utilizând operatorii modelului de date; a întreţine BD cu ajutorul unor instrumente specializate (editoare, utilitare (shells), navigatoare, convertoare etc.); a asigura protecţia BD sub aspectul securităţii şi integrităţii datelor.

E

XEMPLE DE

SGBD

          Oracle DB2 Informix Paradox MySQL Progress SQL Server Ingress II MS Access Visual FoxPro

2. I

NSTRUMENTE DE GESTIUNE

DW

 Oracle Hyperion   Oracle Data Integrator SAP BI

Cognos Hyperion Actuate Arcplan Board International Business Objects Cognos Information Builders Microsoft MicroStrategy Oracle Panorama Software QlikTech SAP SAS Institute Tibco Spotfire Business Objects 6

Hyperion Business Performance Management (BPM)

– suita modulara de aplicatii care ofera suport pentru intreg ciclul de dezvoltare: • stabilirea obiectivelor • modelare • planificare • monitorizare • analiza • raportare



managementul resurselor

+business intelligence



a reorientat semnificativ suita Oracle BI -> surse multiple (Oracle cat si non-Oracle)



produse complementare la BI

 

un sistem de planificare,

produse de consolidare financiara



un server multisursa OLAP puternic

           Hyperion Financial Performance Management Oracle Hyperion Financial Management Oracle Hyperion Planning Oracle Hyperion Performance Scorecard Oracle Hyperion Strategic Finance Oracle Hyperion Capital Asset Planning Oracle Hyperion Workforce Planning Oracle Hyperion Financial Data Quality Management Oracle Essbase Oracle Hyperion Data Relationship Management Hyperion Reporting Tools

 Motor MOLAP cu capacitati de procesare analitica sporita  Drill, pivot, select, comparare, ordonare, sortare, filtrare, calcule, adnotari si write back  Realizare de rapoarte cu viteza sporita  Un motor de calcul avansat – reorganizarea

datelor in functie de frecventa si ordinea de acces

    Cuburi multidimensionale - dimensiuni, ierarhii, fapte capabilitati de analiza si calcul, filtre de securitate, API Scripturi de calcul - MDX Multidimensional Expresion - functii de calcul si aplicatii de suport multicub. instrument foarte rapid de interogare pentru un numar mare de utilizatori, pentru un set foarte mare de date si modele de business foarte complexe

       Agregari Alocari Planificare de scenarii Logica automata de business / Business rules 350 functii Se pot urmari variatiile rapoartelor de cheltuieli Serii dinamice de timp

     Un set de instrumente si servicii BI care permit realizarea EPM Ofera suport atat pentru BI cat si pentru EPM BI Foundation include un model unificat al metadatelor Common Enterprise Information Model, accesat de toate instrumentele end-user Hyperion Analytic services - server OLAP BI Foundation e folosit si de Oracle Real-Time Decisions – platforma bazata pe reguli de analiza si previzionare care permit luarea deciziilor in timp real   Functionalitati:  Provisionarea userilor   Definirea autentificarii externe Sincronizarea metadatelor si a datelor  Managementul taskurilor

C

OMPONENTE

H

YPERION

E

SSBASE     Analytic Services – stocheaza cubul de date; serverul functioneaza ca o resursa partajata gestionand stocarea, calculele, sortarea Analytic Administration Services – baza de date si interfata administrativa a Analiytic Service= punct de acces unic la mai multe Analytic Server. Aici se pot proiecta, dezvolta, intretine aplicatii si baze de date pe Analytic Server. Analytic Integration Services – foloseste ODBC pt conectare la diferite surse de date Oracle, DB2, SQL Server, etc. Optiune de drill-down din depozitul de date (multidimensional) in baza de date relationala.

Analytic Provider Services – asigura clusterizarea bazei de date multidimensionale pe mai multe masini

     H YPERION D ATA M ANAGEMEN T I NTEGRATION Platforma de integrare a datelor care permite companiilor sa acceseze, integreze, transforme si mute date intre Hyperion si teoretic orice alt sistem, cu orice frecventa si in orice format Arhitectura scalabila bazata pe metadate ofera suport pentru cele mai complexe procese de integrare a datelor Ofera servicii ETL pt. Hyperion Essbase, Planning, Financial Management Componente:    Informatica PowerCenter Client Informatica PowerCenter Server Informatica PowerCenter Repository Server Adaptori care permit incarcarea de date din Informatica  Hyperion Enterprise     Hyperion Essbase Hyperion Planning Hyperion Financial Management Hyperion Translation Manager

O

RACLE

D

ATA

I

NTEGRATOR

 Oracle Data Integrator ofera o tehnologie Extract Load and Transform (ELT) care imbunatateste performanta si reduce costurile de integrare a datelor.

 instrument performant de transfer, transformare si sincronizare a datelor intre sisteme informatice prin programe in timp real, in mod sicron si asincron;  design modularizat, inovativ, conectivitate cu toate marile baze de date, aplicatii datawarehouse si aplicatii analitice

K

NOWLEDGE

M

ODULES

 componente ale tehnologiei Oracle Data Integrator Open Connector instruite sa proceseze un anumit set de task-uri pe o anumita tehnologie sau set de tehnologii  RKM (Reverse Knowledge Modules) – pentru reverse engineering al modelelor de date pentru o anumita tehnologie      LKM (Loading Knowledge Modules) – pentru a extrage date din tabelele sursa ale bazei de date si alte sisteme( fisiere, middleware, mainframe) JKM (Journalizing Knowledge Modules) – folosite pentru a crea un log al modificarilor de date (insert, update si delete) a bazelor de date sursa pentru a contoriza modificarile IKM (Integration Knowledge Modules)) – pentru a incarca date in tabelele tinta CKM (Check Knowledge Modules) – pentru a verifica integritatea constrangerilor SKM (Service Knowledge Modules) – pentru a genera cosul necesar pentru crearea serviciilor de date

M

OD DE FUNCTIONARE   In faza de design: se va alege o interfata si pentru fiecare dintre etapele ei (incarcare, verificare, etc) se vor specifica regulile functionale (mapari, constrangeri, etc.) si modulele de cunoastere care se vor folosi.

In faza de RUN : ODI va folosi regulile functionale, KM-urile, optiunile KM-urilor si metadate continute in Repository(modele, topologii) pentru a genera automat un set de taskuri pentru a procesa jobul definit. Taskurile includ conexiune, managementul tranzactiei si codul adecvat pt task

SAP BI

SAP N

ETWEAVER

SAP BI (B USINESS W AREHOUSE ) I NFORMATION

  Business Content = container ce cuprinde  Infocuburi (peste 420),  Query-uri (peste 1700),   Rapoarte si Roluri utilizator cu specific industrial si functional= solutii preconfigurate pentru diferite industrii Extractori („plug-in“) - extragerea datelor din SAP ERP si incarcarea in SAP BW  complet (full extraction) sau  partial (delta extraction).

SAP B

I ARHITECTURA PE

3

NIVELE   

Business Explorer:

de cunoştinţe, prin interfata de raportare şi analiză (Business Explorer) destinat interacţiunii cu utilizatorii   BEx Browser (organizarea foilor de calcul în canale şi clustere) BEx Analyzer (crearea de rapoarte standard, personalizate şi ad hoc).

Business Information Warehouse Server :

      Administrator Workbench: managementul SAP BW.

Meta Data Repository (Depozitul de metadate): metadate economice dar şi tehnice.

Staging Engine (Motorul pentru scenarii): maparea datelor, coordonează procesul de transpunere în metadate.

InfoCube (Infocubul): depozitul central de date, unde sunt gestionate caracteristicile şi indicatorii.

Operaţional Data Store (ODS): depozitul central temporar al datelor interogate în cadrul sistemului BW.

Procesorul OLAP : analizează datele OLTP agregate.

Source Systems

: include sursele de date diverse: SAP ERP, sisteme non-SAP, fişiere de date, dar şi sistemul BW

A RHITECTURA I NTELLIGENCE SAP B USINESS

I

NTEGRAREA DATELOR    Integrare prin interfete: fisiere text, DB-Link & API. Procesul ETL in BW este greoi, dificil Adesea se prefera alte instrumente ETL   IBM DataStage IBM Cognos

3. I NSTRUMENTE DE FEDERALIZARE A DATELOR

Cele mai populare

     SAP BusinessObjects Data Federator; Sybase Data Federation; IBM InfoSphere Federation Server; Oracle Data Service Integrator; SAS Enterprise Data Integration Server.

C

ELE DE VARF (I AN

…

2012, F ORRESTER R EPORT )

M

ETODE DE FEDERALIZARE      federated views - view-uri create pe mai multe tabele sau surse de date cu ajutorul unor API; utilizate de aplicatii BI sau portaluri (folosind standarde JDBC, ODBC, ADO.NET) data services – ofera posibilitatea de federalizare atat pentru aplicatii SOA, cat si non-SOA data mashups – combinarea virtuala a datelor din diferite surse (rapoarte, dashboard, cuburi, structuri de date) si prezentarea rezultatelor ca obiecte reutilizabile afisate in mod interactiv intr-un browser (standarde deschise REST, SOAP OVER HTTP, JMS ETC).

caches – patrare in memoria cache a rezultatelor interogarilor frecvente pt o viteza m. buna; pot fi sincronizate automat periodic virtual data marts – care folosesc abstractizarea pentru a obtine din depozitul de date exact datele pentru care ar fi fost construit un data mart fizic; …

4. I

NSTRUMENTE PENTRU MIGRAREA DATELOR  Oracle Migration Workbench     Oracle SQL*Loader şi Import/Export Ispirer SQLWays Embarcadero DT/Studio Microsoft DTS

O

RACLE

Obiectul

M

IGRATION

MS SQL Server &

W

MS Access

ORKBENCH

Informix MySQL Sybase Tabele Viziuni

D D D D (Interogari) D D D D I

Indexes

D D D

DB2/400

D D D

DB2/UDB

D N D

Groupuri/Roluri Utilizatori Restrictii

D D D I N D (Reguli) N D D D I D D N D D D D D

Drepturi Tipuri de date definite de utilizator Proceduri stocate Declanşatori

D D D I I D N/A D D D I D D N D D N

Embedded SQL Alte opţiuni

D I N/A I I D ESQL/C Pro*C Relaţii, tabele legătură, de reutilizarea codului aplicaţiei. Tipuri de date colecţie, secvenţe. I I Support ENUM N N N/A N I Obiectele schemei migrate în obiecte utilizator

O