Porovnání integračních technologií RNDr. Ondřej Zýka [email protected] Obsah • Integrační technologie – – – – Replikace ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration • Porovnání – – – – – – – Rychlost Konzistence Reakce na chyby Úroveň abstrakce Architektura Bezpečnost Dostupnost Integrační.
Download ReportTranscript Porovnání integračních technologií RNDr. Ondřej Zýka [email protected] Obsah • Integrační technologie – – – – Replikace ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration • Porovnání – – – – – – – Rychlost Konzistence Reakce na chyby Úroveň abstrakce Architektura Bezpečnost Dostupnost Integrační.
Porovnání integračních technologií RNDr. Ondřej Zýka [email protected] Obsah • Integrační technologie – – – – Replikace ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration • Porovnání – – – – – – – Rychlost Konzistence Reakce na chyby Úroveň abstrakce Architektura Bezpečnost Dostupnost Integrační technologie • • • • Replikace – 70 léta ETL – 80 léta EAI – 90 léta EII – dnes • Vývoj kopíruje – schopnosti techniky – požadavky praxe – rozhled a schopnosti uživatelů Další termíny • • • • • • • MDM EIM CDI PIM SOA ESA EDQ Master Data Management Enterprise Information Management Customer Data Integration Product Information Management Service Oriented Architecture Enterprise Service Architecture Enterprise Data Quality Replikace • Synchronizace vícenásobného uložení dat – databáze – souborové systémy • Pracuje se nejčastěji na úrovni tabulek (nebo databází, souborů, adresářů) • Replikace podmnožiny sloupců, řádků, replikování procedur • Konsistence na úrovni transakcí Technologie • Asynchronní × Synchronní zpracování – Dvojfázový commit ?? • Snapshots × Transakce – kdy načítat snapshot – čtení transakčního logu – použití triggerů • Publisher-subscriber × Point-to-point – kdy považovat transakci za doručenou Replikace • Cíle – Zvládnout velké tabulky, velké objemy dat – Nízké nároky na komunikace – Jednoduché nastavení – Jednoduchá správa • Slabiny – Malá možnost transformace dat – Malá možnost podmíněných transformací nebo složitějších konstrukcí Replikace - administrace Sybase replication server - sledování a administrace replikačního systému ETL • Přenos dat mezi jednotlivými úložišti (souborové systémy, databáze) • Konsolidace dat, úpravy dat, čištění dat • Zdroje na úrovni tabulek (datasetů) • Zpracování v dávkách, nástroje na správu dávek • Řešení chybových stavů ETL • Cíle – Vytváření a správa složitých transformačních pravidel – Použití metadat – Zvládnutí velikých objemů dat – Zvládnutí složitých plánovacích a transformačních schémat • Slabé stránky – Malá možnost reakce na události – Určeno pro dávkové zpracování (datové sklady) – Zdroje jsou zejména tabulky ETL – návrh transformací Informatika PowerCenter – design transformace ETL – dohled zpracování Informatika PowerCenter – dohled zpracování Enterprise Application Integration Analýza jednotlivých transformací mezi dvěma systémy Enterprise Application Integration • Propojení systémů na vyšší abstraktní úrovni • Maximální nezávislost (aplikací, operačních systémů, dodavatelů,…) • Cíle – Vytvořit univerzální koncepty (J2EE) – Vytvořit univerzální protokoly (XML, JDBS, JMS, CORBA, COM, SOAP, WSDL, BPEL) – Vytvořit univerzální prostředí (J2EE servery, BizTalk, Commerce Server 2000) Enterprise Application Integration • „Slabá“ stránka – komplikovanost – Snaha vyřešit vše • • • • – Integrace na úrovni dat Integrace uživatelského prostředí Integrace aplikací Sjednocení metodologie integrace Vazba na obchodní procesy • • • • • • • • Identifying sources of data Building the enterprise metadata model Process integration Identifying application interfaces Mapping information movement Selecting and applying the technologies Testing Maintenance Enterprise Application Integration Vytváření transformačních schémat v BizTalk Serveru SOAP • SOAP (Simple Object Access Protocol, 1998) zpráva je XML dokument, který obsahuje následující elementy: • Obálku (Envelope) element, která identifikuje XML dokument jako SOAP zprávu - povinný • Hlavičku (Header) element, který obsahuje popis - nepovinný • Tělo (Body), které obsahuje informace požadavku nebo odpovědi - povinné • Chybový (Fault) element, který obsahuje informace o chybých při zpracování • • • • • • Některá pravidla syntaxe SOAP zpráva musí být XML SOAP zpráva musí použít SOAP Envelope jmenný prostor SOAP zpráva musí použít SOAP Encoding jmenný prostor SOAP zpráva nesmí obsahovat DTD SOAP zpráva nesmí obsahovat XML Procesní instrukce WSDL • WSDL (Web Services Description Language, 2001) je specifikace jak popsat web servisy společnou XML gramatikou. Popisuje čtyři základní části dat: – Informace o interface popisuje veřejně dostupné funkce. – Informace o datech pro všechny požadavky a odpovědi. – Transportní informace o použitých protokolech. – Adresní informace pro nalezení specifikovaných služeb BPEL • BPEL (Business Process Execution Language, 2003) je jazyk umožňující organizovat činnost systémů nabízející vebové služby. • Používá XML • Používá webové služby jako základní prvky • Definuje (popisuje) podnikové procesy • Definuje množinu operací protojující web servisy • Podporuje operace s datovými prvky • Podoruje definici instancí procesů • Podporuje životní cyklus instancí procesů • Podporuje transakční model • Nedefinuje grafickou reprezentaci, neobsahuje metodologii BPEL příklad <assign> <copy> <from variable="c1"/> <to variable="c2"/> </copy> <copy> <from variable="c1" part = "address"/> <to variable="c3"/> </copy> </assign> Příklady produktů pro EAI • Sun: – Java Composite Application Platform Suite (SeeBeyond) – Messaging Server • Tibco – DataExchange – Rendezvous – Enterprise servis bus • Oracle – BPEL Process Manager • IBM – WebSphere Enterprise Service Bus – WebSphere MQ Enterprise Information Integration • Provázanost koncových uživatelů s aktuálními a integrovanými daty • Distribuce jednotných pohledů na data v celém podniku • Cíle – Vytvořit jednotné prostředí pro práci s daty z mnoha systémů – Zapojení mnoha prostředí pro práci s daty – Přístup k strukturovaným (databáze), semistrukturovaným (email, XML, spreadsheed) a nestrukturovaným (dokumenty, content management systems) datům – Umožnit měnit některá data Enterprise Information Integration • Důvody – zvýšení typů koncových uživatelů – mobilita koncových uživatelů • Slabiny – Extrémní komplikovanost – Málo zkušeností – Nutnost reagovat na vývoj technologií Enterprise Information Integration Architektura EII podle IPEDO. Inc Shrnutí Replikace ETL EAI EII Distribuce dat a synchronizace dat Konsolidace dat pro DSS aplikací Komunikace aplikací mezi sebou Zajištění aktuálních informací pro uživatele/aplikace Udržování kopií dat pro různé druhy zpracování Shromažďování dat do centrálního úložiště Point-to-point předávání informací Spoke-hub Service BUS Pohledy na existující data v celém podniku Distribuce transakcí Rozsáhlé přenosy a transformace dat Zprávy mezi aplikacemi Minimální migrace dat Pouze strukturovaná data Většinou strukturovaná data, složité transformace Transformace mezi jednotlivými formáty Strukturovaná data, Semistrukturovaná data, nestrukturovaná data. -- -- Přístup k historickým datům a snapshotům Přístup k aktuálním datům Univerzální distribuce transakcí Nikdy nemění data ve zdrojových systémech Může změnit data předáním příslušné zprávy Může měnit definovanou množinu dat Architektura řešení Pattern Point-topoint Jednoúčelové aplikace Podle Sun - J2EE Architektura řešení Pattern Systém hub Založeno na midleware Architektura řešení Pattern Spoke-hub Centralizované řešení Architektura integračních technologií • Jádro – Schopnosti – Obsah vlastního katalogu – Abstrakce dat – Robustnost – Škálovatelnost – Propustnost – Administrovatelnost • Konektory – – – – Typy Množství Připravenost Složitost nastavení, konfigurovatelnost – Upravovatelnost – Možnost vlastního vývoje Porovnání • • • • Rychlost Konzistence dat Chování v případě výpadků Dostupnost, bezpečnost Rychlost • Synchronní přenos – Dvoufázový commit – Distribuované transakce • Asynchronní přenos – – – – Okamžitě Jak rychle infrastruktura dovolí Dávkově Na vyžádání • Další faktory – Jak zatížíme zdrojové systémy – Jak zatížíme komunikaci – Jak zatížíme cílové systémy Konzistence dat • Konzistence – Na úrovni transakcí – Na úrovni aplikací – Na úrovni podniku • Otázky – Jak zajistit konzistenci – Jak zjistit, že je porušena – Jak reagovat, když zjistíme, že je porušena Chování v případě výpadků • Výpadky provozních systémů • Výpadky integračních technologií – Schopnost zálohovat konfiguraci – Schopnost automatického zotavení po výpadku – Schopnost technologií • Uchovávat přenášená data • Vypořádat se s duplicitou dat • Zjistit výpadek v datech Dostupnost • Závislost jednotlivých komponent na dostupnost ostatních komponent • Zvýšení nároků na dostupnost pro adresářové služby a služby autentizace • Zvýšení nároků na dohled background systémů • Zvýšení nároků na dostupnost pro všechny systémy Bezpečnost • • • • Formát přenosu mezi systémy Napadnutelnost, oprávněnost přístupu Důvěryhodnost middleware Jednotný systém ověření a práv Závěr • • • • Dotazy Komentáře Připomínky Upřesnění Děkuji za pozornost