Transcript 슬라이드 1

4. 활용분야
메모리 디스크를 공유한 EBH(ETL, Batch Hub)
정보계 구축
국제회계기준 (IFRS) 구축
MDM (Master Data Manamemt)
MDW (Manufacturing Data Warehouse )
-0-
© 2011 DataStreams Corp. All Rights Reserved.
활용분야 : 메모리 디스크를 공유한 EBH (ETL, Batch Hub)
적용범위
특징
• 정보계 구축
• 메모리 Disk를 활용한 성능 확보
• 데이터 HUB 구축
• ETL, Batch 등에 사용되는 마스터 데이터 공유를 통한
데이터 재가공성 확보
ODS
DW
DBMS
계정계
DBMS
EBH Disk
DM
일반 Storage
경영정보
IFRS
M/F IMS
Src 1
Src 2
Mapping
Hub
Tgt/Src Tgt/Src
바젤II
Risk
M/F DB2
KPI
SSD Storage
UNIX
Src 1
Src 2
Sorting
Hub
Tgt/Src Tgt/Src
EUC
-1-
© 2011 DataStreams Corp. All Rights Reserved.
활용분야 : 정보계 구축
적용범위
특징
• 정보계 구축 ETL
• EBH를 활용한 데이터 처리의 효율성 확보
• 단위 업무별 Batch
• 메타데이터 시스템 연동에 따른 관리편의성 확보
• 변경분 데이터 추출 연동
• 변경분 처리솔루션과 연동하여 데이터 정합성 확보
계정계
ODS
EAI를 이용
DBMS
DBMS
User Log
DW
BATCH
TS를 이용
BATCH
TS를 이용
DBMS
FTP 전송
변경분
File
User Log
FTP 전송
BATCH
TS주1)를 이용
변경분
File
추출File
DB Log
ETL HUB
BCV
 데이터 표준 규칙의 적용
- 필드 규칙 및 테이블간 RI규칙 검증
- ETL에 손쉬운 검증 규칙의 추가가 가능함
주1) TS : TeraStream의 약자
변경분File
FTP 전송
FTP 전송
공유File
BATCH
TS를 이용
검증규칙
DM & Sub System
통합
메타데이터 관리
저장소
-2-
Risk
KPI
EUC
바젤II
© 2011 DataStreams Corp. All Rights Reserved.
활용분야 : 국제회계 (IFRS) 구축
적용범위
특징
• IFRS 구축
• NRT (Neal Real Time)를 이용한 데이터 연속성 확보
• Rule Engine을 이용한 시스템 구축
• 메타데이터 시스템과 Rule관련 연동
Front System
연결재무제표
Financial data Mart
ETL/EAI
여신
Accounting Logic
수신
Value Management
신탁
Hedge Accounting
자회사
IFRS 1
자회사
IFRS 2
자회사
IFRS 3
Financial Data Mart
Measurements
유가증권
Workflow (BPM)
FX
Consolidation
파생상품
SPC
신용카드
기타
Posting Rule Engine
IFRS
Metadata
품질관리
COA 코드표준
OLAP
Reporting
Multi-GAAP
IFRS
GAAP
OLAP
Reporting
Rule set 관리
MultiGAAP
Segment
report
K GAAP
-3-
© 2011 DataStreams Corp. All Rights Reserved.
활용분야 : MDM (Master Data Management)
적용범위
특징
• 마스터 데이터 추출,정제 후 초기 및 변경 적재
• 단일 회사의 제품으로 MDM(통합,표준,품질,연계)구현 가능
• Legacy 배포 이후 정합성 검증을 위한 주기적 추출 및 분석
• 데이터통합 및 표준,품질 엔진과 연동하여 효율적 업무지원
• 마스터 활용성 및 품질관리 지표 측정을 위한 가공분석
• 솔루션간의 통합 연계를 통한 데이터 흐름 파악 용이
신규등록
분류체계
코드체계
속성체계
변경,삭제
경영
일괄변경
재무
마스터 모델, 데이터체계
인사
판매
검색
요청
검토
워
크
플
로
우
마스터데이터
통합모델
분류
체계
관리
체계
및
모
니
터
링
변경
이력
MDM
승인
담당자
배
포
운영기준,업무규칙,성과지표
제조
검증
배포
연계
Interface
:
:
:
추
출
품질
모니터링
CRM
SCM
SEM
관리회계
업무관리자
마스터관리자
시스템정보
업무규칙
-4-
KPI지표
© 2011 DataStreams Corp. All Rights Reserved.
활용분야 : MDW (Manufacturing Data Warehouse)
적용범위
특징
• 고속 배치 처리 성능을 기반으로 통합 제조DW에 활용
• 표준관리 및 MDM시스템과의 연동으로 통합,표준,품질
연계 구현
• 설비정보 및 공정실적 정보의 신속한 추출,분석
• 복잡한 프로세스에서의 빠른 데이터 분석 기능 제공
• 공정간 이동실적 현황 준실시간 중계
해외법인
MES
추출,가공
솔루션
적용방안
• 전사 제조사업장간 통합 분석 및 자원배치 지원
추출,가공
품질감시
제조ODS
해외법인
MES
통합 제조 MDW및 DM
M
E
해외법인
MES
S
Staging
표준화
표준화
Report
대용량 Data 수집 및 가공,적재



실시간 공정,설비 현황 조회
LOT,공정,설비,제품,품질이력 데이터 추출
특정설비,현장의 LOT 재공 상태 모니터링
Spec 변경 대응
 공정 실적집계 및 마감업무 지원
- 대용량, 준실시간 공정실적 정산 소요 자원


Back Flush등 일일 실적마감 지원

실시간 LOT 추적 및 Capa 산출 지원
Spec변경 대상 LOT 확인,분석 ATP 지원
제조 가능량 및 납품 가능 시기 역 산출
가동율 및 품질 이력의 추적
 설비정보 및 공정간 이동현황 중계 지원
- 설비 Trouble Shoot 수집,연계 및 공정간
품질감시
전사
ERP
관리
회계
해외법인
MES
 신속한 공정 데이터 수집,분석
- 라인 발란스 ,불량 정보 등 신속한 데이터 수집 및
통합
품질


물류 이동 중계
자재,외주,공정간 품질 및 고객 Claim 연계 분석 지원
품질이력 추적,불량원인 분석,불량예방 지원
BOM 구성 및 재공(WIP) 분석
 표준 BOM 및 LOT별 BOM을 고려한 ATP
역산출 지원
- BOM 자재 생성 및 오더 Capa Tracking 지원




-5-
설비별 LOT 적체현황 관리 지원
설비별 LT,소요자재,배합표 등 기준정보
적정 재공,생산Capa반영한 ATP
공정별 자재 사용량,공통/개별 자재 분석
© 2011 DataStreams Corp. All Rights Reserved.
5. 상세기능 및 구축사례
TeraStream 상세기능
TeraStream 구축사례
-6-
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 및 사례 목차
 TeraStream 상세기능
 TeraStream 구축사례
 정렬 및 가공
 국민은행 EDW/통합 DM 구축 1, 2차 프로젝트
 조인 기능
 국민은행 경영정보 차세대구축 프로젝트
 병렬처리
 기업은행 정보계 차세대구축 프로젝트
 검증기능 - 입출력 건수 검증
 우리은행 CRM 구현
 검증기능 - Lookup
 하나은행 정보계 차세대구축 프로젝트
 웹 모니터링
 하나은행 정보계 준실시간 프로젝트
 연계 기능 - SQL 및 Procedure
 KOSCOM PowerBASE 데이터 전환
 연계 기능 – 어플리케이션
 대신증권 차세대시스템 구축
 전/후 처리기능
 행정안전부 시도정책 결정시스템 구축
 Sort 엔진 및 고속 추출 엔진(FACT)
 국세청 소득세연말정산간소화 프로젝트
 다국어 지원
 보건복지부 전자바우처 DW성능개선결과
 예약 실행 기능
 한국방송통신대학 정보계 구축
 관리기능
-7-
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 정렬 및 가공
 Sort 엔진을 이용한 데이터 정렬 기능 사용
 데이터베이스 상에서의 정렬 및 집계보다 월등한 성능 발휘
1. 그룹핑할 기준key는 BAN_ID로 지정
BAN_ID는 오름차순으로 정렬
•
Sort 엔진 탑재로 탁월한 소트 성능
•
Grouping 연산 및 데이터 집계 데이터의 빠른 연산
•
정렬과 동시에 중복제거기능과 입/출력 개수 지정 가능
•
EBCDIC, BIT, COMP 등 다양한 타입 변환 제공
2. Grouping 연산 편집창
CALL_MINS에 BAN_ID별로 GroupbyCount 매핑
-8-
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 조인 기능
 File to File, File to DB, DB to DB 조인 기능
 INNER, LEFT, RIGHT 조인 기능 지원
조인 타입 (INNERJOIN) 정의
파일과 테이블 간의 조인 정의
ALIAS를 통한 참조 제공
조인키 설정
-9-
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 병렬처리
 병렬 처리 개수 지정을 통한 동시 실행 쓰래드 개수 설정 가능
 시간이 과도하게 소요되는 작업에 대한 응답속도 향상
•
컨버터 엔진 내에 자체 병렬 엔진 탑재
•
멀티 프로세스 방식이 아닌 멀티 쓰래드 방식으로 구현
•
병렬 작업 쓰래드 개수는 최대 64개 까지 지정 가능
•
컨버터(EBCDIC->ASCII, 연산이 있는 컬럼이 많은 경우),
변환 작업에서 자체 병렬 엔진을 이용하여 빠른 작업처리
병렬처리개수 지정
•
쓰래드를 이용한 병렬 엔진으로 병렬작업의 부담을 최소화
병렬프로세스 실행화면
- 10 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 검증 기능 - 입출력 건수 검증
 예상 입출력 건수와 실제 입출력 건수를 통해 프로젝트 수행에 대한 건수 검증
• 예상 입/출력 건수와 실제 측정한 입/출력 건수를 비교검증하는 job의 검증 결과를 조회/출력
- 11 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 검증 기능 - LOOKUP
 TSCODE 함수를 통한 파일 및 테이블의 LOOKUP 기능 지원
 LOOKUP을 통한 코드값의 간접적 검증 및 코드 테이블 데이터 활용
코드 파일
입력컬럼
LOOKUP
Key컬럼
출력컬럼
• 코드 검증 함수 (tscode): 검증할 코드컬럼의 코드와 코드파일의 데이터를 매핑(검증) 후 코드값를 가져옴
- 12 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 웹 모니터링
 웹브라우저를 통해 Dashboard형태로 프로젝트 실행 결과 실시간 모니터링 제공
프로그램 성공, 실패 등 실행 결과
- 13 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 연계 기능 – SQL 및 Procedure
 외부명령어 블록을 통한 쉘스크립트 실행 및 OS 커맨드 실행 기능
 USQL 블록을 통한 사용자 SQL 스크립트, Procedure Block 수행
외부명령어 블록
USQL 블록
- 14 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 연계 기능 – 어플리케이션
 자사 제품 간의 연계 제공
 타 플랫폼과의 연계 제공
LAN 혹은WAN
•자체
인터페이스 기능 탑재를 통해 ETL 서버 상의 프로젝트간 연계를 달성
•데이터베이스
•압축을
간 리스너를 통한 연결이 불가능한 경우 효과적
통한 전송 효율 달성 계획 중
- 15 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 전/후 처리기능
 컨버터, 조인 블록 상에서 처리하는 레코드 단위로 블록의 실행 전 처리 및 실행 후 처리를 지원
 사용자는 C 스타일의 로직 작성을 통해 전/후 처리 기능 이용
실행 결과물을 표준출력창에 출력
•
컨버터/조인 블록에서 기능 제공
•
블록 처리 전, 대상 레코드에 대한 전처리 기능을 적용하여
추가의 가공 또는 로직 처리가 가능
•
부서테이블의
각 레코드의 부서번호를
실행 전 처리(가공)
블록 처리 결과에 대해서도 후처리 기능을 통해 추가의
가공 및 로직 처리가 가능
•
소스 데이터로는 제공되지 않은 추가 칼럼 정의에 유용하게
사용되며, 소스 레코드를 건 별로 읽기 작업하면서 컬럼값에
따른 분기 작업 및 추가 가공 작업 등에 효과적으로 적용
FFD File로 본 전처리후 결과
- 16 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : Sort 엔진 및 고속 추출 엔진(FACT)
 독립 제품 라이선스로 제공되는 Sort 엔진, 고속 추출엔진(FACT)를 TeraStream에 기본적으로 탑재
•
Sort 엔진인 CoSORT의 실행스크립트를 그래픽
인터페이스를 통해 사용자 친화적으로 생성
•
자사 고속 추출 엔진인 FACT를 언로드 블록에
기본적으로 탑재
•
사용자SCL 블록을 통해 CoSORT 실행 스크립트
직접 편집 및 실행
- 17 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 다국어 지원
 유니코드 지원을 통해 UI 상에서 다양한 언어 표현 가능
 유니코드 데이터에 대한 디스플레이 기능과 함께 다국어 완벽 지원
•
다국어명 사용 가능
•
블록명, FFD명, 프로젝트명 등에서 영어, 중국어, 일어 등
다국어 입력 사용 가능(언어별 UI)
•
자국어를 테이블명, 컬럼명으로 사용하더라도 표현에
전혀 제한이 없게 됨
•
- 18 -
유니코드 지원
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 예약 실행 기능
 자체 스케줄러 도입을 통한 스케줄링 예약 실행 구현
 영업일 테이블 별도 보유 및 다양한 형태의 스케줄링 방법 제공
 기준 시간 단위 실행 및 반복 실행 기능
- 19 -
© 2011 DataStreams Corp. All Rights Reserved.
상세기능 : 관리기능
 사용자 관리 및 권한 관리를 위해 User Manager 제공
 프로젝트 별 권한 (열기, 수정, 실행) 관리
•
계정 – 작업그룹 – 권한그룹 관계를 통해 사용자 관리 및 권한
•
프로젝트 별 권한을 관리
관리 실시
•
UNIX의 권한 체계와 유사한 체계의 권한 및 계정관리를 통해
권한 위반에 대한 상세 이벤트로그 제공
- 20 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 국민은행 EDW/통합 DM 구축 1, 2차 프로젝트
도입
효과
 정보계 업무를 TeraStream을 이용하여 IMS HDB, HOST DB2, Oracle, DB2 UDB 등 다양한 형태의
DB 데이터 처리
 다양한 비즈니스 로직을 적용한 대용량 데이터(일 EBCDIC 4TB)의 일배치 목표시간 2시간 30분 만족
고객사 이슈
•
•
•
•
M/F 및 IMS HDB의 컨버젼 기능 요구
시계열 컬럼 부재 상황에서 변경분 처리
대용량 데이터의 배치시간 내 처리(원천 기준 일 10TB )
대용량 단일 파일의 병렬 처리
시스템 구성도
파일처리 흐름
원천 시스템
EDW
Sybase ASIQ
IMS HDB
적용방안
ETL
A-SOR
Informover
• 메인 프레임 데이터를 UNIX환경의 데이터로 전환
•
•
•
•
( 초기10TB → 25TB) 18시간에 처리
데이터의 한글 변환 등 다양한 데이터 변환 및 가공
계정 서버에서 신ODW 서버로 ETL
- Daily 변경분 데이터 약 200GB를 TeraStream FACT엔진을
이용하여 약 1시간 30분안에 추출
정보계 시스템에서의 ETL 및 배치 업무 수행 내용
- 수신, 여신, 외국환, 통합, 공통 정보계 업무
- OLAP Mart 구축
정보계 배치를 주요작업 기준 목표시간(6시간) 안에 적재
- 주요작업이 목표 시간처리로 타팀 제공 완료
- 동시에 OLAP Mart작업 구현
DB QUERY
IBM M/F
- Seg분할
- 컨버젼 & Array 분할
- 로직적용
영역DM
통합DM
ETL
HDB, DB2
Informover
- 컨버젼
- 로직적용
Server RDB
TS(FACT)
ETL
- 로직적용
- 21 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 국민은행 경영정보 차세대구축 프로젝트
도입
효과
 검증을 마친 TeraStream을 이용한 안정적이고 완성도 높은 데이터와 이행 시간의 최소화
 TeraStream과 C Language의 적절한 배치로 효과적인 Batch Program구현 및 배치 성능 향상
고객사 이슈
시스템 구성도
• AS-IS 경영정보 시스템(M/F DB2)에서 안정적인 변환 및 이행
가능한 ETL 솔루션 필요
• 다양한 종류의 DBMS데이터의 추출,적재가 가능한 솔루션필요
• 차세대 프로젝트 개발 인력과 오픈 후 운영 인력이 동일하여
데이터 이행을 통하여 익숙해진 솔루션을 경영정보 Batch 프로
그램 개발에 동시 적용이 필요한 솔루션 필요
• Batch 프로그램 개발의 효율성과 성능 개선을 위하여
C Language와 원활한 호환이 가능한 Batch 개발 솔루션 필요
적용방안
추출
전송
•
•
•
•
매핑 및 적재
AS-IS추출데이터
M/F
FTP/
Informove
DB
데
이
터
전
환
전송
ASCII
변환
추출
파일
(TeraStream/ProC)
파일정제,가공
Target
파일
UNIX
추출
파일
수행Log
오류
파일
Staging
DB
M/F,UNIX
추출/전송
Log
경영관리
LOAD
DB
데
이
터
검
증
To-Be원장
추출 파일
(EBCDIC)
• 계정계 DB(M/F DB2)에서 전송된 EBCDIC데이터를
TeraStream의 변환 기능을 이용하여 변환 및 TO-BE 매핑작업
TeraStream을 이용한 검증 프로그램과 AS-IS상호 비교로
정확한 데이터 정합성 확보
TO-BE DBMS인 SybaseIQ와 UDB(UNIX DB2)의 효과적인
DISK활용을 위한 공유영역과 비공유 영역의 구분 활용
TeraStream을 기본 배치Tool로 하여 배치 프로그램을
개발하며 C Language로 개발된 프로그램은 TeraStream으로
수용하여 진행
SybaseIQ와 UDB의 동시 접속으로 배치 프로그램 효율성
극대화
사전작업
AS_IS
검증
재처리
작업
공 코드매핑
통
모 고객번호
듈 계좌번호
AS_IS
검증데이터
추출/전송
Log
TO_BE
검증데이터
회계관리
업무지원
리스크관리/
내부통제
TO_BE
검증
검증결과 DB
(Result)
- 22 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 기업은행 정보계 차세대구축 프로젝트
도입
효과
 ODS 및 DW구축으로 인한 경영정보 시스템에 요구되는 데이터 확보
 종합수익/성과/바젤II/영업실적포털로 제공되는 계정계/계정서버와의 복잡한 인터페이스에서
EDW를 중심으로하는 종합보고서 시스템 구축
고객사 이슈
시스템 구성도
• 경영정보 시스템에서 요구되는 데이터 충분성 확보를 위하여
ODS & DW 필요
• Bank DB/AS-IS DW에 적재되어 있는 과거데이터 이행
• 현행 종합수익/성과/바젤II/영업실적포탈로 제공되는 계정계/
영업점
자동화기기
TeraStream의 변환 기능을 이용하여 Staging DB구축
• Bank DB/AS-IS DW에 적재되어 있는 과거데이터 리모트 추출
(FACT)을 통한 DW 이행, AS-IS(계정계) 추출 시 약 2Tbyte
• 대량 데이터에 대한 CDC (Change Data Capture: 일중 수시
추출) 적용을 TeraStream으로 구축하여 이행시간 단축 실현
• 단위마트,분석마트 이행 시 이행시간 단축
• 계정데이터 이행, DW, 단위마트, 분석마트의 정기 Batch 작업
시간 단축
- 일일 배치 데이터사이즈는 200Gbyte
고객
수신
정산
여신
상품관리
외환
재무회계
대행
적용방안
• 계정계 DB(M/F DB2)에서 전송되어지는 EBCDIC데이터를
계약
공통
신용카드 전자금융
디퍼드
복제
콜센터/폰뱅킹
환원
속보
직원실적 예보
재무일계 관리
Staging
실시간
분석
수신
고객
여신
계약
상품
조직
집계
정보
경영
정보
영업정보
마케팅 고객
공통
재무
기타업무
거래
요약집계
E
T
L
종합수익관리
리스크관리
운영리스크관리
WMS
배치 I/F
계정계 서버시스템
Transformation
신용카드
방카슈량스
여신종합
국외전산
외환시스템
자본시장
예산/자산관리
인사
대외기관
•은행연합회
•한국신용평가
•한국신용정보 데이터 관리 Infra
•증권거래소
- 23 -
영업실적포털
상품 조직 계약
성과관리
Extract
모바일
통합CRM
Feedback
원가결산
기타계정배치
Rule
인터넷
DW
후처리ODS
차세대
경영정보
시스템
실시간 ODS
실시간 I/F
계정서버와의 복잡한 인터페이스를 위한 단위마트 시스템 필요
• 현행 전산자료출력, 각종 보고서 통합을 위한 분석마트 필요
계정계 시스템
메타데이터관리
Cleansing
감사정보
DM
점질분석
분석마트 단위업무
마트
수신
고객
여신
마케팅
실적
보고서
성과
OLAP/Reporting
정형분석
비정형분석
수익
Query Tool
리스크
비정형조회
비정형보고서
Loading
데이터 품질 관리
통합 스케줄링
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 우리은행 CRM 구현
도입
효과
 ORACLE DBMS 데이터 이행 및 배치 작업을 목표시간 8시간 내 완료
 복잡한 업무 로직을 TeraStream을 이용하여 완벽하게 구현
고객사 이슈
•
•
•
•
신속하고 정확한 데이터 이행을 위한 솔루션 필요
정확한 데이터 검증을 통한 신뢰성 있는 데이터 확보 필요
EDW 데이터를 CRM 시스템으로 이행 가능한 솔루션 필요
CRM 배치작업 진행 가능한 솔루션 필요
시스템 구성도
CRM 서버
M/F(EDW)
변환, 로직 적용/
데이터검증
조인
DB2
TO-BE
Fixed SAM
ASCII
적용방안
• TeraStream 과 pro* C 을 이용한 CRM 배치 작업 구현
• 데이터 이행 및 배치 구현( SIZE : 600 GB , 시간 : 8시간)
• EDW(File) 데이터 와 TO_BE 데이터를 TeraStream을 이용하여
FTP전송
EBCDIC
Variable SAM
상호검증(적재건수검증)
• 우리은행 스케줄러와 연동하여 ETL 이행 및 배치
(오전8시~오후8시)
분석 CRM
변환/적재
EBCDIC
Fixed SAM
Fixed SAM
FTP전송
분석 DM
Oracle
- 24 -
운영 CRM
적재
운영 DM
Oracle
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 하나은행 정보계 차세대구축 프로젝트
도입
효과
 ADW, BSA, CRM, SEM, AUI, 단위업무 등 정보계 전체 배치작업의 효율적인 구성
 Sybase DB 및 Oracle 등 이기종 DB간 효과적이고 안정적인 배치작업 지원
 준실시간 데이터 처리 및 적재를 위한 TeraStream 사용
고객사 이슈
시스템 구성도
• 제한된 시간내 계정계 데이터의 DW적재 및 마트, CRM, SEM
등 정보계 전체 배치작업을 가능하게 할 ETL 필요
• 이기종 DB간 구성 및 다양한 시스템 환경에 유연하게 대처할 수
있는 ETL 필요
• 준실시간 데이터 가공 및 적재를 처리할 수 있는 효율적이고
안정적인 ETL 필요
계정계
정보계
상품DB
EAI데이터
전송
적용방안
AUI ETL
BSA DB
AUI DB
NRT가공
및 적재
Flat
File
Oracle DB
복제
• ADW ETL : 계정계 BCV에서 짧은 시간동안 데이터를 정보계
DW로 추출 및 적재, Mart 구성까지 배치 지원
• 전사 ETL : ADW 및 BSA에서 데이터를 추출, 가공하여 CRM 및
SEM DB로 적재하는 배치 작업 지원
• BSA ETL : 계정계에서 발생하는 실시간 데이터를 EAI를 통해
전송 받아 가공/적재하는 준실시간 온라인 지원
• AUI ETL : ADW에서 데이터를 추출하여 AUI로, 적재 AUI에서
데이터 추출하여 단위업무 DB로 데이터를 가공 적재하는 배치
작업 지원
BSA ETL
ADW 데이터
BACKUP
ADW ETL
계정계
데이터추출
및 ADW적재
상품BCV DB
- 25 -
Flat
File
ADW/AUI
데이터추출,
AUI/단위업무
데이터 적재
Flat
단위업무DB
File
ADW DB
Flat
File
BDW DB
전사 ETL
CRM DB
Flat
File ADW/BSA
데이터 추출, SEM DB
CRM/SEM
데이터 적재
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 하나은행 정보계 준실시간 프로젝트
도입
효과




원천시스템에서 발생된 변경 데이터를 3분내에 정보계 목적 테이블에 변경 적재
실시간 모니터링을 통하여 원천시스템부터 정보계 시스템까지의 데이터 흐름 확인
정보계 타켓테이블 컬럼 변경시 별도의 프로그램 수정 없이 자동 변경, 관리하여 유지보수 편의성 제공
오류 발생시 SMS 및 이벤트 발생으로 인하여 즉각적인 비상대응체제 제공
고객사 이슈
시스템 구성도
• 기존 MQ(Message Queue) 방식을 이용하여 디퍼드 처리시
1시간 이상의 데이터 지연 현상 발생
• 디퍼드 대상 테이블 추가 변경 시 프로그램 구현의
불편함과 별도의 모니터링이 없는 관계로 오류 발생시
대처 방안이 힘듦
EAI전송파일
DW
로그
업무
로그
 Variable 형식
•트랙잭션 처리
•파일컬럼 자동처리
•EAI송수신 정보 호출
•Enter값 치환 호출
•데이터 전송누락 검증
•
•
•
•
•
DW
로그
업무
로그
NRT 파일처리
업무별 Agent 관리
• 계정계에서 발생된 변경 데이터를 EAI를 통하여 정보계 서버에
전송
NRT 데몬을 통한 실시간 파일 전송 체크
파일 처리
- 테이블별 분리 및 중복 제거
NRT Connection 모듈
- 가공 및 적재 처리시 Message Queue방식을 이용한 처리방식
적재 처리
- MERGE INTO 및 BULK 적재 방식을 통한 준 실시간 데이터
적재 처리
NRT 모니터링
- 실시간 데이터 가공 / 적재 모니터링
- 시간당 데이터 추이 분석 자료 제공
EAI전송파일
EAI
 MAX 2000rows
전송
적용방안
NRT데몬
Connection
module
NRT수신
상태 테이블
업무 후처리 모듈
•NRT엔진구동
NRT 후 처리
NRT 모니터링
•오류발생처리 호출
•트랜잭션 처리
•출력로그생성
•종료코드처리
•Return
NRT수신
상태 테이블
- 26 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 KOSCOM PowerBASE 데이터 전환
도입
효과
 KOSCOM공금융 PowerBASE 구축 사업에서 TeraStream이 Data Conversion Tool로 선정되어
Tandom을 ORACLE로 전환
 각 증권사별 전환시간 6시간 목표 달성
고객사 이슈
시스템 구성도
• 여러 개(1회 최대 6개)의 증권사 Tandom DB 에서 Oracle
DB로 전환할 때 목표시간(6시간) 내 전환 필요
-> 같은 날 동시에 여러 개 증권사 데이터 6시간내 전환
구시스템
신시스템
2007년 2월부터
증권사별 순차적 정지
2007년 2월 ~ 2008년 4월 증권사별 순차적 OPEN
TO-BE
(Base21)
AS-IS
(B21,현선물,BP,HTS)
적용방안
• Tandom 데이터를 ORACLE 데이터로 전환
•
•
•
•
•
(1TB 전환 4시간 40분 소요 -> 목표시간 대비 1시간 20분 단축)
총 43개 증권사 데이터 전환(동일 데이터 로직 사용)
여러 개의 증권사 데이터가 존재하는 Tandom 데이터 파일을
FTP로 신시스템에 전송
증권사별로 데이터를 분할하며 데이터 정제작업 진행
- 코드정제 및 데이터 layout체크 등
데이터를 가공하여 타켓데이터 생성후 신시스템에 적재
- 정제된 데이터를 TeraStream을 이용하여 전환로직 반영, 가공
각 증권사 별 순차적 OPEN
Tandom
매핑룰
Convert
Extract
증권사별 분할/
데이터 정제
Load
FTP 전송
ORACLE
- 27 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 금융
 대신증권 차세대시스템 구축
도입
효과
 서비스 속도와 안정성 보장
 타 시스템과의 표준화된 연계
 24*365 시스템의 구축 및 운영시스템의 빠른 이슈해결과 편리한 보수
고객사 이슈
시스템 구성도
• ASCII 파일처리 등 BULK 처리 필요
• 타언어 모듈을 Shell을 통해 호출하고자 하는 요구사항
채널(서비스)
비즈니스 시스템
채널통합(대외)
코어/경영지원 온라인 AP
X-MINS
FEP
Cybos 단말
IE
적용방안
•
•
•
•
•
데이터 추출 및 가공하여 트랜잭션 처리
추출 가공된 데이터로 전문 구축
아스키 파일처리 등 BULK 처리
타언어 모듈을 Shell을 통해 호출하여 사용 가능
TeraStream 사용 예
1. 비정기적 ETL 또는 파일가공 작업
Cybos UI -> TeraStream
Cybos UI에서 전문 또는 리포트파일 생성
2. 일/주/월/분기/년 데이터 배치 및 비정기 데이터 가공 작업
- Control-M과 TeraStream연계
- TeraStream을 이용하여 계정계에서 소스데이터 추출 및
가공하여 계정계로 적재
CB+
FIX
1. Cybos ->
TeraStream
HIS
(Web
Server)
Control-M
TR(Online)
계정계
(비즈니스 데이터)
CORE DB
NEFSS
Oracle
AIX
Websphere
Batch AP
CORE DB
Scheduler
3. Control-M ->
TeraStream->
OTIS
TeraStream
Unix
Shell
2. Control-M ->
TeraStream
Oracle
AIX
OTIS
CORE DB
Oracle
AIX
- 28 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 공공
 행정안전부 시도정책 결정시스템 구축
도입
효과
 각 시도 및 군 데이터를 추출하고 중앙 부처 및 기관 데이터는 EAI와 연동하여 데이터를 전송하고
전송된 데이터는 가공/적재 후 DW/DM에 데이터를 생성하고 각 시도 및 중앙에 필요한 데이터 전송
고객사 이슈
시스템 구성도
• 업무와 정보를 수평·수직적으로 연계하는 실질적인 전자
정부 완성
• 시도, 시군구간 연계된 통합정보를 활용하여 시도 행정
업무에 필요한 가치 있는 양질의 정보 제공
• 신속․정확한 의사결정지원체계 구축
적용방안
• 중앙부처 시스템/시도업무시스템/시군구 업무시스템/유관기관 및
단체시스템간에 필요한 데이터를 DW/DM 간에 EAI로 전송하고,
ETL로 구성
• 대상 : 중앙 및 16개 시도
• 시도별 업무 현황
1) 내부행정(토지,건물,자산증감현황) -> 서울시
2) 환경(대기,토양오염,물관리 등) :인천,대전,울산,충남,전남
3) 광주(의약품,공중위생,식품위생) : 보건위생
4) 경제통상(에너지,노동행정,중소기업,경제동향 등):경남,제주,경북,
부산, 대구,경기, 강원,충북,전북
• 일 데이터 처리량은 50GB 내외
• 처리 데이터 보관 방법 : 프로젝트가 성공적으로 완료 후 특정 파일
시스템으로 데이터를 전송하여 이를 백업 솔루션으로 백업
• 중앙 부처에 관련 된 데이터는 EAI를 통하여 파일로 데이터가
제공되고, 중앙 및 시군구 데이터(Oracle)는 직접 추출(FACT)하여
DW/DM(Sybase) 에 적재
EAI
ETL
중앙 통합 데이터마트
중앙부처
유관 시스템
ODS
DW
DM
중앙 DW/DM로 부터
필요 데이터를 각 16개
시도로 EAI를 통해 전송
연계기관 :
연계기관 내부
파일을 주기별로
EAI를 통하여
각시도 및 중앙
부처에 전송
각 시도의 DW/DM를
중앙 DW/DM으로
전송
시도/시군구
행정 시스템
ODS
DW
DM
시도 데이터웨어하우스(16개시도)
- 29 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 공공
 국세청 소득세연말정산간소화 프로젝트
도입
효과




다양한 포맷의 데이터 처리: 여러 기관의 다양한 포멧의 데이터를 처리
대용량 데이터 처리: 각 기관의 다량의 데이터를 완료 목표시점인 08:00 까지 완료
암호화 병행 : 기존 데이터를 암호와 복호화 모듈을 적용하여 처리했음에도 목표시간 준수
다양한 DB간의 데이터 변환 ( ASCII => EBCDIC, EBCDIC => ASCII ) 구현
고객사 이슈
• 여러 기관의 다양한 포맷의 File 데이터 효과적 처리 필요
• 입력 데이터의 수집 시간이 일정치 않고 summary필요,
시스템 구성도
내부시스템
외부시스템(서비스)
대용량 데이터를 신속한 처리할 필요
TIS 시스템
• 최종 결과를 메인프레임 시스템으로 제공
(ASCII -> EBCDIC) 할 수 있는 솔루션 필요
세적정보
세적정보
적용방안
• 각 기관별 수집 데이터에 대한 포맷 표준화 진행
• 외부시스템으로의 연계파일 작성시 실명을 암호화 적용(연동)
• 대용량 파일의 분할을 통하여 Oracle 적재 시 병렬작업으로
•
•
•
•
수행
수집된 데이터의 오류(형식오류, 내용오류 등) 체크
- Header,Midlle, Data File간 값비교, 오류발생시 작업중단.제어
- 형식 및 내용오류 외에 데이터의 중복체크
- 오류의 관리를 위한 테이블 관리
데이터의 오류를 신속하게 제출기관에 통보하여 수정/보완
전각문자를 변환모듈 적용
K청 소득세연말정산 프로젝트에서는 대용량 데이터 처리 외
에도 시스템의 구성상 요구되는 항목들을 처리 하는 것이 목표
세적정보
세적정보
소득정보
자
료
교
환
시
스
템
추출시 암호화
TIS
세적정보
FTP 전송
세적정보
소득자료
추출시 암호화
소득정보
소득자료
소득자료
ASCII 컨버젼
소득자료
소득자료
외부 기관
소득자료
비즈니스로직
적용
복호와 및
오류체크
외부제출
자료
외부제출
자료
- 30 -
외부제출
자료
FTP 전송
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 공공
 보건복지부 전자바우처 DW 성능 개선 결과
도입
효과




통계제공시간 단축: 기존에 1~6일 소요되었으나 수 초 ~ 수 분 이내로 통계시간 단축
정보 프로세스의 단축: 자료처리 절차의 간소화와 업무담당자가 직접 정보 획득
1개의 통계장표에 여러명 투입하여 작업하였으나 DW구축으로 현업이 직접 조회 및 편집 가능
일관된 데이터 제공으로 인한 데이터 신뢰성 증가
고객사 이슈
• 데이터 정합성 결여
• 통계자료 요청시 며칠 소요로 인한 정보의 즉시성 결여
• 부정결제시 즉시 확인이 불가능
• 통계데이터의 신뢰성 결여로 관리원과 현업간의 불화
시스템 구성도
원천 시스템
전자바우처 통계분석시스템 DW 서버
Source DB
(oracle)
Target DB
(oracle)
FACT
바우처
서비스
적용방안
원천소스에서 ODS로 일배치
통계분석을 위한 ODS, DW, DM 구축 및 모델링
바우처 시스템 (DB1 -> 신규 DW서버)
서버
- OS기종 : AIX 5.3(ASIS,TOBE동일)
- CPU : Power5, 2.1GHz, 6core , IBM P시리즈
- MEM : 12 GB
- H/W : 1TB
• 심플한 로직으로 유지보수가 용이함
부정
결제
•
•
•
•
임신
출산
ETL
ODS
- 1:1 맵핑적재
- 일배치
- ODS로 적재
ETL
DM
DW
ETL
- ODS데이터 컨버젼
- DW로 update/insert
- ODS와 DW 데이터 가공
- DM으로 update/insert
제공기관
인력
IBM P시리즈
- 31 -
© 2011 DataStreams Corp. All Rights Reserved.
TeraStream 구축사례 : 학교
 한국방송통신대학 정보계 구축
 기존에 15일 정도 소요되던 성적, 등록, 입학 등의 학사업무 통계가 4시간 이내로 단축됨
 대학행정 통계가 1시간 이내에 완료됨
도입
효과
고객사 이슈
시스템 구성도
• 학사통계 자동화 : 기존 10명 정도의 사람이 수작업으로
15일 정도 걸리던 작업을 자동화 및 인원, 시간 단축 필요
데이터 추출/적재
ETL 컨트롤
대학행정
정보계 서버
• 학교행정업무 전산화 : 전산화 된 행정업무에 적합 한 행정통계
시스템 필요
데이터
추출/적재
대학원
TeraStream
적용방안
• 학사업무와 대학행정업무 데이터를 Oracle DB에서 추출,
가공하여 Oracle DB의 ODS, DW, DM로 적재 후 정형 및
비정형 Report를 위한 통계 데이터를 제공함
• 학사정보 데이터 (초기분/변경분) : 20GB/1GB,
변경적재 총4시간
• 대학행정 데이터(초기분/변경분) : 5GB/100MB,
변경적재 총1시간
작업 Tool
총 작업 시간
학사정보 통계시스템
• 4시간 이내
대학행정 통계시스템
• 1시간 이내
전자결제
튜터
행정
평생
교육원
학사업무
학사
졸업
등록
ODS
데이터
추출/적재
성적
입학
DW
DM
데이터
추출/가공/적재
데이터
추출/적재
15일 이상 소요되던 학사정보 통계가 4시간으로 단축된
- 32 -
© 2011 DataStreams Corp. All Rights Reserved.
데이터스트림즈 제품군
DI제품
DQ제품
Deliver
Customized Data
Manage Metadata
Assure
High Quality
Near Real Time
Data Processing
Analyze Application
and Data
Deliver
Real time Change
Data
Manage Masterdata
- 33 -
© 2011 DataStreams Corp. All Rights Reserved.
㈜데이터스트림즈
www.datastreams.co.kr
TEL 82-2-3473-9077 FAX 82-2-3473-9084