Transcript 타산업 빅데이터 솔루션 적용(안)

BIWORLD
빅데이터 솔루션 도입방안
2012. 04. 20(fri)
BIWORLD 운영자 김기선
SHARE THE KNOWLEDGE
CopyLeft © 2012 BIWORLD
목차
1. BI(Business Intelligence) 개요
2. 빅데이터 개요
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
4. 도입 성공 사례 –N사
5. G사 DW 빅데이터 솔루션 적용(안)
6. 타산업 빅데이터 솔루션 적용(안)
7. 마치면서 Q&A
1 / 20
BI WORLD
1.BI(Business Intelligence) 개요
BI(Business Intelligence)란?
Intelligence ??
똑똑하다는 의미는??
2 / 20
BI WORLD
1.BI(Business Intelligence) 개요
BI(Business Intelligence)란?
선택 – 성공확률을 높여라
똑똑한 사람과 그렇지 않은 사람은 동등한 경쟁을 벌일 수 없다.
성
공
1
2
3
4
3 / 20
BI WORLD
1.BI(Business Intelligence) 개요
BI(Business Intelligence)란?
조직 경영 관점
가정 – 최소의 경영단위
비젼
가장 – 가정을 이끄는 리더
우리가정의 비젼 – 세상에서 가장 행복한 가정
단기
중기
장기
전략
단기
중기
장기
전술
전략 – 근로 소득의 불로소득으로의 전환
(부동산 임대수입)
단기전술 : 주식투자 / 1~2년 적금상품
중기전술 : 5~10년짜리 Fund
장기전술 : 오피스텔 구매 후 수량 확대
임대업
방어자산 : 보험
4 / 20
BI WORLD
1.BI(Business Intelligence) 개요
BI(Business Intelligence)란?
가정 단위에서 Intelligence – Home intelligence
1.단기 : 투자 대상을 결정하는데 기본 정보(은행의 BIS 비율), 주식 매매 타이밍 정보
2.중기 : 언제 FUND를 갈아탈지/어떤 상품을 가입할지에 대한 정보
3.장기 : 부동산을 언제 구매해야 하고 어떤 위치에 구매를 해야 하는지?
대출받을 때 이자율은 얼마인지?
가정이라는 단위는 비즈니스 단위라고 얘기할 수 없지만 경영을 하는 입장에서 보면 비슷한
면이 많음..
BI는 합리적인 결정을 내리기 위한 모든 정보 시스템
5 / 20
BI WORLD
1.BI(Business Intelligence) 개요
BI(Business Intelligence)란?
경영 정보학(Business Intelligence, BI)은 – wikipia
기업에서 데이터를 수집, 정리, 분석하고 활용하여 효율적인 의사결정을
할 수 있는 방법에 대해 연구하는 학문이다.
기업의 비전을 달성하기 위하여 비즈니스의 전략을 효율적이고 효과적으로
지원하여 각 조직의 구성원(종업원, 중간 관리자, 의사결정자 등)에게 적시에
의사결정을 할 수 있도록 지원하는 정보체계라고 정의하기도 한다.
6 / 20
BI WORLD
BI Map
1.BI(Business Intelligence) 개요
ODS
지수식 이동평균
7 / 20
BI WORLD
BI Map(BIG DATA 솔루션 도입후)
ODS
1.BI(Business Intelligence) 개요
BIG
DATA
8 / 20
지수식 이동평균
BI WORLD
빅데이터란?
2.빅데이터 개요
빅데이터(Big Data)
기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검색, 분
석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트를 의미한다.
9 / 20
BI WORLD
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
Hadoop
Hadoop
대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용
프로그램을 지원하는 자유 자바 소프트웨어 프레임워크이다.
10 / 20
BI WORLD
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
Hadoop
Hadoop의 주요구성 요소
1.
HDFS
2.
Mapreduce
3.
Hbase
11 / 20
BI WORLD
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
Hadoop
Map & Reduce
일자
점포
상품
Qty
AMT
원가
부가세
20110101 S1123
G1234
102
123,000
110,000
11,181
20110101 S1123
G3222
34
202,000
180,000
18,363
20110101 S1123
G2345
67
330,000
300,000
30,000
20110101 S2333
G1234
33
65,000
60,000
…
…
…
…
…
…
5,909
…
Reduce
<점포 : AMT>
<S1123 : 655,000>
<S2333 : 65,000>
Map
<점포 : AMT>
<S1123 : 123,000>
<S1123 : 202,000>
<S1123 : 330,000>
<S2333 : 65,000>
12 / 20
BI WORLD
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
GS25 CVS DW – ISAS LUW
A table distribution key (datecd, storecd)
B table distribution key (datecd, storecd)
DB2 Partitioning Feature
TABLE SPACE 01
TABLE SPACE 02
13 / 20
BI WORLD
3. 빅데이터 솔루션 Hadoop & MongoDB 설명
MongoDB
MongoDB란
No-SQL 제품 중 가장 큰 관심을 받고 있는 제품
No-SQL의 특징
 기존의 관계형 데이터 모델이 아닌 MAP 개념의 DB
 병렬처리 및 수평적 확장(Scale out) 그리고 쓰기 속도의 향상
MongoDB의 특징
 Document base DB
 기존의 SQL문을 MongoDB 함수로 쉽게 대체
14 / 20
BI WORLD
4. 도입 성공 사례 –N사
N사-빅데이터 솔루션 도입배경
전체 20T
A-DBMS
A-DBMS
B-DBMS
B-DBMS
C-DMBS
C-DMBS
Backup DB(mirroring DB)
LOG Table
▶요구사항 1: 기존의 로그 데이터를 활용하여 지표를 추출.
- 요구사항 1-1: 지표 추출 주기는 최소 1일 1회.
▶요구사항 2: 추출된 지표는 OLTP 환경으로 서비스.
- 요구사항 2-1: 기존에 사용하던 시스템에 추가 조회 기능으로 추가.
15 / 20
BI WORLD
4. 도입 성공 사례 –N사
N사-빅데이터 솔루션 도입배경
지표분석
적은양의 데이터 : Hadoop Standalone
Hadoop 3datanode : 1000만건부터
지표저장
16 / 20
BI WORLD
4. 도입 성공 사례 –N사
N사-빅데이터 솔루션 도입배경
완성 시스템 구조 :
려
대용량분석/지표데이터 확장 고
Hadoop + MongoDB
Mongo Cluster
Hadoop Cluster
DB
HDFS
Name
Node
DB
ETL
Data
node
DB
DB
Data
node
2nd
Name
Node
TR
APP
L4
SW
Data
node
17 / 20
BI WORLD
5. G사 DW 빅데이터 솔루션 적용(안)
G사 편의점 DW 구조도
마케팅총괄팀
DW
사업부마케팅팀
통합 S/C
Load Balancing
EIS
OFC
점포사용자
EIS
신본부
MSTR
CVS DW
수발주
18 / 20
BI WORLD
5. G사 DW 빅데이터 솔루션 적용(안)
Transaction Data (Pos data)
POS 핵심 데이터
판매아이템
최초사업장코드
영업일자
포스번호
판매일련번호
상품등록일련번호
사업장코드
판매구분
상품입력구분
정산관리코드
중분류코드
소분류코드
상품코드
…
…
영수증
최초사업장코드
영업일자
포스번호
판매일련번호
사업장코드
판매시작일시
판매종료일시
영수증번호
거래구분
원영업일자
원포스번호
원영수증번호
…
…
19 / 20
결재관련
최초사업장코드
영업일자
포스번호
판매일련번호
결제일련번호
사업장코드
결제코드
결제금액
잔돈
정상취소구분
카드번호
카드거래승인번호
…
…
BI WORLD
기존 Summary DATA vs BIG DATA 솔루션 적용
운영계
ORACLE
A
실적
Pro*C
DB2 Load
판매아이템
최초사업장코드
영업일자
포스번호
판매일련번호
상품등록일련번호
사업장코드
판매구분
상품입력구분
정산관리코드
중분류코드
소분류코드
상품코드
…
…
5. G사 DW 빅데이터 솔루션 적용(안)
B
ETL TOOL
(Informatica)
Sort
판매일자
최초사업장코드
상품코드
판매금액
…
…
…
Merge
Map
&
Reduce
C
Hadoop
20 / 20
BI WORLD
6. 타산업 빅데이터 솔루션 적용(안)
온라인 오픈마켓
사용자로그
고객성향 분석
예측 수요분석
활동로그
고객속성
고객일반속성
클레임/반품
판매
불량고객
패턴분석
공헌이익
21 / 20
BI WORLD
6. 타산업 빅데이터 솔루션 적용(안)
보험사/교통(공공-SOC)
설계 데이터
보험증권
설계
설계
계약성사
계약성사
도로/대중교통
재해정보
전국교통
전국교통정보
사회비용
사회비용
정보
22 / 20
BI WORLD
6. 타산업 빅데이터 솔루션 적용(안)
제조(MES)
품질
MES DATA
품질
6시그마
MES
MES
연계분석
일시
장소
온도
습도
2010
A
12.3
45%
비용
cost
COST
성과
Performance
Performance
23 / 20
BI WORLD
6. 타산업 빅데이터 솔루션 적용(안)
통신&증권사 데이터
통신 DATA
통화 품질
기지국
기지국
통화품질
통화품질
증권사 DATA
고객성향분석
HTS
HTS
로그
사용자로그
성향
고객성향
24 / 20
BI WORLD
7. Q & A
Q&A
감사합니다.
25 / 20
BI WORLD