Transcript 데이터 분석 기술 개발

201 5
회사소개
개발개요
개발 목표 및 내용
수행방법 및 체계
시장 현황 및 사업화 계획
※ 별첨 : 관련 자료
1/35
2/35
대표이사
특허 실적
김 영 훈
업
종
정보통신장비, 소프트웨어 개발 및 공급
설 립 일
2002년 5월
업
태
도소매,제조,서비스
임 직 원
43명
주
소
경기 안양시 동안구 관양동 대륭테크노 15차 1211호
자 본 금
9.4억
매 출 액
프로그램 등록
총 8건
특허명
2013년 186억원, 2014년 180억원(예상)
총 9건
등록일
비고
프로그램명
CD 폰 서비스 방법
2009.02.18
등록
VoIP Network 장비 실시간 Traffic 통계 Tool
2009.01.05
터치스크린 인식 시스템 및 관리시스템
2012.06.04
등록
VoIP Network 장비 실시간 Call Trace Tool
2009.01.05
네트워크 기반의 콘텐츠 관리시스템
2012.12.06
등록
CMS(컨텐츠 관리도구) 스케쥴러 프로그램
2012.05.29
의료진단 시스템 특허
2015.01.29
등록
CMS(컨텐츠 관리도구) 단말관리 프로그램
2012.05.29
엔스크린 기반 스마트 학습방법 및 시스템
2012.07.20
출원
빅데이터 플랫폼(머신데이터 수집기)
2014.02.21
사용자기반데이터분석 시스템 등 3건
2015.01.15
출원
빅데이터 플랫폼(휴먼데이터 수집기)
2014.02.21
빅데이터 플랫폼(데이터 인덱싱저장 및 검색 엔진)
2014.02.21
빅데이터 플랫폼(포토수집 및 저장모듈)
2014.02.21
빅데이터 플랫폼(포토추천프로그램)
2014.02.21
수상 경력
2010.11.22 제 11회 방송통신위원회 주최 전파방송신기술상
– ‘심플싱크’기술 개발
3/35
등록일
Muon 803w (디지털 액자), SQ1 (NAS; Network Storage) 개발 및 상용화
Muon803w : WiFi, 8’ touch screen
2010
SQ1 : 개인용 네트워크 스토리지,라우터
Simple Sync 원격제어 개발 및 상용화 (SKT 공동개발)
2011
PC, 스마트폰, 디지털액자간 콘텐츠 공유 및 원격제어 App
2010.11 전파방송신기술상 수상(방송통신위원장상)
2011~2013
2012~2014
2012~2014
2014년
빅데이터 플랫폼
개발(과제 참여)
2012년
방통위
방송통신기술
개발사업
과제 참여
~2010
2011년
중소기업청
산학연협력
국제 과제
참여
CJ 홈쇼핑
디지털
카탈로그
시스템
개발
Simple
Sync 원격
제어 기능
개발
디지털 액자 &
개인용 네트워
크 스토리지
개발
CJ 홈쇼핑 디지털 카탈로그
전송 플랫폼 개발 및 상용화
우편 발송 카탈로그 인쇄물을 네트워크
기반의 디지털 액자로 대체
과제명: N-screen 기반의 스마트 학습 시스템
주관기관 숙명여대, 외국기관 美 Towson 대학, 본사는 참여기업
N-Screen 미디어 동기화 SW 와 전용 단말 HW 개발
과제명: 상황인지형 Tele-Screen시스템 기술개발
빅데이터 기반 플랫폼 개발
경량 모바일 단말 HW 개발 및 소프트웨어 개발
주관기관 ETRI 당사는 참여기업
빅데이터 수집, 검색, 분석, 가시화 모듈 개발
한국 언론 진흥 재단 기사 검색 데모 시스템 구축
중소기업 기술혁신 과제 주관기관 참여
4/35
2-1. 개발 개요
2-2. 개발 배경
2-3. 개발 필요성
5/35
2014년도 중소기업 기술혁신개발사업 수주(관리기관: 경기지방중소기업청)
과제번호
기술분류(Code)
S2163686
과제명
빅데이터를 활용한
“통합운용데이터 분석시스템(IODAS)” 개발
주관기관
㈜ 아이티언
총괄책임자
장병태(연구소장)
-
참여기관
사
업
비
컴퓨팅 SW - 기반 소프트
웨어-빅데이터솔루션
구분
1차년도
2차년도
총 연구기간
연구기간
2014.6 ~ 2015.5(12개월)
2015.6 ~ 2016.5(12개월)
2014.6 ~ 2016.5(24개월)
출연금
230,000천원
230,000천원
460,000천원
민간부담금
80,000천원
80,000천원
160,000천원
계
310,000천원
310,000천원
620,000천원
참여인력
12명
12명
12명
6/35
◆ 개발 배경
ㅇ 스마트 기기의 확산과 LTE, LTE-A등 통신망의 진화로 인한 데이터 폭증(‘빅데이터 시대’)
ㅇ 기존의 방대한 자료 및 새로이 쏟아지는 다양한 데이터의 손쉽고 효율적인 분석 필요
 데이터 수집/처리/저장/분석 방법에 있어 새로운 형태의 빅데이터 솔루션 대두
1
고전적 데이터 접근 방법
ㅇ Batch방식으로 중앙
DB로 수집
ㅇ 대용량 DB 관리를 위
한 H/W, S/W 필요
ㅇ Tera-Byte급 이상
분석 곤란
기존 DB 관리 솔루션
2
데이터 웨어 하우스
ㅇ Raw Data를 추출, 저
장, 조회의 체계화
ㅇ DW 전용의 H/W, S/W
필요
ㅇ 고가의 장비
ㅇ 구축 시간 및 관리 비
용 증가
기존 DW 솔루션
7/35
3
실시간 인덱싱 / 검색 / 분석
ㅇ Raw Data를 실시간으로 수집
및 인덱싱하여 분산 저장
ㅇ 정형/비정형의 다양한 장비,
포맷의 데이터를 통합하여 분산
처리/분석
ㅇ 대용량 빅데이터 검색 및 분석
ㅇ 구축 시간 및 비용 최소화
빅데이터 솔루션
◆ 개발 필요성
ㅇ 기존 빅데이터 솔루션은 대부분 이원화
- OI : 운용(머신) 데이터 위주의 분석시스템
- SI : Social 데이터 위주의 분석시스템
ㅇ 자사 개발의 분석엔진 위주로 판매, 고가
ㅇ 분석 알고리즘에 다양성 미흡
◆ 기능 개선 및 확장된 시스템
8/35
1. 통합형 데이터 분석 시스템 필요
+
2. 사용자 편의를 고려한 데이터 수용기능
 “데이터게이트웨이” 개발 필요
- 데이터 포맷을 자유로이 정의
3. 데이터 분석 알고리즘을 사용자도 정의
4. 사용자정의 시각화 (Visualization)수용
5. 휴먼 데이터 수집/분석 기능
3-1. 개발 목표
3-2. 개발 내용
3-3. 개발기술의 독창성
9/35
개발프로젝트
최종 목표
세부 목표
빅데이터를 활용한 “통합운용데이터 분석시스템(IODAS)” 개발
ㅇ 다양한 데이터의 고속 처리를 위한 이벤트 기반의 비동기 데이터 GW 개발
ㅇ 고속 분석 엔진 추가 개발
ㅇ 사용자 정의 시각화 기능 추가 개발
ㅇ 데이터 게이트웨이 개발
- 데이터 수집, 변환 기술 개발 (데이터 수집부, 변환부)
- 이벤트 기반의 비동기 데이터 처리 기술 개발 (데이터 처리부)
ㅇ 데이터 분석 기술 개발 (데이터 분석 엔진)
ㅇ Pre-Processor 기술 개발 (데이터 시각화)
10/35
◆ 개발 시스템 구성도
11/35
◆ 주요 기술 개발 내용
데이터 수집/변환 기술 개발 (데이터 수집부, 변환부)
•
•
•
•
기존 데이터 (Syslog, SNMP 등) 포맷 수집기능에 추가하여
Human Document (MS office, HTTP, Xml, PDF, E-mail 등)인식 기술 개발
사용자가 원하는 형태로 Input/Output 데이터 포맷을 지정하는 기술개발 (생성/수정/삭제)
데이터 포맷을 단일화하여 데이터 처리의 효율성 부여
이벤트 기반의 비동기 데이터 처리 기술 개발 (데이터 처리부)
• 비동기 처리방식의 JobWorker 개발
• 대용량 데이터 처리를 위한 이벤트 관리 및 Job 다중 버퍼 처리기 개발
데이터 분석 기술 개발 (데이터 분석 엔진)
•
•
•
•
기존 3G, LTE 등 무선망 표준 시그널링 데이터 분석 기술에 추가하여
산업용 장비(SCADA)의 다양한 시스템 로그 분석 기술
사용자가 자체 분석 알고리즘을 적용할 수 있는 OpenAPI Interface 제공
지능형 연관 검색으로 다양한 추천서비스 지원(FP-Growth, CF알고리즘 등)
Pre-Processor 기술 개발 (데이터 시각화)
• 기존 기법 (챠트, 테이블 등)에 의한 검색결과 표출 기능에 추가하여
• 데이터 소스를 다중 벡터화하여 사용자가 원하는 형태로도 표출하는 Dashboard 개발
• 시각화 스케쥴링을 통하여 신속히 데이터를 표출할 수 있는 Pre-Processor모듈 개발
12/35
항목
OI 와 SI의 통합형 솔루션
사용자 정의 Data 포맷 지원
사용자 정의 분석 알고리즘 지원
세부 설명
• Operational Intelligence 와 Social Intelligence의 통합 형으로 저가의 분석시스템
• Well-Known 데이터 포맷 지원 + 사용자도 INPUT/OUTPUT 포맷을 정의
• 정의된 포맷을 통해 데이터를 수집 및 변환
• 사용자도 원하는 분석 알고리즘을 적용할 수 있는 OpenAPI 제공
• 다중 Data Source와 다양한 그래프 스타일을 지정하여 사용자 정의 DashBoard
제작 기능
사용자 정의 Visualization 지원
• 제작된 사용자 정의 DashBoard 스타일을 저장/로드 기능
• 사용자 마다 스타일을 지정하여 다중 스크린에 다양한 DashBoard를 재생 가능
지능형 연관 검색엔진으로 추천
서비스 제공 기술
Human Document 분석 기술
• 지능형 연관 검색으로 다양한 추천서비스 지원(FP-Growth, CF알고리즘)
• Human Document 데이터 수집/처리/분석 지원
- XML, TXT, PDF, OpenOffice, MsOffice, Log, HTML, HWP, 압축파일
• Human친화적 인식 기능으로 일반 문서 형태(표준운용절차서 등)으로
바로 표출하는 서비스 제공 가능
13/35
평가 방법

표준화 된 검증 방법이 없으나 객관적인 검증을 위하여 협력기관을 선정, 이로부터 수집하는 데이터와 자체 테스트
시뮬레이터를 개발하여 기능과 성능을 반복 테스트하여 평가결과 도출

사용자 만족도는 아래 10개 대상을 시료로 데모시스템 구축(자사 구축), 시범운용을 통해 평가
번호
데이터 출처
데이터 형태
비고
1
LG U+
Cache Data
LTE 로그 데이터
2
LG U+
SSW DATA(CDR / Log Data)
Softswitch의 로그 데이터
3
CQCloud
SIEM Log Data
보안 관제 데이터
4
한국 언론 진흥 재단
NewsML 기사데이타
TEXT 데이터
5
한국 전파 진흥 협회
시험 인증 데이터 베이스
RDBMS 데이터
6
Twitter
비정형 Twitter Data
SNS 데이터
7
F5사용고객
F5 장비 - Syslog
TEXT, LOG데이터
8
아이티언
테스트 시뮬레이터 생성 데이터I
휴먼데이터
9
아이티언
테스트 시뮬레이터 생성 데이터II
SCADA 데이터
10
아이티언
테스트 시뮬레이터 생성 데이터III
리눅스 서버 테스트 데이터
14/35
4-1.
4-2.
4-3.
4-4.
4-5.
수행방안
기술역량 및 활용계획
과제수행 조직체계
리스크 관리 계획
개발 일정계획
15/35
빅데이터를 활용한
“통합운용데이터 분석시스템(IODAS)” 성공적인 개발 완료
평가 방법에 따른 기능 및 성능 평가
시뮬레이터와 개발결과물
연동 테스트
2차년도
사용자 정책 시뮬레이터 개발
테스트 시뮬레이터 개발
IODAS 모듈 개발
사용자 정의 Dashboard 개발
데이터 게이트웨이 개발
1차년도
데이터 처리부
데이터 변환부
데이터
분석
엔진
데이터 수집부
WMI 개발
추천 시스템(연관분석) 개발
빅데이터 기반 플랫폼
16/35
◆ 보유기술
전자액자
개인용스토리지
온세통신
포털처리시스템
HTML5 기반
웹 모바일
Simple Sync
LG U+ 트래픽
분석 시스템
빅데이터 플랫폼
N-Screen스마
트 학습 시스템
풍력발전
블레이드신호해석
국제신호교환기
모니터링시스템
◆ 활용계획
데이터 수집 기술
데이터 분석/저장 기술
17/35
데이터 시각화 기술
빅데이터 플랫폼 개발
◆ 연구 개발 프로젝트 수행 현황
과제명
수행 기간
발주처
N-screen 기반의 스마트 학습 시스템 연구 개발
2011.6 ~ 2013.5(24개월)
중소기업청
상황인지형 Tele-Screen 기술개발
2012.3 ~ 2015.2(36개월)
한국방송통신전파진흥원
풍력발전 블레이드 신호해석 기술 개발
2013.7 ~ 2013.9(03개월)
전력연구원 사업화기술 개발실
◆ 관련 보유 특허
구분
출원번호
(출원일)
등록번호
(등록일)
국가
출원인
특허
2006-0114844
(2006.11.20)
10-0885542
(2009.02.18)
대한민국
㈜아이티언
CD 폰 서비스 방법 특허
특허
2010-0110810
(2010.11.09)
10-1154840
(2012.06.04)
대한민국
㈜아이티언
터치스크린 인식 시스템 및 관리
시스템 특허
특허
2011-0063328
(2011.06.29)
10-1211664
(2012.12.06)
대한민국
특허
1020120149430
(2012.12.20)
-
출원
1020120079256
(2012.07.20)
출원
1020150005966
(2015.01.13)
명칭
㈜아이티언
네트워크 기반의 콘텐츠 관리시스
템 특허
대한민국
㈜아이티언
의료진단 시스템 특허
-
대한민국
㈜아이티언
엔스크린 기반 스마트 학습방법
및 시스템 출원 중
-
대한민국
㈜아이티언
사용자기반데이터분석 시스템 등
3건 출원 중
18/35
개발 인력 총 12명
총괄책임자
장병태
데이터 게이트웨이 개발
사용자 정의 DashBoard
및 WMI 개발
테스트 시뮬레이터 개발
김현수 책임 연구원외 4명
송호문 책임연구원외 2명
우제준 책임연구원외 2명
주요 개발 내용
주요 개발 내용
주요 개발 내용
1.
2.
3.
4.
5.
사용자 정의 정책 관리
사용자 정의 정책을 통한 데이
터 포맷 인식 기술
데이터 포맷 인식 기술을 통한
유연한 데이터 분석 기술
이벤트 기반의 비동기 데이터
처리 기술
단위/통합 테스팅(Testing)
1.
내부의 Pre-Processor를 통한
고속 시각화 기술
2.
단위/통합 테스팅(Testing)
3.
사용자 정의 분석 알고리즘 인
터페이스를 제공하기 위한
OpenAPI 제작
19/35
1.
2.
3.
4.
5.
TCP/IP, AVRO, ICAP 기반 테
스트 시뮬레이터 개발
사용자 정책 자동 생성 시뮬레
이터 개발
시스템 통합 테스팅(Testing)
TCP/IP, AVRO, ICAP 기반의 수
집 모듈 개발
파일 시스템 검색 기반의 수집
모듈 개발
◆ 리스크 관리 기법 적용 계획
본 개발 과정에 취약점 등 리스크를 줄이기 위하여 표준 개발기법(MS SDL)을 적용하여 IODAS의 품질을 높일 계획
◆ 단계별 중점 관리 계획
•
•
•
교육
요구사항 분석
개발인력
의 SW개
발 스킬
향상
동향교육
트렌드
교육
•
•
표준 요구
사항 명세
서 도출
품질관리
계획서 도
출
설계
•
•
자료흐름
도 작성
설계명세
서(인터
페이스구
조도, 데
이터구조
도)작성
구현
•
•
시큐어코
딩 시행
취약점 진
단도구를
활용한 주
기적인 코
드 점검
검증
•
•
진단도구
를 활용한
최종 점검
품질관리
계획서에
의한 품질
평가
배포
•
•
시범사업
실시
배포
 개발하고자 하는 SW의 구현(Coding) 및 검증(Test) 단계에서 취약점을 자동으로 진단하는 툴 활용과
단계별로 자문을 통하여 과제를 수행 하므로써 SW 안전성과 품질을 높임
 본사와 컨설팅 협약 추진 기관
- 서울대학교 컴퓨터 공학부(산학 협력 의향서, 2014.05)
- 고려대학교 고품질융합소프트웨어연구센터( MOU 체결, 2014.01 )
20/35
응답
•
•
고객 만족
도
개발보완
의견수렴
기술개발일정
년차
1차
년도
세부 개발내용
1
2
3
4
5
6
7
8
9
10 11 12
산출물
1. 계획 수립 및 요구사항 수립
기획서
2. 기능정의서 및 기초설계서 작성
설계서
3. 상세설계서 작성
설계서
4. 데이터 게이트웨이 – 수집부 구현
모듈
5. 데이터 게이트웨이 – 변환부 구현
모듈
6. 데이터 게이트웨이 – 처리부 구현
모듈
7. 데이터 분석 엔진
모듈
- Well-known 데이터 분석 모듈
8. WMI(시스템 인터페이스)구현
모듈
- 시스템 관리 모듈
9. 항목별 단위 기능 검증 및 테스트 결과 작성
시험결과서
10. 연동 기능 검증 및 수정 및 테스트 결과 작성
시험결과서
11. 1차년도 개발 완료 보고서 작성
보고서
21/35
기술개발일정
년차
2차
년도
세부 개발내용
1
2
3
4
5
6
7
8
9
10 11 12
산출물
1. 기능명세서 및 기초설계서 작성
명세서
2. 상세설계서 작성
설계서
3. 데이터 분석 엔진
- un-known 데이타 분석 모듈
- 사용자 정의 데이터 분석 모듈
모듈
4. WMI(시스템 인터페이스)구현
- 데이터 처리 / 분석 설정 모듈
모듈
5. DashBoard 생성 모듈 구현
모듈
6. 사용자 정책 시뮬레이터 구현
모듈
7. 테스트 시뮬레이터 구현
모듈
8. 항목별 단위 기능 검증 및 테스트 결과 작성
시험결과서
9. 연동 기능 검증 및 테스트 결과 작성
시험결과서
10. 시스템 통합 테스트 및 테스트 결과 작성
시험결과서
11. 평가 방법에 따른 기능 및 성능 평가
성능평가서
12. 2차년도 개발 완료 보고서 작성
완료보고서
22/35
5-1. 국내외 시장 및 경쟁 제품 현황
5-2. 제품화 계획
5-3. 사업화 계획
23/35
국내.외 시장규모
구분
2013년 기준 시장규모
예상 시장규모(2015년)
세계 시장규모
972 $US million (약 10조원)
1691 $US million (약18조)
국내 시장규모
1억6,300만 달러(1,660억원)
2억 6,300만 달러(2,680억원)
산출 근거
2012년방송통신산업통계연보, ITSTAT(정보통신산업진흥원), IDC(2012) 자료를 기반으로 KISTI 추정자료
경쟁제품 현황
경쟁사명
제품명
판매가격($US )
연 판매액($US millions )
IBM
IBM Smart Analytics System
( 견적에 따름 )
$1,352
EMC
EMC Greenplum
$70K/TB
$43
Oracle
Oracle Big data Appliance
-
$415
HP
Vertica
$100K/TB
$664
Splunk
Splunk
Teradata
Teradata Aster Data.
넥스알
넥스알 NDAP
그루터
그루터 BAAS
클라우데라
클라우데라
- 기업용 영구 라이센스: $6,000/ 500MB/day
- 연 단위 라이센스: $2,000/year
TB당 ９만９０００달러
초기 투자비가 10억원
(NDAP 7억원, x86서버 12대 3억원)
( 견적에 따름 )
$186
$432
2억6500만원
-
일정 노드 수 이상의 노드
구성시 유료
$61
(한국과학기술정보연구원(2013), <빅데이터 산업의 현황과 전망>
24/35
개발완료  시범 운용  최종 보완하여 완성도 높은 제품 출시
• 본사 거래 고객 사 및 협력업체(한국언론진흥재단, RAPA 시험 인증원 등)에 최종 개발된 시스템을 설치하여
시범 운용
• 시범 운용을 통해 디버깅 필요사항 Feedback하여 완성도 제고
• 제품의 사용자 Manual과 설치 Manual문서를 만들어 배포 준비
제품화 및 양산계획
• 수요기업의 납품요청 시 계약 후 개발(Customizing 포함)을 수행하고 개발완료 후 납품 시 H/W 및
S/W(CD) 설치, Documents, 매뉴얼 공급과 운용자 교육을 제공
• 최종 인수/검수 완료일로 부터 일정기간 무상하자보수 기간 제공(무상 기술 지원), 트러블 슈팅 등을
제공하여 신뢰성 있는 제품을 공급
25/35
사업화 전략
 기존 사업 분야
 국내 통신사업자(LGU+, SKT, 온세텔레콤 , CJ헬로비전)에 기 판로를 활용한 판매
 해외 협력 파트너를 활용한 서비스 형태로 판매 - Bigdata+보안모듈(SIEM Customizing 판매)
- 동남아 지역 : 홍콩 (PCCW), 싱가포르,인도네시아, 태국 등
- 미주 지역 IDC 및 Game업체
 신규 사업 분야
 한국 언론 진흥 재단
- NewsML 분석 데모 시스템 구축 완료
 한국 전파 진흥 협회
- 시험 인증 데이터 베이스 분석 시스템 구축 예정
 전력, 플랜트 산업분야
- 한전 KDN 전력연구원과 SCADA전력 데이터 분석용 빅데이터 시스템 개발 과제 추진 중
- 개발 후 한전에 공급 판매
26/35
무선사업자(LG U+, SKT) 가입자 성향 분석 및 추천 시스템
Data(web, ftp, streaming, …)
Cache Server
MME
S-GW
Data(web, ftp, streaming, …)
Cache Server
P-GW
해외
network
e-nodeB
데이터 흐름
논리적 연결
Data 수집 분석
추천서비스 제공
(소비자패턴분석 마케팅활
용)
 LTE 망의 Mobile Cache 시스템 벤더(㈜아라기술)와 연계(상호협력 협정체결, 2014.01)
 각종 다양한 가입자 정보, 이용 정보 등을 이용하여 가입자 성향 분석 및 추천 시스템에 활용
 운영부서 및 마케팅 부서와 연계하여 서비스 모델 검토 중
27/35
보안 장비의 DB / 분석 모듈 국산화 및 보안 관제 서비스 수출
Anywhere
Anytime
Security
Administrator
.
.
.
Any device
보안장비 DB및 분석 모듈
• Traffic Monitoring
• Packet Inspection
• DDos Detection
• Event Analysis
고가
DB
SIEM Server
미주 IDC 및
게임업체,
동남아지역
PC
.
.
.
mobile
IODAS로 대체
phone
타사 분석기
타사 수집기
 본사 협력사인 국내 보안장비제조사(CQCLOUD사)의 미주 영업망을 활용하여 IDC및 GAME업체에
IODAS를 탑재하여 장비 판매
 동남아 지역은 본사 협력사 판매라인을 활용하여 수출(PCCW, 인도네시아 등)
28/35
한국언론진흥재단(KPF) 뉴스 연관 분석 및 분류 시스템
 한국 언론 진흥 재단 기사 검색 데모 시스템 구축(2014. 4)
 NewsML 데이터 자동 Indexing 및 연관분석을 통한 기사 분류서비스 개발을 위하여
MOU 체결 준비 중
29/35
전파진흥협회(RAPA) 인증DB 검색 및 컨설팅 시스템
 “시험인증DB를 활용한 빅데이터 시스템 공동사업협력 양해각서” 체결(2014.1.17)
 국내외 적용 규격 DB 검색 서비스 제공
 맞춤형 인증 컨설팅 서비스(설계부터 인증까지 원스톱 서비스)
30/35