Transcript TestOne Mobile_소개(20131113)

그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
스마트폰 앱 기능 테스트
솔루션
TestOne Mobile 소개
2013. 11. 13
1
1. TestOne Mobile - 개요
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Mobile은 다양한 스마트폰의 앱을 한번의 테스트스크립트 레코딩을 통해 여러
디바이스에 테스트를 손쉽게 수행할 수 있는 테스트 자동화 솔루션
■ 다양한 Multi Device에 대한 품질관리 및 App 퀄리티 향상에 큰 도움을 주며 특히 반복업무를 자동화
함으로서 작업시간의 단축화가 가능
문제
기존 모바일 앱 테스팅의 문제
서비스 품질향상
1. 스마트폰의 다양한 해상도, OS, 버전, 벤더 디바이스에 대한 테스트 어려움
2. 수작업 테스트에 의한 생산성 및 테스트 품질 저하
3. 앱 업데이트 시 기존 테스트 영역에 대한 리그레션 테스트가 어려움
4. 빠르고 다양한 디바이스 출시에 따른 적절한 테스트 어려움
5. 수작업으로 테스트 할 수 없는 부분(장시간테스트, 부하테스트 등)이 많음
해법
TestOne Mobile 도입
1. 한번의 테스트 레코딩으로 모든 디바이스에 대한 테스트 가능
2. 앱 변경, 디바이스 하드웨어, 구성 등의 변경에 따른 자동 리그레션 테스트
3. 동시에 다수의 단말 테스트 실행으로 테스팅 수행시간 대폭 절감
인력, 비용, 시간 절감
4. 새로운 디바이스에 대한 빠른 품질 점검
5. 수작업으로 불가능한 장시간테스트, 부하테스트, 복잡한 구성변경테스트 등 가능
6. 테스트 인력 절감
2
그리드 테스팅 제안서
2. TestOne Mobile - 구성요약
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Mobile 솔루션은 각 Device 연결부의 Gateway, Script 작성 관리의 Controller, 테스트 내역
및 결과를 관리하는 Manager(통합 관리자)로 구성되어 있습니다.
TestOne Mobile 구성도
Controller
Gateway
Gateway
 공동 WI-FI 망에 연결 된
각 Device 별 APP 구동 및 동작
Controller
Manager(관리자)
Controller
Manager
 사용자 동작 체크 후 Test Script
자동생성 및 편집, 관리 기능
 Test 진척 및 결과 통합 관리용
Manager로 직관적인 프로젝트
관리, 유지 보수 가능.
3
3. TestOne Mobile – 구성(Gateway)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ Gateway는 디바이스의 연결을 관리하고 컨트롤러의 명령을 디바이스에 전달하고 결과를 받는 역할을
수행하며, 다양한 OS, 디바이스의 지원 확장성을 위해 개별 Worker에 의해 구동됩니다.
각 OS 전용 Worker의 분산 데이터를
취합 후 Manager용 데이터 변환 및 취합.
+
iOS Worker
신규 OS 지원
Worker 지속 추가 가능.
Android Worker
App 소스 변경 없이
바로 지원 가능.
Device
Worker
Master
 USB 및 WI-FI 연결 지원
 단일 WI-FI를 통한 Device 관리
 Worker에서 전송된 데이터 취합
 Rooting, 탈옥, 하드웨어 변경
 Device 리스트 관리
 Manager 용 데이터 변환 및 전송
추가 없이 테스트 지원
 Device와 Master 간 데이터 연동
 현재 Android, iOS 지원
4
3. TestOne Mobile – 구성(Controller)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ 컨트롤러는 연결된 디바이스를 통해 테스트 스크립트를 자동으로 레코딩하고 편집, 디버깅, 테스트 실행,
테스트 수행 제어, 디바이스 관리 등을 수행합니다.
1. Device H/W Control Bar
3. Test Script 생성
①
Home, Back, Menu 등
물리 컨트롤 영역 버튼으
로 제어 가능.
③
Device 직접 동작을 통한
자동 생성 Script
(직접 수정 가능)
②
2. Device 화면 출력
현재 Test 화면 출력 영역
4. Device 리스트
④
5
현재 Worker와 연결 된
Device 현황
3. TestOne Mobile – 구성(테스트 매니저)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ 테스트 매니저는 프로젝트 생성 관리, 스크립트 작성 관리, 테스트케이스 관리, 테스트 계획수립 등
테스트 수행 준비를 지원하며 테스트 실행 모니터링, 테스트 결과 분석 레포트를 생성합니다.
1. Project (프로젝트)
■ Project 생성 / 삭제
■ Project별 개별 관리 가능
4. Plan (계획)
■ Test를 위한 계획 설계 가능
■ Script, Case를 취합 후 계획 관리 가능
2. Script (스크립트)
■ Script 생성 / 수정 가능
■ Script 등록 가능
■ Script 검색 가능
3. Test Case (테스트 케이스)
■ Script를 기반으로 한 Case 제작 가능
■ Project별 Test Case 관리
6. Result (결과)
5. Run (실행)
■ 실시간 Script Test 진행
■ 결과 분석 및 실패 Case 재 검토
■ Test 과정 Log 저장 및 실시간 모니터링
6
4. TestOne Mobile 클라우드서비스-개요
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Mobile 클라우드 서비스는 테스터가 인터넷을 통해 기 구축된 스마트 디바이스 클라우드 장비
를 사용하여 자동으로 테스트할 수 있도록 디바이스 클라우드 자원과 테스트 솔루션을 제공하는 서비스
디바이스 클라우드
디바이스
테스트
스크립트
수행
서버 클라우드
3. 원하는 멀티 디바이스 선택
TestOne
Mobile
클라우드
테스트
데이터
Internet
모바일 앱 개발자, 테스터
모바일 디바이스 서비스 클라우드
7
4. TestOne Mobile 클라우드서비스-방법(1)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Recorder(Controller)를 사용하여 로컬 디바이스나 원격 클라우드 디바이스를 사용하여
테스트 스크립트를 레코딩
1. 레코딩 디바이스 선택
4. 스크립트 자동생성
2. 레코딩 시작 버튼
3.테스트 대상 앱에 대한
테스트 시나리오 순서로
유저액션 기록
5. 필요시 스크립트 편집,코딩
8
4. TestOne Mobile 클라우드서비스-방법(2)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ 테스트시나리오, 테스트스크립트를 활용해 테스트 계획을 작성한다.
테스트 디바이스 테스트케이스, 스크립트 지정하여 수행한다
1. 테스트계획 생성
2. 테스트 디바이스 선택
4. 테스트 수행
3. 테스트케이스, 스크립트 선택
9
4. TestOne Mobile 클라우드서비스-방법(3)
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ 수행된 테스트에 대한 결과 레포트를 생성한다
수행 상태, 횟수, 디바이스별 결과, 진척율, 수행결과,수행로그 등 상세 레포트를 생성한다
1. 실행단위별 결과
3. 수행결과 로그 / 화면캡쳐
2. 테스트케이스별 결과
10
5. TestOne Mobile 앱 성능 테스트 & 튜닝
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ 테스트 수행 시 앱의 상세 수행 성능을 측정하고 성능 병목지점을 찾아 튜닝을 수행 할 수 있습니다.
UI Time
System
Method Time
App Method
Time
Thread Time
Network TIme
11
그리드 테스팅 제안서
6. 차별화 – Script 작성
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Mobile 솔루션은 하나의 스크립트로 모든 디바이스 및 해상도 적용기능을 제공합니다.
As-Is
쉽고 편리한
Script 생성
One Script,
Multi Device
To-Be
Disutility Performance
Efficient Performance
하나의 Test를 위한 Script 수동 작성
동작 한번으로 해당 Script 자동 생성
One Script, One Device
One Script, Multi Device
각 Device를 위한 개별 Test Case
하나의 Script로 모든 Device 및 멀티
및 Script 제작 및 적용 (1:1)
해상도 지원 (1:N)
12
6. 차별화 – One Script, Multi-Test
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
■ TestOne Mobile 솔루션은 PC에 연결할 필요 없이 어느 장소에서든 동일 WI-FI로 Test Device가
연결되어 있다면 어떠한 Device라도 각 OS Worker를 통해 Multi Test가 가능 합니다.
현재 Test 환경
TestOne Mobile 솔루션
Worker
1대의 PC에 1대의 Device를 USB 연결
Test Device 수가 많을 경우 업무효율반감
WI-FI를 통해 다수의 Device 연결
H/W의 물리적 한계를 벗어날수 있으며
Test를 위한 시간 단축 가능.
13
그리드 테스팅 제안서
6. 차별화 – 타사 경쟁력 비교
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
서비스 및 솔루션 제공 방식
구분
TestOne Mobile
Keynote
O
O
실제 모바일 장치(스마트폰)에서의 원격
자동(스크립트) 테스트 서비스
O
O
단독 솔루션 제공(사이트 라이선스)
O
X
탈옥, 소스변경, H/W개조 등 불필요
O
X
웹 기반 서비스 테스트
O
O
앱 기반 서비스 테스트
O
O
앱 웹(하이브리드) 서비스 테스트
O
O
24X7서비스(성능, 기능장애) 모니터링
O
O
클라우드 On-Demand 디바이스 테스트
O
O
사용자의 디바이스 테스트
O
X
멀티 디바이스 동시 테스트
O
O
실제 모바일 장치(스마트폰)에서의 원격
메뉴얼 테스트 서비스
비
고
TestOne은 클라우드
구축 중
14
그리드 테스팅 제안서
6. 차별화 – 타사 경쟁력 비교
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
자동 테스트 방식
구분
TestOne Mobile
Keynote
O(어플)
O(웹)
테스트 스크립트 편집(코딩수준)
O
O
테스트결과 자동 판단(체크포인트)
O
O
비표준 커스텀 컴포넌트 처리
O
X
OCR 텍스트 결과 검증
O
X
테스트 케이스 시나리오 구성 관리
O
O
테스트 진행(커버리지) 모니터링
O
O
테스트 플랜(스케줄) 설정
O
O
반복회귀 테스트(Regression Test)
O
O
테스트 스크립트 레코딩 방식
테스트 결과 자동 레포트
지원 OS
비
고
TestOne은 C# 스크립팅
지원
TestOne은 자동 레포트
를 사용자가 커스터마이
징 가능
O
O
Android, iOS
Android, iOS
Window, Blackberry
15
TestOne은 Blackberry,
Window 추가 중
6. 차별화 - TestOne 특징 및 장단점 분석
특징
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
TestOne
 One Recording, Multi Device Testing기술을 기반으로 하며, 솔루션 우선으로 개발
Keynote
 디바이스 클라우드를 기반으로 on-demand device 테스트를 기반으로 서비스 제공
장단점
솔루션
장
점
한번의 스크립팅으로 복수의 디바이스에 대한 자동테스트
단
점
Window, Blackberry 개발 중
솔루션으로 제공되어 사용자 사이트의 보유 디바이스에
대한 테스트 가능
디바이스 클라우드 서비스 기능 보유
TestOne
기존 윈도우 기반의 UI 테스트 수준의 테스트 기능 제공
UI 및 서버전문 테스트(TestOne), 성능부하테스트(PerfOne),
사용자 경험기반 서비스품질모니터링(WatchOne) 기술 및
솔루션 보유
게임 등 그래픽 이미지 기반 앱 테스트 가능
Keynote
디바이스 클라우드에 의한 On-demand 디바이스 테스트
서비스 제공
서비스로 만 제공
솔루션 제공이 없음
HTML5 등 표준 환경의 테스트 자동화
비표준 환경, 그래픽 기반 게임 등에
대한 테스트 어려움
16
7. 도입효과
그리드 테스팅 제안서
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
TestOne Mobile 솔루션을 도입함으로 기존과 동일한 공수 대비 테스트 생산성 향상,
서비스 품질 개선, 표준화된 테스트 절차, 높은 원가절감이 가능 함.
테스트 생산성향상
1.
TestOne 솔루션 적용으로 인한
단순 반복업무 자동처리
2.
효율적인 시간관리 가능
1.
규격화 된 Test Case로
2.
서비스 품질개선
1. 누적된 Script DB를 활용한
Test의 견고함 증가
2. Application 완성도 향상
Test의 누락률 감소
1. 테스트 공수 감소
통합 테스트 시 오류에 대한
2. 개발 유지 보수 시 원가 절감
간편 재구현 가능
표준화된 테스트절차
원가절감(개발, 운용)
17
그리드 테스팅 제안서
8. 회사소개
스마트폰 앱 기능테스트 솔루션 TestOne Mobile 소개
▣ 일반 사항
회
사
사 업
명
분 야
주
소
전 화
주식회사 그리드원
대
표
자
김 계 관 (金 桂 寬)
테스트 솔루션 개발 제공, 그리드 클라우드 솔루션 개발 및 서비스 제공
본사 : 대전시 중구 대흥동 90-6
부설연구소 : 서울시 양천구 목동 923-14 드림타워 1018호
번 호
042-534-2201,
02-830-8850
FAX 번호
홈 페 이 지
http://www.gridone.co.kr
회사 설립년도
2005년 3월 24일
042-534-2022
▣지적 재산권
No.
등록번호
특허명
1
제 0551452 호
서버의 응용프로그램 성능을 시험하기 위한 그리드 컴퓨팅 시스템
2
제 0551454 호
서버의 응용프로그램 성능을 시험하기 위한 그리드 컴퓨팅제어 방법 및 그 서비스 방법
3
제 10-1065355 호
통신단말의 원격 진단을 수행하는 단말 장치, 단말 관리서버 및 원격 진단 방법
▣인증
1
행정 소프트웨어 인증 (2010)
18