TestOne_소개자료(20131111)
Download
Report
Transcript TestOne_소개자료(20131111)
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
UI 기능 테스트 자동화툴
TestOne 소개
2013. 11
1
그리드 테스팅 제안서
1. TestOne - 개요
UI 기능 테스트 자동화툴 TestOne 소개
UI 기반 웹 애플리케이션 및 클라이언트 프로그램의 기능테스트를 간단히 레코딩, 기능 수행 및 결과 검증
을 자동으로 수행하여 어플리케이션 및 서비스의 오류를 검출하고, 반복 테스트를 자동화하여 지속적으로
품질을 개선하도록 지원하는 솔루션입니다.
01
현재 기능테스트의 문제
1. 반복 테스트를 수작업 수행하여 생산성 저하 및 오류 반복
2. 잦은 변경 및 기능추가에 따른 반복(회기) 테스트 비용
(인건비)증가 및 테스트 누락으로 인한 결함증가
3. 다양한 국내외 UI 환경에 대한 자동테스트 환경 부족
인력, 비용, 시간 낭비
02
기능 테스트 자동화 도입
1. 자동 테스트 수행으로 생산성 향상(비용절감)
2. 정확한 테스트 수행으로 오류 검출 기회 증가
3. 자동화된 오류관리로 어플리케이션 품질향상
2
그리드 테스팅 제안서
2. TestOne - 구성
UI 기능 테스트 자동화툴 TestOne 소개
TestOne 솔루션은 테스트 레코더, 플레이어, 매니저로 구성되어 있습니다.
TestOne 구성도
Controller
Recorder
Recorder
테스트 프로그램에 대한 UI 액션
레코딩
Controller
Manager(관리자)
Player
Manager
테스트 실행(시나리오 구성 및 제어)
Test 진척 및 결과 통합 관리용
테스트 모니터링
Manager로 직관적인 프로젝트
테스트 스크립트 생성 및 편집
반복(리그레션)테스트 수행
관리, 유지 보수 가능.
테스트데이터 바인딩
예약실행
3
3. 주요 기능 및 특징 –
테스트 컴포넌트 인식
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
UI 테스트 컴포넌트는 사용자의 입력을 받아 처리하는 일반적인 서비스의 화면으로 부터, 사용자의 입력
을 받고 서버로 부터 처리 결과를 화면에 표현하는 과정을 레코더에 의해 기록(recording)한 후,
테스트데이터를 연계하여 자동으로 테스트케이스를 수행(replay)하고
결과를 검증(comparison)하는 시스템으로서,
사용자의 입력을 최소화 하기 위해 테스트 대상의 객체인식, 이미지 패턴 인식, 이미지 OCR 인식, 텍스트
인식 등의 다양한 방법을 사용하여 UI 테스트 자동화율을 향상 시킵니다.
UI 테스트 컴포넌트
타 제품의 scripting 방식과의 차별점
• UI 테스트 컴포넌트의 자동화 여부 중 중요한 부분은 결과의 검증 으로 전문 테스트케이스 중에 ‘DB사전
이미지’와 ‘예상 값’ 데이터를 이용하여 검증(comparison) 할 수 있으며,
• 일반 Text 뿐 아니라 이미지로 표현되는 텍스트나 3rd Party 커스텀 컨트롤 등에 표현되는 결과값을 OCR
을 이용하여 검증(comparison)할 수 있어 다양한 환경에서 자동화가 가능합니다.
• 플래시, 플렉스, X-Internet 등 다양한 RIA 환경에서도 자동화가 가능하며 필요한 경우 커스터마이징을
동반 할 수 있습니다.
• 사용자의 편의를 위한 환경으로 Test Manager System과 같은 웹 서비스 형태의 통합이 가능합니다. 따
라서, 단일한 유저 인터페이스와 통합인증 등 처리 프로세스를 통일 하므로써 사용자의 편의성과 테스트
생산성이 향상됩니다.
• 사용자의 테스트 생산성 향상을 위하여 화면에서 입력한 테스트 데이터의 재현 기능을 제공 하므로서
다양한 테스트 데이터 입력 생산성을 획기적으로 향상 시킵니다.
• 화면 테스트 시에 발생된 오류의 재현 기능을 통하여 개발자가 정확하게 수정 및 조치 할 수 있게 함으
로서 개발생산성 및 품질 향상에 기여합니다.
4
3. 주요 기능 및 특징-
스크립트 자동생성/유지보수
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
■ 스크립트 자동생성/유지보수 - 화면 레코딩 방식의 테스트 스크립트 자동생성
사용자가 UI 화면을 실제 사용 시나리오와 동일하게 수행하면 자동으로 테스트 스크립트가 생성됩니다.
완전한 스크립트 생성 자동화를 위해 화면의 객체인식, 이미지 패턴매칭, 이미지 OCR, 텍스트 인식 등의
다양한 방법을 사용하여 거의 모든 테스트케이스를 자동으로 생성합니다. 인식된 객체는 화면의 디자인
변경, 수정 시 일일이 재 레코딩 하지 않도록 하며, 객체에 할당된 비교 검증을 동일하게 수행하여 테스트
스크립트 작성의 생산성을 높여 줍니다. 테스트 스크립트 레코딩 엔진은 다양한 GUI 방식(웹, Win32
control, 플래시, X-Internet, ActiveX 등)을 인식하여 레코딩할 수 있습니다.
단말 화면 레코딩 방식의 테스트 케이스 생성 – 테스트 케이스 및 테스트 데이터 자동 생성
1
4
텍스트 개체
인식
리스트객체
인식
2
이미지패턴
인식
3
이미지OCR
인식
5
3. 주요 기능 및 특징-
자동/수동 선택 테스트 수행
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
테스트의 수행은 기록된 테스트 케이스(스크립트) 별로 일괄 자동 수행하거나 수동으로 직접입력을 통해
수행할 수 있으며,
필요에 따라 일부 데이터는 자동으로 입력하고 나머지 필드는 수동으로 입력하는 것과 같은 반자동 수행
기능을 제공합니다.
수행 중 필요한 위치에서 수행을 중단할 수 있는 브레이크 포인트(Break-Point)를 제공해 자유롭게 수행
중단위치를 지정할 수 있습니다.
브레이크 포인트 삽입에 의한 자동 및 수동 입력 테스트 수행
1
2
3
체크포인트
삽입
자동 테스트
수행에 의한
입력
일시중단
4
수동 입력
6
3. 주요 기능 및 특징-
테스트데이터 바인딩(1)
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
사용자의 화면입력 및 거래흐름에 따른 시나리오 레코딩에 의해 자동으로 테스트케이스를 생성하며, 생성
된 테스트케이스의 검증을 위한 예상값 설정 등을 손쉽게 할 수 있습니다.
입력값의 생성은 시나리오 레코딩 시 기록된(captured) 데이터를 사용하거나 엑셀/텍스트 파일 등으로 부
터 대량으로 입력/출력예상값을 지정 사용할 수 있습니다.
테스트 케이스 및 테스트 데이터 자동 생성 – 스크립트 테스트 케이스 생성
테스트케이스 생성을 위한 시나리오 레코딩 시작
테스트케이스 검증 예상값 설정
테스트 스크립트 자동 생성
1
2
시나리오
레코딩
테스트스크립트
자동생성
7
3. 주요 기능 및 특징-
그리드 테스팅 제안서
테스트데이터 바인딩(2)
UI 기능 테스트 자동화툴 TestOne 소개
화면 테스트에서 사용되는 테스트 데이터는 전문처리에 의한 대량 테스트 데이터를 연동하여 실제 화면
테스트 데이터로 사용할 수 있습니다.
화면 테스트와 전문테스트의 테스트 데이터 연동
3
입력필드
스크립트
5
치환된 테스트
데이터
2
화면 입력 필드
4
입력필드
테스트데이터
치환
<xml>
<master>
<field>UserID</field>
<field>Passwd</field>
……
</master>
<data>
<UserID>ID001</UserID>
<UserID>ID002</UserID>
………………….
</xml>
테스트 대상
서비스 시스템
1
Test Data
Repository
테스트데이터
8
3. 주요 기능 및 특징-
스크립트 변경 유지보수
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
테스트 스크립트 수행(Action) 엔진은 인식된 개체(웹, 플레시, X-Internet, ActiveX 등)에 대해 구별하고, 개
체에 대한 수행 메시지를 전달 수행하므로 디자인 변경(개체의 위치 변경, 사이즈 변경, 이름 변경) 등과 같
은 수정 변경과 관계없이 개체를 인식합니다.
따라서, 단말화면 변경시 단순 디자인변경 등에는 테스트 케이스를 수정할 필요가 없으며, 추가되는 입력
컨트롤이나 검증값에 대해서만 수정하면 되므로 스크립트 수정을 최소화할 수 있습니다.
단말화면 변경시 테스트 스크립트 수정방안
개체 및 변수의 디자
인 변경에 무관하게
예상값, 결과 값과
연결하여 비교
디자인 변경에
따른 위치 변경
9
3. 주요 기능 및 특징-
테스트결과 검증
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
자동으로 수행되는 UI 테스트는 수행결과를 Pass/Fail로 구분하여 결과를 산출하며, 스크립트 내의
비교검증 단위로 Pass/Fail로 구분하므로 해당 화면의 특정 필드 또는 위치를 정확히 식별할 수 있습니다.
또한, Fail된 테스트 케이스에 대한 결함내역이 화면(Fail 시스크린캡쳐)으로 기록되어 있어 상세 Fail 내역을
조회할 수 있습니다.
테스트 전후 화면 이미지 결함 식별(UI)
테스트 수행 결과
테스트 수행 결과 화면(결과값이 잘못된 결과화면 캡쳐)
10
3. 주요 기능 및 특징- 검증 포인트 지정
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
사용자의 화면입력 및 거래흐름에 따른 시나리오 레코딩 시에 비교 검증을 위한 스크립트를 추가할 수 있
으며, 생성된 테스트케이스의 비교 검증을 위한 예상값 설정, 비교 선택 등을 손쉽게 할 수 있습니다.
실제로 수행된 테스트 결과에서 예상값 비교에 의해 최종 테스트결과의 Pass/Fail을 결정할 수 있습니다.
테스트케이스 결과 비교
1
2
시나리오
레코딩 시
결과비교 버튼
으로 자동 삽입
3
결과비교검증
을 위한
예상값 설정
11
테스트 수행후
예상값과 결과
값 비교에 의한
Pass/Fail 결정
3. 주요 기능 및 특징- 멀티 브라우저 & OS 지원
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
하나의 브라우저에서 레코딩된 스크립트를 다른 브라우저에서 테스트를 수행할 수 있습니다.
또한, 윈도우 뿐만 아니라, 맥 OS, 리눅스, 등 다양한 OS에서도 다양한 브라우저별로 테스트가 가능합니다.
따라서, 일일이 서로 다른 브라우저, OS에 대해 수행하는 수작업 테스트의 생산성 문제를 해결할 수 있습니
다.
멀티 브라우저, OS 레코딩 & 플레이
IE 윈도우
브라우저에서
스크립트
레코딩
다른 브라우저
에서
테스트
다른 OS에서
테스트
12
3. 주요 기능 및 특징- 테스트 통합 관리
1. Project (프로젝트)
■ Project 생성 / 삭제
■ Project별 개별 관리 가능
4. Plan (계획)
■ Test를 위한 계획 설계 가능
■ Script, Case를 취합 후 계획 관리 가능
2. Script (스크립트)
■ Script 생성 / 수정 가능
■ Script 등록 가능
■ Script 검색 가능
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
3. Test Case (테스트 케이스)
■ Script를 기반으로 한 Case 제작 가능
■ Project별 Test Case 관리
6. Result (결과)
5. Run (실행)
■ 실시간 Script Test 진행
■ 결과 분석 및 실패 Case 재 검토
■ Test 과정 중 생기는 Log 저장
■ 레포트 생성
■ 수행 과정 모니터링
13
그리드 테스팅 제안서
4. 차별화 – 타사 경쟁력 비교
구분
UI 기능 테스트 자동화툴 TestOne 소개
TestOne
제품 Q
제품 R
자동 레코딩
O
O
O
좌표기반지원
O
O
O
이미지인식지원
O
O
O
Component인식지원
O
O
O
플렉스 등 외산 RIA 지원
O
O
O
X-Platform 등 국산 RIA 지원
O
X
X
프로그램 변경시 유지보수 편의성
O
△
△
전문 데이터 바인딩
O
O
X
원격 App 설치지원
O
O
O
Test Data 교체 Test
O
O
O
국내의 RIA UI 환경에서 완벽한 지원이 가능하며, 대량 데이터 바인딩,
테스트 스크립트 재사용에 의한 유지보수성 우수
13
14
그리드 테스팅 제안서
5. 도입효과
UI 기능 테스트 자동화툴 TestOne 소개
TestOne 솔루션을 도입함으로 기존과 동일한 공수 대비 테스트 생산성 향상, 서비스 품질 개선, 표준화
된 테스트 절차 적용, 원가절감이 가능 함.
테스트 생산성향상
1.
서비스 품질개선
TestOne 솔루션 적용으로 인한
1. 누적된 Script DB를 활용한
단순 반복업무 자동처리
2.
효율적인 시간관리 가능
1.
규격화 된 Test Case로
2.
Test의 견고함 증가
2. Application 의 완성도향상
Test의 누락률 감소
1. 테스트 공수 감소
통합 테스트 시 오류에 대한
2. 개발 유지 보수 시 원가 절감
간편 재구현 가능
표준화된 테스트절차
원가절감(개발, 운용)
14
15
5. 주요 고객
그리드 테스팅 제안서
UI 기능 테스트 자동화툴 TestOne 소개
16