Transcript 1차 사용성 평가 - wowideas.co.kr

서비스 융합형 디자인 컨설팅 지원기술 개발사업
3차년도(2013-2014) 수행
온라인 서비스디자인 플랫폼을 위한
사용성 평가 모델 개발
2014-03-13
목차
Ⅰ. 사용성 평가의 이해
사용성 평가의 개념과 항목 개발
2. 사용성 평가 측정
3. 사용성 평가 유형과 방법
4. 사용성 평가 프로세스
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
1. 1차 평가 (분석적 평가: 휴리스틱 평가)
1.1 목적
1.2 시기
1.3 장소
1.4 평가자
1.5 평가대상
1.6 평가방법/절차
1.7 평가항목
2. 2차 평가 (실증적 평가: Usability Test)
1.1 목적
1.2 시기
1.3 장소
1.4 평가자
1.5 평가대상
1.6 평가방법/절차
1.7 평가항목
3차년도(2013-2014) 연구수행을 위한 연구체계
사용성 평가에 대한 이해
사용성 평가 관련 문헌(표준,보고서) 조사
2013.10
11
사용성
평가방법
조사분석
사용성 평가 사례 비교 양식 제작
사용성 평가 사례 분석
사용성 평가 사례 선정 기준 도출
사용성 평가 사례 양식 대입 후 비교
방법
프로세스
척도-기준
사용성 평가 프로세스, 방법, 척도 비교, 분석
사용성 평가 절차, 방법, 기준 도출
사용성 평가 시스템 모형 가설
12
2014.1
2
3
Meeting point
사용성 평가
시스템 모형
설계
내부 검토 및 테스트
전문가 검증 - 델파이 기법
사용성 평가 시스템 모형 개선
전문가 선정 / 델파이 기법
전문가 검증에 따른 수정 개선
모형
완료
1차 사용성 평가 (전문가평가)
SD 온라인
플랫폼
웹사이트
평가
사용성 평가 계획수립
1차 평가 분석 / 2차 평가 준비
사용성 평가 테스트
검증 / 평가 / 개선 사항 분석 제시
2차 사용성 평가 (사용자평가)
2차 평가 분석
사용성 평가 결과 종합 제시
1차 사용성 평가 시스템 모형 완료
보고
서
제출
최종 사용성 평가 시스템 모형 제안
SD 사용성 평가 시스템으로서의 가능성 타진
2
사용성 평가 측정 수집 자료
사용성 평가 측정 척도는 실험을 통해 사용성 평가를 할 때 측정할 수 있는 척도들이며 이를 기준으로 실제 사용성이
어느 정도의 수준에 있는지를 판단할 수 있다. 구체적인 사용성 평가 척도는 다음과 같다..
작업수행시간
주시 패턴
수행 오류
사용 패턴
구두 프로토콜에
시각적 프로토콜에
의한
의한
언어정보
시각 정보
사용자 태도
인지적
복잡성 척도
2
사용성 평가 측정
작업수행시간
수행 오류
작업수행시간은 가장 일반적인 사용성 평가
사용자의 작업수행시의 오류는 가장 중요한
척도로 사용.
정보중의 하나임.
피험자가 주어진 작업을 완료하는데 소요된
오류를 분석함으로써 제품 또는 시스템에 존
시간, 오류를 해결하는데 소요된 시간, 도움말
재하는 문제점을 찾을 수 있음.
이나 설명서를 숙독하는데 걸리는 시간, 대상
사용자의 오류는 정량적, 정성적 정보 모두를
제품이나 시스템을 능숙하게 사용하는데 필요
제공할 수 있음.
한 학습시간, 에러에서 보낸 시간 등 다양한
형태로 나타남.
본 사용성 평가에서는 주어진 태스크를 완료하는데 소요된 시간
본 사용성 평가에서는 태스크 수행 시 오류의 종류와
(오류를 해결하는데 소요된 시간 포함)을 척도로 사용
발생 위치, 소요시간, 그리고 이를 통한 오류 빈도수를 측정.
2
사용성 평가 측정
구두 프로토콜에
시각적 프로토콜에
의한 언어정보
의한 시각 정보
구두 프로토콜은 사용자가 작업 중이나 작업 후에 말
한 내용을 기록한 내용으로서 작업 중에 취해진 것은
동시 프로토콜이라 하고 작업 후에 취해진 것은 회고
프로토콜이라 한다. 전자는 후자에 비해 사용자의 작
업과 시스템에 더 많은 정보를 제공하나 사용자의 행
시각적 프로토콜은 주로 비디오 카메라를 이
용하여 기록된다.
이러한 내용은 주로 정성적인 내용을 제공하
며, 사용자 행동의 해석에 도움을 준다.
동에 영향을 미친다는 단점을 가지고 있다. 구두 프로
토콜을 수집하기 위해서는 Thinking Aloud
Protocol 방법이나 Question-Asking Protocol 방법이
사용된다.
본 사용성 평가에서는 Thinking Aloud Protocol 방법을
사용하고 구두 프로토콜과 회고 프로토콜을 모두 수집
본 사용성 평가에서는 스크린 녹화 프로그램과 비디오 카메라를
사용하여 사용자의 태스크 수행 과정을 녹화하며 이를 수집한
다른 척도와 비교함으로 사용자 오류 등의 해석에 사용
2
사용성 평가 측정
주시 패턴
사용 패턴
시각적 주시패턴의 연구는 사용자의 시선이 스크린의
제품 또는 시스템의 프로토타입을 제작한 후
어디에 그리고 시간상 언제 고정되어 있는가를 보여주
사용자의 사용패턴을 연구함으로써 제품 또
는 단속적인 눈의 움직임에 관한 연구로서 사용자의
는 시스템의 어느 부분이 빈번히 사용되는지
시선 움직임을 파악하는데 도움을 준다.
를 평가하는 척도이다. 이러한 방법을 통해
이러한 주시패턴은 GUI적인 측면으로 화면에서 강조
어느 부분이 사용하기 쉬운지, 또는 어려운지
하고자 하는 부분이 사용자들에게 제대로 인지되고 있
그리고 어떠한 작업이 가능한지를 아는데 도
는가를 평가할 수도 있고, 사용자의 태도나 오류 등 다
움을 준다.
른 측정 척도들과 상호 비교하여 오류의 경우 그 정확
한 원인을 규명하고 또는 사용자에게 이끌어내고자 하
는 행동을 유도하도록 화면을 설계하는데 활용될 수도
있다.
본 사용성 평가에서는 크림박스의 아이트랙킹 장비를
이용하여 주시패턴을 수집 및 분석함.
본 사용성 평가에서 사용 패턴은 수집하지 않는다. 그러나
실험에 앞서 사용성 평가 운영자들이 실제 사용하여
사용패턴을 분석하는 것은 고려해 볼 수 있다.
2
사용성 평가 측정
사용자 태도
인지적 복잡성 척도
사용자에게 설문지나 인터뷰를 통해 사용자
디자인의 다양한 부분에서 인지적 복잡도 점
가 갖고 있는 심적 상태를 알 수 있다. 사용자
수를 계산함으로써 수행되는 정량적인 척도
의 심적 상태에 대한 척도는 주의 깊은 구성
이다.
과 검증이 필요하다.
본 사용성 평가에서는 사전 설문과 사후 설문을
진행하고 테스트 후 인터뷰를 병행하여 진행함.
본 사용성 평가에서는 인지적 복잡성 척도는 사용하지 않음.
이와 같은 사용성 평가 측정 척도는 사용성 평가 진행할 때 수집되며
이를 기준으로 실제 평가대상의 사용성이 어느 정도의 수준에 있는지를 판단하고
개선발전 방향을 제안하는데 기초자료로 사용된다.
3
사용성 평가 측정 척도
측정기법
작업수행시간
수집 방법
수행 방법
주어진 태스크를 완료하는데
1) Pass/Fail check
소요된 시간(오류를 해결하는
2) 수행시간 기록
데 소요된 시간 포함)을 스톱
워치로 측정
태스크 수행 시 오류의 종류와
수행 오류
발생 위치, 소요시간, 그리고
1) 오류 체크
문서
1) 작업 수행성공여부
및 수행시간 기록 용
지
1) 오류체크 용지
이를 통한 오류 빈도수를 측정
2) 피 실 험 자
공유 모니터
1) 피 실 험
자 공유 모
진행보조
(Time
keeper)
관찰자
위치
측정척도
성격
피실험자와 같
은 방에 위치
정량적
또는 관찰실
피실험자와
같은 방에
위치
정량적
정성적
관찰자
Aloud
1) 음성녹음
protocol
(수행오류
1) 특이사항 기록지
1) 비 디 오
카메라
측정 전과
정성적
후에)
2) 마이크
비디오 카메라를 이용, 화면과
3) 화면 녹
사용자의 제스쳐와 표정 등을
시각적 프로토콜
1) 스탑워치
인원
니터
Thinking
구두 프로토콜
장비
기록. 스크린 녹화 프로그램을
1) 화면 녹화
사용하여 사용자의 태스크 수
2) 사용장면 녹화
1) 특이사항 기록지
화 프로그
램
정성적
행 과정을 녹화
Eye
주시 패턴
Tracking
본 사용성 평가에서는 크림박
스의 아이트랙킹 장비를
이용하여 주시패턴을 수집 및
1) 아이 트랙킹에
1) 아이트렉킹 장비
서 시선 흐름 탑
2) 모니터
분석함
사용 패턴
정량적
Questionnai
사용자 태도
res
&
Interviews
인지적 복잡성 척도
정량적
(미정)
1) 설문 및
2) 인터뷰
1) 사전 설문지
2) 사후 설문지
정성적
3) 인터뷰 질문지
정량적
3
사용성 평가 측정 척도
사용성 평가 측정 척도는 사용성 평가 진행할 때 수집되며 이를 기준으로 실제 평가대상의 사용성이
어느 정도의 수준에 있는지를 판단하고 개선발전 방향을 제안하는데 기초자료로 사용된다.
작업수행시간
주어진 task의 완료 소요 시간 측정
수행 오류
오류의 종류와 발생 위치, 소요 시간, 오류 빈도수 측정
구두 프로토콜에
의한 언어정보
시각적 프로토콜에
의한 시각 정보
동시 프로토콜과 회고 프로토콜을 모두 수집
스크린 녹화 프로그램을 사용하여 태스크 수행 과정을 녹화
주시 패턴
주시 패턴
사용 패턴
사용 패턴
사용자 태도
사용자 태도
인지적 복잡성 척도
인지적 복잡성 척도
Ⅱ. 사용성 평가의 계획
( 온라인 서비스디자인 플랫폼 사용성 평가 계획 )
테스트 계획은 사용성 테스트를
어떻게, 언제, 어디서, 누구를 대상으로, 왜, 무엇을 할 것인지를 나타낸다.
1차
분석적 평가(휴리스틱 평가)
2차
실증적 평가(Usability Test)
사용성 평가 프로세스의 일반적 세부 계획
박성주. 모바일 컨텐츠 특성에 따른 사용성평가 프레임웍개발에 관한 연구. 인제대학교.
평가계획 작성
(준비단계)
평가 참여 모집
평가시행
준비:
평가실험실, 장비, 설문서, 과
업지시서, 자료, 수집기구등
을 준비하고 점검
• 평가목적을 명확히 수립
• 사용자 특성 파악
• 평가목표 제시 및 문제진술
• 사용자 특성에 따른 그룹화
• 사용자 프로파일 작성
• 평가참여자 인원수
( 인구통계학적/ 생활양식/
(그룹당 4~5명)
도입:
• 평가참여자를 모집
진행자소개, 참여사용자들이
학습방식)
• 평가기법 선택
참여하게된 배경, 장비소개,
• 평가참여 사용자 그룹을 구성
녹화사실고지, 평가절차 설명
• 태스크 선정
등 평가전 모등사항들을 이해여
• 평가환경 및 장비에 대한
부확인, 각종양식 작성
세부사항 결정
• 평가진행자의 역활 명시
• 평가진행에 필요한 자료수집
평가:
태스크 목록, 시나리오를 전달
시작시간가록, 사용자행위 관찰
평가 중 특이사항 기록
후기평가:
평가중 특정행동, 오류, 어려움
등 평가참여자에게 질문
평가결과 제시
• 자료의 편집및 요약
• 자료의 분석
• 제안사항 도출
• 최종보고서 작성
1.분석적 평가
1.6
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
평가방법/절차 :휴리스틱 평가 절차
전문가가 디자인을 면밀히 살펴보고 디자인 결과물이 사용성 체크 항목을
어긴 것이 있는지 파악한다.
평가 대상의 개발진행
목표 사용자의 특성
평가대상의 작업모형
휴리스틱 평가척도선정
평가자 선정
평가실시
결과
평가 결과의 보고
분석적 평가 방법 – 휴리스틱 검사 계획
계획수립
단계
① 평가 대상의 선정
1) 휴리스틱
검사법의
계획 수립
단계
평가자
선정단계
2) 평가자
선정단계
평가
실시
② 사용자 특성 파악
③ 평가 작업의 선정
④ 적정한 휴리스틱과 평
가 척도 선정하기
① 개별 평가 절차-전문가 평가-6
- 비교 제품 참조
- 새로운 제품에 대한 설계 기획서 참조
- 사용자의 학력이나 전문지식
- 기술적인 지식 및 이전 사용 경험
-평가를 진행하는 사람이 전반적인 목표 및 평가자가 실제
평가에서 따라야 할 시나리오를 미리 선정
- 제품의 특성상 중요한 휴리스틱을 선정
- 제품의 특성상 평가가 불가능한 평가 척도를 삭제
- 전체적으로 제품의 사용을 파악
- 실제로 구체적인 문제점을 확인
- 집단평가 회의 중에는 제품의 전반적인 특성에 대하여 토의
② 집단 평가 절차- 회의중 평가-4
- 개별 평가 절차에서 파악된 중요한 문제점들에 대해서 개선책을
토론
① 개별 평가 절차
3) 평가 실시
- 전체적으로 제품의 사용을 파악
- 실제로 구체적인 문제점을 확인
- 집단평가 회의 중에는 제품의 전반적인 특성에 대하여 토의
② 집단 평가 절차
- 개별 평가 절차에서 파악된 중요한 문제점들에 대해서 개선책을
토론
평가 결과
분석
- 평가자들이 평가를 수행하는 동안에 관찰자를 배석시키고,
평가자는 자신이 파악한 문제점을 관찰자에게 말로 알리면,
4) 평가 결과
① 개별 평가 결과의 정리
- 평가자가 관찰자 없이 평가에 임하고, 평가자가 끝난 다음에 그
분석
평가 결과
보고
결과를 본인 스스로 정리하여 제대로 된 보고서로 제출
② 평가 결과의 취합
① 평가 결과의 정리
5) 평가 결과
보고
관찰자가 이러한 사항들을 정리
- 중복되는 점은 제외하고, 비슷한 문제점은 하나의 문제점으로
통합
- 문제점 보고 양식을 기준으로 함
- 관련된 휴리스틱 별로, 또는 심각도 별로, 또는 추천되는 해결
② 평가 결과의 요약 자료
방안 별로 정리를 하여서 실제 시스템을 개발하는 부서에서
용도에 따라서 쉽게 볼 수 있도록 함
③ 최종 보고서의 작성
- 서론, 평가결과, 참고문헌
출처: 유재성 외 7인(2011), “고령친화제품 사용성 평가 체계 및 실행방안”, 한국보건산업진흥원 고령친화산업지원센터
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
1차 분석적 평가(휴리스틱 평가)
사용자를 참여시키지 않고 전문가들이 이미 만들어진 시스템이나
미래의 시스템을 평가하는 방법
•
1.1 목적
•
1.2 시기 :
1월 20일 내외
•
1.3 장소 :
서울과학기술대
•
1.4 평가자:
UI 전문가 3인
•
1.5 평가대상 :개발 중인 SD 플랫폼 웹사이트 와 목표사용자
•
1.6 평가방법/절차 :휴리스틱 평가 절차
•
1.7 평가항목 : 휴리스틱 체크리스트
1.분석적 평가
1.1
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
목적
주 사용자들이 균등하게 플랫폼을 쉽고, 빠르고, 만족스럽게 사용하고 이해하
는지를 전문가들이 평가한다.
소수의 전문가들이 앞으로 만들어질 시스템을 대상으로 이미 알려져있는 규칙과 평가척도
에 따라 만약 사용자들이 어떤 문제점을 가질수 있겠는냐 관점에서 평가 목적으로 한다.
플랫폼 구축이 진행되는 과정 사이사이에 사용성 평가 방법론을 적용시킴으로써
사용상의 작은 문제점을 파악하고 해결함으로써 구축 후의 생길 수 있는
큰 문제점을 줄일 수 있다.
1.2
시기 : 2014년 1월 20일 내외
2014년 3월
평가 체크리스트 완료
2014년 4월 초
평가 실시
2014년 4월 중순
평가 분석 및 보고서 작성
The DNA 개발과정에 따라 시기는 조절 될 수 있음.
1.분석적 평가
1.3
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
평가장소
서울과학기술대학교 5층 503호
!
1.4
평가자
HCI 및 UI 전문가 3인( 미정상태 )
해당 분야 전문가들이 이미 정해진 평가 척도에 따라 평가한다.
전문가의 자질에 따라 매우 유동적인 평가 결과가 나온다.
기존연구에서 2명정도의 HCI 전문가들이 65% 문제점을 파악할 수 있고,
실제 개발자일 경우 20%, 일반 사용자의 경우 10% 문제점을 파악할 수
있다.
1.분석적 평가
1.5
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
평가대상: 개발 중인 SD 플랫폼 웹사이트와 목표 사용자
a) 온라인 서비스디자인 플랫폼 관련자료 DNA 협조 요청
DNA
DNA
DNA
콘텐츠
구조
(IA)
스토리보드
(wireframe)
기타
자료
Seoul
tech
평가항목
및
평가모형
b) 목표 사용자 설정:
현재 개발중인 시스템의 사용자에 대한 특성을 파악한 후 평가자들에게 전달한다.
서비스에서 이해관계자의 사용자의 유형을 3그룹(전문가,중급자, 초보자)정도 나누어서
학력, 직업, 컴퓨터 활용능력, 인터넷 사용 경험들을 분석하여 특성에 반영한다.
A형
B형
C형
외부 내부 전문가
1
사용성 평가 지표 개발 - 영역 도출과정
적정한 휴리스틱과 평가 척도 선정하기
사용성평가 대상인 제품의 특성에 따라 사용성평가 방법 및 항목은 차이를 보일 수
있어서 사용성 평가 항목을 도출할 수 있는 사용성 및 특성 영역을 선정해야 한다.
평가대상 특성
사용성평가 개념
사용성평가
모형개발
1.분석적 평가
1.7
Ⅱ. 사용성 평가의 계획 (온라인 서비스디자인 플랫폼 사용성 평가 계획)
평가항목(척도) : 휴리스틱 영역
제품 또는 서비스를 사용자가 효과적으로 사용하는데 필요한 항목을 판단하기 위한
평가기준을 효과적으로 제시해야 함. 평가기준을 적절히 설정하는 것이 가장 중요한 부분임.
닐슨의 휴리스틱 평가방법을 적절히 사용할 경우 웹 사이트의 사용성 문제점의 약 80% 정도
를 찾아낼 수 있다.
제이콘 닐슨
의
휴리스틱
10가지
+
웹사이트
설계원칙
+
온라인
서비스디자인
플랫폼의
특성
휴리스틱 각 영역과 세부항목을 추출한 후 델파이 기법으로 평가대상의 관련성과 중요도 위주로
선정할 예정임.
서비스디자인컨설팅 플랫폼 위한 사용성 평가 모델 개발
델파이 목적
디자인 전문기업 및 디자인 활용기업이 서비스디자인 개발이 가능한 컨설팅 플랫폼을 위해,
전문가 사용성 평가를 실시하기 위한 평가 지표를 개발하는 것임.
연구문제
•
온라인 플랫폼의 사용성 평가를 할 수 있는 타당한 평가영역은 무엇인가?
•
온라인 플랫폼의 사용성 평가를 할 수 있는 타당한 평가요소는 무엇인가?
연구방법
델파이 방법을 통하여 평가영역과 평가요소를 설정한 후, 발견된 평가요소들을
전문가 사용성 평가방법인 휴리스틱을 실시함으로 타당성 및 사용성을 개선하기 위함.
1차 조사
문헌 고찰을 통해 추출된 사용성 평가 영역을 바탕으로 서비스디자인과 사용성 평가 관련
전문가를 상대로 조사실시. 평가영역의 타당성을 평정하고 이외의 의견을 적도록 함
1차 조사
델파이 패널로 선정된 9명의 전문가를 대상으로 델파이 조사를 실시하였다.
문헌 고찰을 통해 추출된 사용성 평가 영역을 바탕으로 전문가를 상대로 조사 실시하고
평가영역의 타당성을 평정하고 이외의 의견을 적도록 하였다 .
내용타당도 분석
(CVR: Content Validity Ratio)
CVR이란 전문가 패널을 대상으로 평가 지표의 내용타당성을 검증하는 방법으로
내용의 타당도는 Lawshe(1975)가 제시한 내용타당도 비율(content validity ratio)을
바탕으로 분석한다. CVR은 패널 수에 따라 최소값을 제시하고 있으며,
최소값 이상이 되었을 때 문항에 대한 내용타당도가 있는 것으로 판단된다.
CVR = (ne - n/2)
(n/2)
ne : 중요하다고 응답(5점 척도에서 4점과 5점)한
전문가 패널의 수
n : 전체 전문가 패널의 수
사용성 평가지표 조사내용 타당성 검증 결과
서비스디자인 컨설팅 플랫폼 사용성을 위한 타당성 영역은
4개의 영역( 유효성, 효율성, 사용의 용이성, 만족도) 으로 나타남.
유효성(효과성)
성취된 목적이 얼마만큼 인지, 성공한 과제가 어느 정도인지, 수행된 과제의
(effectiveness)
성취함을 평가한다.
효율성
(efficiency)
0.7
사용자가 과제를 수행할 때 걸리는 시간과 단계의 수를 고려하여 경제적으
로도 적은비용이 들고, 투입하는 노력의 양도 절감하면서 기대하는 목표를
1.0
성취하는지를 평가한다.
학습의 용이성
배우기 쉽고, 도움말, 매뉴얼 등을 통해 제품 기능 정보를 제공하여 학습이
(learnability)
용이한 지 여부를 평가한다.
기억의 용이성
일정시간 사용하지 않았을 경우, 학습하지 않아도 그 시스템을 사용할 수 있
(memorability)
도록 기억하기 쉬운지를 평가한다.
0.3
기능이나 사용방법이 간단하여 누구나 쉽게 사용할 수 있는지를 평가한다.
0.7
사용의 용이성
(Ease of use)
사용의 유연성
사용자의 사용 환경이나 선호 또는 능력에 따라 기능이나 사용방법을 선택
(Flexibility in Use)
할 수 있고, 조절할 수 있는지를 평가한다.
에러
사용자가 사용하는 동안 낮은 에러율을 가져야 하고, 에러를 범했을 경우에
(error)
도 쉽게 에러로부터 회복될 수 있는지를 평가한다.
조작성
한 화면 내에서 이동, 편집, 조작, 기록, 인쇄 등 메뉴 또는 기능버튼의 사용
(control)
이 편리한지 평가한다.
매력성
사용자가 콘텐츠 및 시스템에 대해 흥미를 유발시켜 주고 유지시켜 주는지
(appeal)
를 평가한다.
만족도
사용자가 사용할 때 주관적으로 만족하고 그것을 좋아하
(satisfaction)
도록 사용하기 좋은지를 파악한다.
사용자의 태도
사용상의 불편함, 피로함, 서비스의 만족도를 통해 사용상의 문제점을 파악
(Attitude of user)
한다.
0.5
0.1
0.3
0.5
-0.1
0.7
0.1
중요항목에 대한 전문가의 의견
복잡한 관계자와 프로젝트팀원이 참여하기 때문에 일정과 과제성취 중요하다.
유효성(효과성)
플랫폼을 사용한 목적을 성취하였는지에 대한 평가는 매우 중요하다고 생각됨. 그러나 그 목적을 어떠한 방식으
(effectiveness)
로 체크할 지가 관건임.
프로젝트의 목적이나 성과 달성, 정확도가 우선일 것 같다.
다수의 사용자와 서비스디자인의 난점을 해결하는데 필수적 임.
효율성
결과적으로 효율성은 학습의 용이성과 기억의 용이성, 사용의 용이성, 조작성, 적은 에러 등이 합쳐져서 이루어진
(efficiency)
다고 생각됩니다. 따라서 이상의 용이성 등은 효율성의 하위 지표로 들어가면 어떨까 생각해 봅니다.
프로젝트 수행을 위해서 단계를 최대한 줄이는 것도 중요하다. 단 조작성과 비교하여 목적이나 목표를 위해서 비
중을 어디에 둘지 고민
다양한 이해관계자와 프로젝트 참여자의 배려
사용의 용이성
(Ease of use)
다양한 이해관계자가 사용할 것이기 때문에 사용의 용이성은 매우 중요하다고 생각됨.
여러 사람이 동등하게 사용하기 쉬워야 한다.
만족도
(satisfaction)
주관적 만족도는 상대적으로 필요성이 떨어짐
매력성, 사용자의 태도 등 심미적이고 감성적인 항목을 포괄할 수 있을 것 같음.
유효성 영역
서비스디자인 컨설팅 플랫폼을 통해 공동작업자(이해관계자)와 함께
프로젝트 일정에 맞게 결과물 및 과제가 잘 수행되는지를 평가할 수 있는
요소나 기능 등을 제시한다.
효율성 영역
서비스디자인 컨설팅 플랫폼을 통해 개인 또는 공동작업자(이해관계자)가
수행되는 과정에서 적은 시간과 단계의 수를 고려하여 진행될 수 있는
구조, 요소, 조작기능 등을 제시한다.
사용의 용이성 영역
서비스디자인 컨설팅 플랫폼을 통해 다양한 이해관계자와 프로젝트 참여자를
배려하기 위해 쉽고 간편하게 진행될 수 있는 구조, 요소, 조작기능 등을 제시한다.
만족도 영역
서비스디자인 컨설팅 플랫폼을 통해 개인 또는 공동작업자(이해관계자)가
수행과정과 수행결과가 주관적으로 만족할 수 있는 구조, 요소, 조작기능 등을
제시한다.
2차 조사
1 차조사에서 선별된 사용성 평가 영역을 바탕으로 각 영역에 대한 평가대상의 세부항목
을 도출 후 전문가를 상대로 조사실시.
커뮤니티
Social+ project
유효성(효과성)
홈페이지
Website
(effectiveness)
효율성
(efficiency)
사용의 용이성
(Ease of use)
사용성
요소
평가대상의
본질적 요소
작업-목적
Service design
행위.특징
Co-creation
만족도
(satisfaction)
방장-회원
Stakeholders
4. 실증적 평가(Usability Test)
사용자가 직접 주도하는 시스템 평가법
1
평가방법/절차 : usabilirt test
2
목적
3
시기
4
장소/실험실 배치
5
사용성 평가 프로세스의 일반적 세부 계획
6
사용성 평가 프로세스의 준비 사항
7
실험자 / 평가자 계획
4
4.1
실증적 평가
평가방법/절차: Usability Test
평가준비
•평가계획수립
•평가 목표설정
•피실험자 선발
•실험과제 선정
•실험절차 정하기
•실험자료 준비
•실험환경 구축하기
•사전실험 수행
평가실시
•실험절차 설명
•본 실험 실시
•피실험자의 질문
평가결과보고
4
4.2
실증적 평가 – 목적 및 시기
목적
플랫폼의 전반적인 실행과정에서 사용자들의 활동을 점검하고 , task scenario 를
설정하여 정해진 시간내에 특정한 활동흐름과 기능을 통해 과업을 달성했는지를
평가목적으로 한다.
사용자가 시스템을 이용하면서 최적의 경험(쉽고, 빠르게, 만족하게) 을 할 수 있어야
하기 때문에 시스템의 목적을 달성하기 위한 직접적인 평가방법이다.
4.3
시기 : 2014년 4월 예정
시스템이 90%의 공정이 진행된 상태여야 됨
2013년 3월 초
1차 분석적 평가 결과 보고서 완료
2013년 3월 중순
2차 평가 준비
2014년 4월
2014년 5월
평가 실시
평가 분석 및 보고서 작성
The DNA 개발과정에 따라 시기는 조절 될 수 있음.
4
실증적 평가 - 장소
장소(서울과학기술대학교)
실험실 평가(성과 평가)
현장 평가(과정 평가)
사용자가 시스템을 얼마나 빠른 시간과
사용자들이 시스템을 사용하는 과정에서 어떠
적은 오류 안에 과업을 완수하였는지를 평가.
한 생각을 하였고 어떠한 어려움을 겪었는지를
실험실 배치
알아보는 평가.
관찰자 공간과 피험자 테스트 공간으로 나누어
진행할 예정.
보조 진행자, 관찰자는 피험자와 같은 공간에
위치하고, 나머지 관찰자들은 옆 공간에서 실
시간 영상과 화면을 보며 실험을 진행.
4
실증적 평가 - 사용성 평가 프로세스의 일반적 세부 계획
평가계획
• 소요 비용,시간 산출
• 사용성평가 팀 구축
• 과업 분석
• 제품의 속성 결정
• 선택된 속성의 측정 기준 설정
• 성과 수준의 결정
• 피험자 모집, 관리
• 과제 선정하기
• 시나리오 작성하기
• 설문자료, 조서자료 준비
• 로그 자료, 추적 자료 준비
• 사용성평가 팀의 인원구성
• 실험 환경 만들기
• 실험 script 준비하기
• 설문지와 시나리오, 동의서
• 체크 리스트 준비하기
평가 준비
사용자의 특성 파악
- 과업 경력
- 컴퓨터 경험
- 특성 시스템 경험
- 해상 시스템 사용 경험
사용자 특성에 따라 그룹핑
- 전문가, 중급자, 초보자로
구분
사전실험
목적
- 주어진 시간 동안에
피험자가 모든 과업을
완수할 수 있는지를 확인
- 제품이 제대로 기능을
하는지 확인
- 시나리오가 이해되는지
확인
시기
- 본 실험을 시작하기 1주일
전에 한 번
2~3일 전에 또 한 번
평가 실시
준비
- 평가 실험실, 장비, 문서,
과업지시서, 자료,수집도구
등을 준비하고 상태를 점검
도입
- 진행자 소개,참여 사용자들이
참여하게된 배경설정, 장비소개,
녹화사실고지, 평가절차 설명
- 평가전 모든 사람들의 이해
여부 확인, 양식 작성등
평가
- 테스크 목록 시나리오를
건내주거나 알려줄 시각시간
기록, 사용자행위 관찰,
특이사항 기록.
후기평가
- 특정행동, 오류, 어려움에 대해
이유를 질문
분석 및 보고
자료의 편집 및 요약
- 기록한 수기 메모, 비디오
및 오디오 테이프를
정리하여 자료수집지에
정리
- 요약 표로 옮겨서 요약
- 통계사항은 각 사용자들
별로 구분
- 기능수행자료 분석
- 선호도 자료
자료의 분석
- 설정된 기준에 못 미치는
태스크, 사용자의 주된
오류 등의 이유를 파악
- 파악된 문제점의 심각성과
발생 빈도를 근거로
중요도를 파악.
제안사항 도출
- 중요도에 따라 건의사항을
그룹 협동 작업으로 도출.
- 건의사항은 즉시 실행 가
능한 것과 향후 가능한 것
등 시점을 나누어 도출.
4
실증적 평가 - 사용성 평가 프로세스의 준비 사항
평가계획
평가 준비
평가 실시
분석 및 보고
- 평가 대상 분석 PPT
- 사전 설문지
- 테스트 과제 리스트
- 녹화 동의양식
- 시나리오
- 비밀 보장 문서
- 과업지시서
기록한 수기 메모, 비디오
및 오디오 테이프를 정리한
자료수집지
-
HCI전문가
시스템 개발자
디자이너
마케팅 담당자
관찰실 예약
평가자
- 전문가
- 중급자
- 초보자
-
관찰자
진행자
타임키퍼
평가 보조
의자
스피커폰
프로젝터
큰 모니터
컴퓨터
USB 마이크
별도의 스피커
긴 전기 코드선
USB 드라이브나
CD
USB 드라이브나
CD
4
실증적 평가 - 실험자 / 평가자 계획
실험자: 서비스디자인 온라인 플랫폼을 검사하는 사람들
실험자 유형
진행자
관찰자
진행 보조 :
진행자
관찰자
진행 보조
평가자: 서비스디자인 온라인 플랫폼을 사용하게 될 사람들
서비스 이해관계자
실험 참여자의 유형 파악 후 선택
실험참여자를 모집하기 위해 우선 사용자의
유형을 학력, 직업, 컴퓨터 활용능력, 인터넷
사용 경험 등을 퍼소나 형식으로 특성을 구성
팀장급
컴퓨터 능력 상
팀원급
컴퓨터 능력 중
이해관계자
컴퓨터 능력 하
한 이후에 모집한다.
한성
대학교
Usability
서울과학
기술대학교
보다 쉽고 편리하게
The
DNA
Thank you!
검증
개발구현