Transcript Questionnaire for User Interface Satisfaction(QUIS)

Questionnaire for
User Interface Satisfaction(QUIS)
•
Overall reaction to the S/W
•
Screen
•
Terminology and system information
•
Learning
•
System capabilities
•
전반적으로 이 평가항목들의 경우에는 완성된 S/W에 대한 평가를 하는 것
으로 판단이 됨.
연구실에서 진행이 되는 프로젝트나 학위논문들의 경우 이러한 완제품에
대한 평가를 진행을 하는 것이 아니기 때문에 유용할지에 관한 의구심이 듬.
•
– S/W의 전반적인 느낌에 관한 사항
– 화면의 구성에 관한 내용
– S/W를 구성하는 단어나 용어, 메시지 또는 에러메세지에 관한 사항들
– S/W를 다루면서 사용자가 효과적으로 학습을 하면서 유용하게 다룰 수 있는 가에 대
한 평가 항목
– 속도나 디자인, 신뢰성 등등에 관한 시스템 성능평가
Perceived Usefulness and Ease
of Use(PUEU)
•
Perceived usefulness
–
–
–
–
–
–
–
•
Perceived ease of use
–
–
–
–
–
–
•
•
시스템을 사용할 경우에 수행하는 task들을 얼마나 편리하게 할 수 있느냐에 대한 척도에 대한 항목
시스템을 사용함으로 인행 job의 task를 빠르게 할 수 있는가?
Job performance를 향상시킬 수 있는가?
생산성을 높일 수 있는가?
일의 효율성을 증가시킬 수 있는가?
일을 더욱 쉽게 할 수 있는가?
일에 효율적이다라고 느낄 수 있는가?
시스템 사용을 쉽게 알 수 있는가?
원하는 작업을 쉽게 찾을 수 있는가?
시스템과의 상호작용이 clear하고 이해 가능한가?
시스템과의 상호작용이 flexible한가?
시스템을 사용할 때 skillful해 질 수 있는가?
시스템을 사용하기 쉽다고 느낄 수가 있는가?
이 사용성 평가의 경우에는 실제로 시스템을 현장에 적용이 될 경우에 사용자의 생산성에
어떠한 영향을 미칠 수 있는가에 대한 조사를 하는 항목으로 이루어져 있음
NRF 프로젝트의 경우 실제 공간에서 사용이 된다는 가정에 따라 이 평가항목을 사용하게
된다면 유용할 것으로 생각이 됨.
Nielsen's Attributes of
Usability(NAU)
•
•
•
•
•
•
총 5개의 항목으로 구성
Learnability
Efficiency
Memorability
Error(Accuracy)
Subjective Satisfaction
•
•
가장 간편한 설문으로 구성이 되어있음
실제로 논문에 쓰기에는 너무나도 직관적이라서 유용할지는 모르나 실제로
사용성에 관련된 것이 주된 내용이라면 신뢰할만한 자료로 사용이 될 수 있
을지는 의문
Nielsen's Heuristic Evaluation
•
총 10개의 질문들로 구성이 되어있음
•
•
•
•
•
•
•
•
•
•
Simple and Natural Dialogue
Speak the User’s language
Minimize User Memory Load
Consistency
Feedback
Clearly Marked exits
Shortcuts
Good error Messages
Prevent Error
Help and Documents
•
•
•
•
이 평가지의 경우에는 대부분 이번 졸업논문을 작성을 하면서 가장 추천을 많이 받은 설문지의 내용임
이 설문지를 선택을 할 경우에는 내용에 적합한 설문내용들을 선택을 하는 것이 중요하다고 생각이 됨.
2, 6, 7, 10의 경우에는 제외하고 설문을 진행을 하는 것이 좋다고 판단이 됨.
사실 사용성 평가의 경우에는 완성된 S/W 혹은 제품을 가지고 진행을 하는 것이라고 생각이 되는데 우
리 연구실의 경우 prototype을 통해서 사용성 평가를 진행을 하는 것이 대부분이기 때문에 적절한 선택
이 필요하다고 판단이 됨.
Computer System Usability
Questionnaire(CSUQ)
•
총 19개의 항목으로 구성이 되어있음
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
전반적으로 시스템을 사용하기 쉽다는 것에 만족하는가?
사용하기 쉬운 시스템인가?
시스템을 사용하여 효과적으로 work를 수행할 수 있는가?
시스템을 사용하여 빠르게 work를 수행할 수 있는가?
시스템을 사용하여 효과적으로 work를 수행할 수 있는가?(3번과 중복…)
시스템을 사용하는 것은 comfortable한가?
사용법을 배우는 것은 쉬운가?
생산성이 향상이 될 것이라 믿는가?
문제를 해결하는 데 적절한 에러메세지를 주는가?
실수를 할 때마다 쉽고 빠르게 복구가 가능한가?
시스템에서 효과적으로 정보를 제공하는가?(헬프메세지, document 등등)
원하는 정보들을 쉽게 찾을 수 있는가?
정보들이 이해하는데 쉬운가?
정보들이 task나 scenario를 이해하는데 도움을 주는가?
정보의 조직도가 명확한가?
시스템의 인터페이스가 pleasant한가?
이 시스템의 인터페이스를 좋아한다?
내가 기대했던 기능들을 포함하고 있는가?
전반적으로 시스템에 만족을 하는가?
•
•
19개의 항목들로 구성이 되어있는 이 설문지의 경우 실제로 prototype에 대한 설문을 할 경우 유용 하다고 판단이 됨.
하지만 documentation이나 information들의 경우에는 사용성 평가를 진행을 하기 전에 충분한 설명으로 대체를 한다거나 기능 사용법
에 대한 종이를 첨부하여 대체할 수 있을 것이라고 생각이 됨.
After-Scenario
Questionnaire(ASQ)
•
총 3개의 질문으로 구성이 됨
•
•
•
전반적으로 이 시나리오의 작업을 완성하는데 쉬운가?
전반적으로 이 시나리오의 작업을 완성하는데 적절한 시간이 소요되었는가?
전반적으로 작업을 수행할 때 충분한 정보들이 제공이 되었는가?
•
실제로 매우 간단한 설문내용들로 구성이 되어 있기 때문에 다른 사용성 평가지들과
같이 진행을 할 경우 유용하다고 판단이 됨.
혹은 각각의 시나리오를 주고 사용자들이 작업을 수행하는 시간을 측정을 하고 그것
에 대한 만족도를 조사하는 데에는 유용할 것이라고 판단이 됨.
•
Practical Heuristics for Usability
Evaluation(PHUE)
•
총 13개의 질문들로 구성이 되어있으며 크게 3개의 part로 구성이 되어있음
•
Learning
•
– Documentation, 사용자의 mental model과의 부합, 간단하고 natural한 dialogue, 사
용자의 편의에 맞게 costumizing(shortcut)의 가능성
Adapting to the user
– 사용자가 어떠한 것을 할 것인지 미리 보여 주거나 review를 할 수 있는 기능을 제공
하는가, 가능한 작업인지를 보여주거나, 버튼들의 디자인이 좋다거나, memory load를
줄인다거나, 표준에 적합한 단어들을 선택을 하고 있는가에 대한 내용
•
Feedback and Errors
•
이 평가지 또한 대부분 완성된 시스템을 평가하는 내용들로 구성이 되어있
기 때문에 연구실에서 실제로 application을 제작하지 않는다고 한다면 유
용할지는 제고를 해봐야 할 것이라고 생각이 됨.
– 적절한 피드백이 돌아오는가, 에러를 예방가능 하고 메세지를 전달을 하고 exits가 명
확한가?
Purdue Usability Testing
Questionnaire(PUTQ)
•
•
총 100개의 질문과 8개의 part로 구성이 되어있음.
전반적인 질문들의 내용이 무엇인지 간단하게 설명하도록 하겠음
•
Compatibility
•
•
–
커서의 움직임, 사용자의 기대에 부합한 조작, 사용자의 skill에 맞는 control 제공, 언어들의 친숙
–
Colour coding의 직관성과 디스플레이, 라벨과 언어, entry 등등이 평가 대상이 언제나 그 상태를 유지하고 있느냐에
대한 평가질문들로 구성
Consistency
Flexibility
–
Custumizing이나 윈도우를 다루고, zooming을 하는 등 사용자가 시스템을 다룰 때 customizing에 관한 내용들
–
메뉴의 구성이 효율성, 직관성, ordering등에 관한 내용들
–
창을 옮기거나 마우스의 움직임을 최소화 할수 있느냐에 대한 내용들
–
인덱스나 사용자의 현재 위치, 인지하기 쉬운 단어들에 대한 내용들
–
화면의 구성(색, 메뉴, 커서, 언어나 단어의 선택 등등)에 대한 내용
–
Cancel 버튼이나 에러, 재시작등에 관한 내용들.
•
Learnability
•
Minimal Action
•
•
•
•
Minimal Memory load
Perceptual limitation
User Guidance
질문의 내용들이 많은 만큼 유용할 것이라고 판단이 되었지만 완전한 application(메뉴까지 착실하게 갖
추어진)에 유용할 것이라고 판단이 됨.
결론
• 앞으로 졸업논문이나 학회논문을 쓰면서
사용성평가를 진행을 할 경우에는 Nielsen
이나 CSUQ정보가 적절하다고 판단이 됨.
• 수행시간 측정이나 정확도 판단은 다른 실
험자료들을 토대로 진행을 하는 것이 유용
할 것이라 생각을 하며 그러한 실험들을
뒷받침 할 때 요긴하게 쓰길 바람.