Transcript 발표원고3-김영진,이흥철_2.

설문길이가 응답과정에 미치는 영향
김영진
(아주대 심리학과 교수)
[email protected]
이흥철
(엔아이코리아 대표이사)
[email protected]
2005/3/29
I. 연 구 목 적
2005/3/29
I. 연구 목적
I-1. 연구 목적
 본 연구는 설문길이가 응답에 미치는 영향을 경험적으로 검증하여, 응답
정보처리 모형수립과 조사품질에 영향을 주는 요인을 규명하는데 있음.
접근방법
연구 내용
기대 효과
실험연구
응답자/피험자의
 설문길이가 조사품질에
영향을 주는 요인 규명
조사연구
(개별면접 및
웹메일 조사)
인지과정에 미치는 효과
 응답의 정보처리 모형 검증
2005/3/29
I. 연구 목적
I-2. 선행 연구
 설문길이가 응답률에 영향을 준다는 연구논문들이 많음.
(Davey,1996; Lyberg & Dean, 1992; Grove,1989)
 경험적 연구
√ Collins 외(1988): 전화조사 거절률이 40분 설문(14%)이 20분(9%)보다 높음.
√ Adams 외(1982): 우편조사 회수율이 3쪽 설문((46%)이 5쪽(22%)보다 높음.
 반대 증거
√ Rudd 외(1980): 우편조사에서 1쪽과 3쪽 설문응답률 차이 유의하지 않음.
√ Frankel 외(1983): 개별면접에서 25분과 75분설문의 응답률 비슷.
 최근 연구
√ Galesic 외(2002): 웹메일조사에서 설문 길이와 무응답률 사이에 정적 상관.
그러나 의외로 약하거나 일치하지 않을 수도 있는 가능성.
 논의점
√ 일관성 있는 결과가 많지 않음(Bogen, 2002).
√ 조사설계나 응답자 특성에 따라 서로 다른 결과가 나타남(Galesic, 2002).
√ 조사설계/응답자 특성/기타 많은 요인에 따라 결과가 다름(Galesic, 2002).
→ 응답자의 응답과정에 대한 정보처리모형화의 필요성 시사함.
설문길이가 응답과정에 어떤 영향을 미치는지에 관한 설명틀이 필요.
2005/3/29
II. 가 설 적 모 형
2005/3/29
II. 가설적 모형
II-1. 응답과정에 대한 가설적 모형틀
설문응답 행동은 기본적으로
“의사결정과 판단과정(decision & judgment making processes)”
•
•
•
•
•
Expected utility models (Groves, Singer, & Corning, 2000)
Subjective-utility models (Edwards, 1954)
Heuristic and Bias (Kahneman, Solvic & Tversky, 1982)
Satisfying (Simon, 1955)
Take the best heuristic (Gigerenzer & Todd, 1999)
 Dynamic Decision Making Process
2005/3/29
II. 가설적 모형
II-2. Dynamic Decision Making Processes
Galesic (2002):
1) 설문에 응답하기 (Decision to answer to the question) 결정
2) 응답에 어떤 노력을 들일지(what amount of effort should be invested) 결정
그림 1. DDMP model
2005/3/29
II. 가설적 모형
II-3. 질의-응답의 인지심리학
• 설문 응답자를 질문-응답 시스템으로 개념화(Schwarz, 1996)
– Communicative Mental Operations(Components)
(Willis, Royston, & Bercini, 1991)
– 이해-> 기억에서 정보인출과 평가 -> 결정-> 반응
– 설문지 길이 효과 이해를 위한 잠정적 모형
• Cognitive Processing Resource Hypothesis
1) “설문길이 효과”의 측정  정보처리부하량으로 측정가능..
2) 정보처리의 어떤 요소들이 보다 민감하게 이 효과를 반영하는가?
2005/3/29
II. 가설적 모형
Nth
3rd
nd
2
Survey question
asked
1st
Encode
Survey question asked
Question
Encode
Recall
Question
Recall
Estimate
Decision
Estimate
Judgment
Decision
Judgment
Response
Response
그림 2. Cognitive Processing Resource Model
2005/3/29
III. 실 험 연 구
2005/3/29
III. 실험 연구
III-1. 실험 목적
질의-응답과정에서 일어나는 실시간 인지적 부담(Cognitive Loads)을
측정하여 설문길이효과(Questionnaire Length Effects: QLE)를 확인.
1) QLE 확인 실험 패러다임 개발
2) 모델 구성을 위한 기초 실험
2005/3/29
III. 실험 연구
III-2. 실험 방법
피험자
설문지
아주대 심리학개론 수강자 33명
컴퓨터 관련 제품 구매 및 사용실태
설문지를 세 부분으로 나눔
A : 총 81 문항 (평균 8분)
B : 총 128 문항 (평균 11분)
C : 총 43 문항 (평균 5분)
도 구
컴퓨터 한 화면에 한 설문 씩 제시
E-Prime 사용 프로그래밍
2005/3/29
III. 실험 연구
III-3. 실험 설계
설문길이(3조건)를 처치조건으로 하는 3원 완전무선요인설계(CRF)
1) 긴 설문조건(Long):
A+B+C부분
2) 짧은 설문조건(Short): A+C부분
(평균 24분 소요)
(평균 13분 소요)
3) 비교 조건(Control): A부분 +지각 과제+휴식+C부분 (평균 24분 소요)
2005/3/29
III. 실험 연구
III-4. 실험 과제: Dual Task, Double Stimulation
1) Primary Task (PT)
- 설문에 대한 응답 (with Reading Aloud)
2) Secondary Task (ST)
- Speeded Tone discrimination (with two tones)
총 32개의 tone 제시(16개씩 A, C 설문 위치에서 제시)
3) Rationale for Dual task Performance
- PT의 cognitive processing loads가 ST 수행에 영향
- ST 수행이 Processing loads의 지표
- 반복적인 ST 수행은 촉진 효과
- 촉진 효과의 부재로 Processing Loads 효과 확인
(indirect index)
2005/3/29
III. 실험 연구
III-5. 실험 절차
Reading aloud task
설문제시
시작
Tone
제시
*
*High tone 2000Hz
100
ms
설문응답
Tone
반응시간
및
정확도
Tone
응답
설문제시
1900ms
설문응답
반응시간
및
응답빈도
1000ms
Tone discrimination task
Low tone 1000Hz
Reading aloud task
2005/3/29
III. 실험 연구
III-6. 실험 결과
1) Reading Aloud (Primary task): 각 조건별 평균 응답 시간
세 조건에서 A 설문과 C 설문에 응답하는 시간 자체는 유의한 차이 없음
표 1. 설문지별 평균 응답시간 (단위 초/분)
A
B
C
Total
Long
486(8)
671(11)
303(5)
1459(24)
Short
476(8)
299(5)
774(13)
Control
447(7)
274(5)
722(12)
2005/3/29
III. 실험 연구
2) Tone Discrimination (ST) Response Time (그림 4. 위치별)
A 설문
C 설문
1000
950
900
850
long
short
control
800
750
700
650
h
h
h
7t
8t
h
10
th
11
th
12
th
13
th
14
th
15
th
16
th
17
th
18
th
19
th
20
th
21
st
22
nd
23
rd
24
th
25
th
26
th
27
th
28
th
29
th
30
th
h
6t
9t
h
5t
d
4t
3r
1s
t
2n
d
600
2005/3/29
III. 실험 연구
3) Tone Discrimination (ST) Response Time(평균)
표 2. 설문지별 평균 변별시간 (단위:ms)
A 설문지
C 설문지
Long
800
791
Short
788
729
Control
824
777
2005/3/29
III. 실험 연구
4) 통계적 유의도 검증: ANOVA (Planned Comparisons)
표 3. 설문지별 평균 응답시간 (단위 초/분)
Contrast
DF
Contrast SS
Mean Square
F Value
Pr > F
type at length1
1
0.00013495
0.00013495
0.21
0.6478
type at length2
1
0.00619417
0.00619417
9.77
0.0039
1
0.00366169
0.00366169
5.78
0.0226
type at length3
2005/3/29
III. 실험 연구
Tone Detection Task
반응시간
840
820
824
800
800
788
780
791
777
760
740
long
short
control
729
720
700
680
초기 (A 설문)
후기 (C 설문)
반응시기
그림 5. 평균 detection times
2005/3/29
III. 실험 연구
5) Tone Detection Errors
표 4. 설문지별 평균 오류 수 (표준편차)
A 설문
B 설문
Long
3.90 (4.89)
3.45 (3.24)
Short
3.60 (2.55)
2.27 (2.24)
Control
5.27 (3.35)
2.45 (2.46)
2005/3/29
III. 실험 연구
6
5
반응오류
4
5.2
3.9
3.6
3.4
3
Long
Short
Control
2.4
2.2
2
1
0
후기 (C 설문)
초기 (A 설문)
반응시기
그림 6. 평균 detection errors
2005/3/29
III. 실험 연구
III-7. 논의
▷ 설문길이가 개별 문항 응답시간 자체에는 영향을 끼치지 않음 (표 1)
▷ 간접적인 측정으로 설문길이효과 확인 (표 2, 3, 그림 5)
- 긴 설문에서는 이차 과제에서 반복 연습에 의한 촉진 효과 방해
▷ 설문지의 긴 길이가 인지적 처리 부담으로 작용
- 잠정적 모형으로서의 인지 처리 용량 모형의 유용성 확인
- 어떤 처리요소가 영향을 받는가는 추후 실험으로 확인 필요
2005/3/29
III. 실험 연구
▷ 209문항(약 20분)과 81문항(약 10분)과의 차이
- 설문 응답 수행 후 약 20분 후에 Resource limitation 발현 추정
- 20분 후 실시되는 응답 반응에 제한된 인지 용량이 배당
- 기억 회상/재인 혹은 평가 등의 인지 과정이 부정확해질 가능성 시사
▷ 비교 조건에서도 짧은 설문에서와 유사한 촉진 효과 관찰
- 즉 단순 시간 경과가 영향을 끼친 것이 아님
- 긴 설문 조건에서, 반복적으로 설문에 응답한다는 것이 중요하며
- 이것이 Processing resource를 감소시킨 것으로 추정
▷ 추후 연구를 위한 제언
- Processing resource 가 발현되는 시점은 추가 확인 필요
- 수행 저하 시점에 여러 요인의 영향을 조작한 실험용 설문으로
추가 실험 필요
2005/3/29
IV. 개별 면접 조사
2005/3/29
IV. 개별면접조사
IV-1. 조사 설계
조 사 대 상
서울거주 20-30대 성인 남여
조 사 방 법
구조화된 설문지를 통한 개별 면접
표본추출방법
지역별/성별/연령별 할당추출법
접 근 방 법
구조화된 설문지를 통한 면접
조 사 내 용
컴퓨터관련 제품 구매 및 사용실태
유 효 표 본
긴 설문/짧은 설문 각각 300명씩(총 600명)
조 사 시 기
2004.10.10~10.31.
2005/3/29
IV. 개별면접조사
IV-2. 집단 비교
설문길이에 따른 두집단 비교 (응답시간의
(집단간 응답시간의
차이 있음)
차이 있음)
1) 긴 설문조건(Long)
설문조건(Long):: A+B+C부분
A + B + C 부분
2) 짧은 설문조건(Short)
설문 조건(Short):: A+C부분
A + C 부분
응답시간
응답시간
(단위: 분)
type
N
Mean
STD
Long
283
35.5
11.7
Short
317
25.4
9.9
t = 11.34 (p<.00)
2005/3/29
IV. 개별면접조사
IV-3. 응답자 특성 비교
집단별로 사회인구적 특성에 통계적으로 유의한 차이 없었음.
전체
Long 버전
Short 버전
(600사례)
(283 사례)
(317 사례)
남자
51.1
51.9
50.3
여자
48.9
48.1
49.7
20~25세
35.0
33.9
36.0
26~30세
38.8
39.6
38.2
31~35세
26.2
26.5
25.9
고졸이하
56.1
51.6
60.1
대재이상
43.9
48.4
39.9
경영/관리/전문직
14.5
18.8
10.7
사무관련직
22.8
19.5
25.8
기술직
7.7
8.5
6.9
서비스/판매/영업직
19.5
16.3
22.3
주부/무직/기타
13.8
14.5
13.2
학생
21.7
22.3
21.1
강북
58
58.0
58.0
강남
42
42.0
42.0
(%)
성
연령
교육
수준
직업
지역
Chi-Square
(p value)
.159
(.690)
.277
(.871)
4.364
(.037)
12.921
(.024)
.001
(.981)
2005/3/29
IV. 개별면접조사
IV-4. 조사결과
1) 주요 사전설문(A부분) 비교
집단별로 사전설문에 특징적인 차이 없었음.
데스크탑
컴퓨터
type
Total
(%)
Chi-Square
(p-value)
1.043
(.307)
Long
(%)
Short
(%)
보유함
96.1
94.3
95.2
보유안함
3.9
5.7
4.8
합계
100.0
100.0
100.0
Type
Total
(%)
Chi-Square
(p-value)
1.043
(.307)
모니터
Long
(%)
Short
(%)
보유함
96.1
94.3
95.2
보유안함
3.9
5.7
4.8
합계
100.0
100.0
100.0
type
Total
(%)
Chi-Square
(p-value)
16.7
16.3
84.1
83.3
83.7
0.064
(.800)
100.0
100.0
100.0
노트북
Long
(%)
Short
(%)
보유함
15.9
보유안함
합계
Type
Total
(%)
Chi-Square
(p-value)
60.4
59.5
41.5
39.6
40.5
0.216
(.642)
100.0
100.0
100.0
프린터
Long
(%)
Short
(%)
보유함
58.5
보유안함
합계
2005/3/29
IV. 개별면접조사
홈씨어터
시스템
type
Total
(%)
Chi-Square
(p-value)
1.400
(.237)
Long
(%)
Short
(%)
보유함
8.8
6.3
7.5
보유안함
91.2
93.7
92.5
합계
100.0
100.0
100.0
DVD
플레이어
type
Total
(%)
Chi-Square
(p-value)
0.265
(.606)
Long
(%)
Short
(%)
보유함
25.8
24.0
24.8
보유안함
74.2
76.0
75.2
합계
100.0
100.0
100.0
type
type
18.0
13.2
15.5
보유안함
82.0
86.8
84.5
합계
100.0
100.0
100.0
92.2
95.0
93.7
1.901
(.168)
100.0
100.0
100.0
7.8
보유안함
합계
type
Total
(%)
Chi-Square
(p-value)
99.4
98.7
2.1
0.6
1.3
2.521
(.112)
100.0
100.0
100.0
휴대폰
Long
(%)
Short
(%)
보유함
97.9
보유안함
합계
2.600
(.107)
보유함
6.3
보유함
디지털
카메라
Short
(%)
5.0
Short
(%)
Chi-Square
(p-value)
Long
(%)
Chi-Square
(p-value)
Long
(%)
Total
(%)
캠코더
Total
(%)
PDA
type
Total
(%)
Chi-Square
(p-value)
51.6
52.7
45.9
48.4
47.3
0.373
(.541)
100.0
100.0
100.0
Long
(%)
Short
(%)
보유함
54.1
보유안함
합계
2005/3/29
IV. 개별면접조사
2) 사후 척도평가설문 비교
집단별로 유의한 차이 없었음.
설문 (7점 척도)
제품 컨셉 수용 의향 1
제품 컨셉 수용 의향 2
제품 컨셉 수용 의향 3
제품 컨셉 수용 의향 4
유형
Mean
STD
t
(p-value)
Long
Short
Long
Short
Long
Short
Long
Short
3.26
3.26
4.15
3.97
4.11
4.09
3.94
3.82
1.701
1.683
1.741
1.819
1.788
1.734
1.893
1.730
0.035
(.972)
1.282
(.200)
0.137
(.891)
0.819
(.413)
* 참고
제품 컨셉 수용 의향 1 :
나는 가정 내에서 사용하는 IT 기기들을 무선으로 연결하여 사용할 수 있다면 추가비용까지도 지불할 의향이 있다.
제품 컨셉 수용 의향 2 :
나는 PC의 모니터로 보는 영화/동영상(Divx)을 TV를 통해 보고 싶은 니즈를 강하게 느낀다.
제품 컨셉 수용 의향 3 :
나는 PC로 듣는 음악(MP3)을 다른 오디오 시스템이나 홈씨어터로 연결해서 듣고 싶은 니즈를 강하게 느낀다.
제품 컨셉 수용 의향 4 :
나는 디지털 카메라로 찍은 사진이나 TV로 보는 화면을 인쇄하고 싶은 욕구를 강하게 느긴다.
2005/3/29
IV. 개별면접조사
3) 사후 설문 비교
집단별로 컴퓨터 사용 용도에 대해 유의한 차이 없었음.
데스크탑 사용 용도
메일/메신저 등 커뮤니케이션
인터넷 정보 검색
워드/엑셀/ppt등 문서 작업
영화/TV 시청
MP3 등 음악/라디오 감상
게임(온라인/PC 게임)
유형
Mean
STD
Long
25.74
16.751
Short
25.56
16.789
Long
25.74
14.972
Short
26.90
16.483
Long
14.73
12.366
Short
14.50
10.185
Long
15.43
12.332
Short
14.29
10.487
Long
12.86
9.615
Short
14.35
8.181
Long
21.41
20.809
Short
19.76
17.314
t
(p-value)
0.126
(.899)
-0.878
(.380)
0.204
(.839)
0.949
(.313)
-1.720
(.086)
0.867
(.387)
2005/3/29
IV. 개별면접조사
4) 주요 사후 설문 비교: 범주형 설문
집단별로 유의한 차이 없었음.
데스크탑
구입 의사
type
Total
(%)
Chi-Square
(p-value)
14.5
13.9
86.9
85.5
86.1
0.242
(.623)
100.0
100.0
100.0
Long
(%)
Short
(%)
있다
13.1
없다
합계
데스크탑
구입 계획인
브랜드
type
Long
(%)
Short
(%)
삼성
43.2
33.3
37.8
LG-IBM
8.1
8.9
8.5
2.2
1.2
6.7
4.9
컴팩
4.4
2.4
주연테크
0.0
0.0
삼보
HP
데스크탑
구입 일정
1년 이내
type
Long
(%)
Short
(%)
73.0
76.1
Total
(%)
Chi-Square
(p-value)
74.7
6개월 이내
18.9
17.4
18.1
3개월 이내
8.1
6.5
7.2
합계
100.0
100.0
100.0
0.124
(.940)
2.7
Total
(%)
조립제품
35.1
37.8
36.6
모름
10.8
6.7
8.5
합계
100.0
100.0
100.0
Chi-Square
(p-value)
4.110
(.767)
2005/3/29
IV. 개별면접조사
모니터
구입 의사
있다
없다
합계
모니터
구입 일정
1년 이내
6개월 이내
3개월 이내
합계
노트북
구입 의사
있다
없다
합계
노트북
구입 일정
1년 이내
6개월 이내
3개월 이내
합계
type
Long
(%)
14.5
85.5
100.0
Short
(%)
13.5
86.5
100.0
type
Long
(%)
82.5
12.5
5.0
100.0
Short
(%)
76.7
16.3
7.0
100.0
type
Long
(%)
5.3
94.7
100.0
Short
(%)
4.4
95.6
100.0
type
Long
(%)
73.3
26.7
100.0
Short
(%)
53.8
38.5
7.7
100.0
Total
(%)
Chi-Square
(p-value)
14.0
86.0
100.0
0.116
(.733)
Total
(%)
Chi-Square
(p-value)
79.5
14.5
6.0
100.0
0.425
(.808)
Total
(%)
Chi-Square
(p-value)
4.8
95.2
100.0
0.273
(.601)
Total
(%)
Chi-Square
(p-value)
64.3
32.1
3.6
100.0
1.867
(.393)
모니터
구입 계획인
브랜드
삼성
LG
한솔
HP
IBM
기타
모름
합계
type
24.4
100.0
노트북
구입 계획인
브랜드
삼성
LG-IBM
삼보
대우
HP
컴팩
소니
도시바
후지쯔
모름
합계
Long
(%)
33.3
6.7
13.3
0.0
0.0
13.3
6.7
6.7
6.7
13.3
100.0
Long
(%)
58.5
4.9
7.3
2.4
2.4
Short
(%)
44.2
39.5
4.7
2.3
9.3
100.0
type
Short
(%)
25.0
6.3
12.5
6.3
12.5
6.3
31.3
100.0
Total
(%)
51.2
22.6
3.6
3.6
1.2
1.2
16.7
100.0
Total
(%)
29.0
6.5
6.5
0.0
6.5
9.7
9.7
6.5
3.2
22.6
100.0
Chi-Square
(p-value)
20.292
(.002)
Chi-Square
(p-value)
7.039
(.633)
2005/3/29
IV. 개별면접조사
IV-5. 논의
개별면접조사에서 집단간 유의한 차이가 나타나지 않은 가능한 이유들은
다음과 같이 추정해 볼 수 있음
1) Ceiling Effect
- 긴 설문(35.5분)과 짧은 설문(25.4분)사이에 응답시간에 차이가 없고,
실험 결과와 연관 시켜볼 때, 이미 짧은 설문에서 인지적 처리의 부담이
나타난 것으로 볼 수 있음.
2) 설문 내용의 문제
- 설문 내용이 “컴퓨터”라는 고관여 제품에 관한 것이기 때문에, 이미 구매상황이나
사용과정에서 충분한 정보처리를 했으므로, 설문상황에 따른 차이가 없을 수도 있음.
3) 개별면접의 실사 품질 통제의 문제
- 개별면접에서의 조사품질 유지가 어려워 발생할 수 있는 문제.
2005/3/29
V. 웹 메 일 조 사
2005/3/29
V. 웹메일조사
V-1. 조사 설계
조 사 대 상
전국 성인 남여
조 사 방 법
웹메일을 통한 자기기입식 설문
표본추출대장
일부 포탈사이트의 회원명부
표본추출방법
지역/성/연령별 인구구성비에 따른 비례할당추출법
응
답
률
총 발송(27,449통)중 2,786사례(10.1%, 중도포기 포함)
조 사 시 기
2005.3.7~3.10.
조 사 내 용
청량음료 음용실태 및 태도
2005/3/29
V. 웹메일조사
V-2. 집단 비교
설문길이에 따른 두집단 비교 (집단간 응답률 및 응답시간의 차이 있음)
1) 긴 설문조건(Long) :
A + B + C 부분
2) 짧은 설문 조건(Short) :
A + C 부분
접근률
응답률
응답시간
(단, 응답시간이 지나치게 긴
Outlier는 제외한 사례임.)
2005/3/29
V. 웹메일조사
V-3. 응답자 특성 비교
집단 별로 사회인구적 특성에 통계적으로 유의한 차이 없었음.
두 집단 모두 엔아이코리아의
성향가중모형을 적용한 결과임.
단, 원자료에서는 두 집단의
연령에 유의한 차이가 있어,
모집단 인구구성비에 따라
2차 보정을 하였음.
2005/3/29
V. 웹메일조사
V-4. 조사결과
1) 주요 사전설문(A부분) 비교
집단별로 사전설문에 특징적인 차이 없었음.
다만, 상표지적 문항에서는 통계적으로 유의한 차이를 보임.
2005/3/29
V. 웹메일조사
2005/3/29
V. 웹메일조사
2) 사전-사후 비교: 척도평가 설문
동일한 척도평가 설문으로 사전(A부분)-사후(B부분) 비교를 해 본 결과,
긴 설문 집단에서만 사전-사후 척도점수에 유의한 차이가 나타남
구입희망 브랜드 고집의 중요도(7점 척도)
3.61
분할구획설계(SPF-p.q) ANOVA Table
3.53
3.51
3.38
사전
사후
단, 무응답(Item Non-Response) 사례(47사례)는 제외한 분석임.
2005/3/29
V. 웹메일조사
2) 사전-사후 일치도 비교: 범주형 설문
동일한 범주형 설문(2문항)의 사전-사후 응답 일치도를 비교해 본 결과,
긴 설문 집단의 일치도가 짧은 설문집단에 비해 유의하게 낮음.
2005/3/29
V. 웹메일조사
3) 사후 척도평가설문 비교
긴 설문집단이 사후 척도평가에서 일관된 Positive Rating Bias 나타남.
모든 설문에서 점수가 높을수록
긍정적인 평가임.
2005/3/29
V. 웹메일조사
4) 사전-사후 비교: 척도평가의 방향성
동일한 척도평가에서, 짧은 설문집단은 상대적으로 중앙회귀 성향,
긴 설문 집단은 Positive Rating Bias 성향 두드러짐
2005/3/29
V. 웹메일조사
V-5. 논의
웹메일 조사에서 설문길이에 따른 효과가 분명하게 나타남.
- 응답률과 응답일관성에서 특징적인 차이를 보임
긴 설문의 경우, Positive Rating Bias 두드러짐.
- Negative Rating의 처리부담이 더 큰 것으로 추정됨.
- 설문이 길 경우, 구매의사나 선호도 등에서 Over Estimation의 가능성 높음.
긴 설문에서 응답의 과장화 가능성 보임.
- 결정적인 증거는 아니나, 척도평가의 사전-사후비교에서 긴 설문의 경우
짧은 설문에 비해 사후평가에서 응답이 과장되는 경향을 보임
- 이는 추후 연구과제로 보임.
2005/3/29
VI. 종 합 논 의
2005/3/29
VI. 종합논의
수요예측 조사에서는, 긴 설문지를 절대로 사용하지 마라 !
- 설문길이가 길수록 인지적인 처리부담이 높아지며,
보다 처리부담이 높은(?) 부정적인 표현은 피하려는 경향을 보임.
- 긴 설문에서는 보다 긍정적으로 응답하려는 경향이 있으며,
수요예측 등과 같은 모수치 추정 조사에서는
모수치를 Over Estimation할 위험성이 있음.
지지도나 고객만족도를 교묘하게(?) 높이려면, 긴 설문지를 사용해라 !
그러나, 정반대 결과가 나올 가능성도 있으니, 그 위험부담은 감수해야 한다.
- 긴 설문에서 처리부담을 피하려고, 대충 좋게 응답표현을 하는 경향은 있으나,
그 이면에 숨어있는 부정적 정서를 간과하지 말 것.
- 경우에 따라서는, 오히려 극단적으로 부정적인 응답을 할 가능성이 있음.
(웹메일 조사의 마지막 결과 참조)
- 이는 전적으로 조사연구자의 양심의 문제임.
2005/3/29
VI. 종합논의
설문길이효과는 잠정적으로 30분 전후가 Critical Point로 추정됨.
- 직접적인 증거는 없으나, 30분 이상의 설문(긴 설문집단)에 설문길이 효과가
나타남.
- 실험결과와 비교해 볼 때, 20분에서도 인지적 처리부담의 증거는 나타나나,
개별면접의 경우 20분 전후의 설문에서는 긴 설문에 비해 두드러진 응답편향
은 없음(Floor Effect or Ceiling Effect?).
Cognitive Process Resource Model의 가능성
- 긴 설문의 경우, 인지적 처리부담이 점차 증가해서, 응답편향이 나타날 것이라는
모형이 여러 가지 편향현상을 설명하기 적합할 것으로 사료됨.
- 이에 대해서는 추후의 연구과제로 남음.
2005/3/29
참고문헌
Bogen, K. (2002). The effect of questionnaire length on response rate: A Review of the
literature. In D. de Vaus (Ed.), Social survey. Newbury Park, CA: Sage.
Edwards, W. (1954). The theory of decision making. In W. Edwards & A. Tversky (Eds.),
Decision making. Harmondsworth, UK: Penguin Books
Galesic, M. (2002). Effects of questionnaire length on response rates: Review of findings
and guidelines for future research. German Online Research Conference.
Gigerenzer, G., & Todd, P. M. (1999). Simple heuristics that make us smart. New York:
Academic Press.
Groves, R. M., Cialdini, R. B., & Couper, M. P. (1992). Understanding the decision to
participate in a survey. Public Opinion Quaretry, 56. 475-495
Kanehman, D., Slovic, P. & Tversky, A. (1982). Judgment under uncertainty: Hiristics and
biases. Cambridge, UK: Cambridge University Press.
Schwarz, N. (1996). Cognition and communication: Judgmental biases, research methods,
& the logic of conversation. New Jersey: LEA.
Simon, H.A. (1955). A behavioral model of rational choice. Quarterly Journal of economics,
69, 99-118.
Willis, G. B., Royston, P. & Bercini, D.(1991). The use of verbal report methods in the
development and testing of survey questionnaires. Applied cognitive psychology, 5,
25-267.
2005/3/29