Transcript 출구조사의 오차 발생요인과 극복방안

출구조사의 오차 발생요인과 극복방안
김창영
(코리아리서치센터)
KOSOMAR 세미나
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅰ. 연구의 배경
• 16대 대선 이후 예측조사에서 출구조사가 전화조사를 대체하는 경향이 가속화될 것으로 예상
• 예측조사에서 얻은 성과를 바라보는 조사회사 안과 밖의 시각에 큰 차이가 있음
• 출구조사는 연구자에게 방법론상의 승리의 나팔이 아니라 또 하나의 도전/과제
 현재 조사회사에서 실시되고 있는 출구조사의 특성 파악과 정밀화 방안 마련 필요
內
外
KOSOMAR 세미나
A2- 2
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅱ. 선거여론조사의 변화 과정
1. 태동 단계
2. 발전 단계
3. 성숙 단계
• 1989년(13대 대선) ~
1995년(1회 지방선거)
• 1996년(15대 총선) ~
2000년(16대 총선)
• 방문조사(13,14대 대선) +
전화조사(95년 지방선거)
• 전화조사(96 총선, 97대선,
98 지방선건) + 출구조사
(16대 총선)
• 전화조사 + 출구조사
•
•
•
•
•
•
•
•
•
•
•
•
전국단위 여론조사 중심
95년 지방선거 최초 실시
방법론적 측면 시험단계
전화조사 방법의 활성화
KOSOMAR 세미나
전화조사의 보편화
방법론적 연구의 발전 단계
대규모 총선조사/ 예측실패
출구 조사 처음 시행
A2- 3
• 2002년 지방선거 이후
광역단위 출구조사 시행
당락오차 중심 정교화
출구조사 방법론의 정교화
새로운 조사기법의 등장
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅲ. 전화조사 vs 출구조사
1. 국회의원 선거
• 2000년 총선에서의 출구조사는 방법론상으로 한계점이 있지만, 출구조사가 도입되면서
전화조사에 비해 1,2위 오차가 감소하는 경향을 보여주고 있음
신한국당 국민회의
15대 총선
(전화조사)
16대 총선
(전화+출구)
민주당
자민련
무소속
실제결과
121
66
9
41
16
예측결과
155
59
5
26
8
차이
+34
-7
-4
-15
-8
한나라당
민주당
자민련
무소속
실제결과
112
96
12
5
KBS-SBS
예측결과
100
107
12
5
차이
-12
+8
0
0
39개 지역 예측실패
KRC 1,2위 오차
평균 6.4%point
20개 지역 예측실패
KRC 1,2위 오차 평균
전화  4.3%point
출구  2.4%point
 한국신당과 민노당, 민국당은 제외
KOSOMAR 세미나
A2- 4
2003/3/25
출구조사의 오차 발생요인과 극복방안
2. 지방 선거
• 2002년 광역단체장 선거에서는 전화조사와 출구조사를 동시에 실시했으며, 출구조사는 전화 조사와
비교해 1,2위 오차가 1%대로 감소하는 경향을 보이고 있음
1~3회 지방선거 1,2위 오차 평균(%)
조사방법
MBC
(갤럽)
KBS
(KRC-MRI)
SBS
(TNS)
1회(1995년)
전화조사
4.3
-
-
2회(1998년)
전화조사
3.5
전화조사
3.0
2.9
3.3
출구조사
-
1.6
1.7
3.5
3회(2002년)
 1998년 KBS-SBS 조사 : KRC-MRI
 2002년 지방선거 출구조사 : KBS 6개, SBS 4개 시도
KOSOMAR 세미나
A2- 5
2003/3/25
출구조사의 오차 발생요인과 극복방안
3. 대통령 선거
• 출구조사가 본격적으로 도입된 2002년 16대 대선에서 출구조사는 전화조사 결과와 비교해
1,2위 오차가 현저하게 낮은 것으로 나타남
이회창
노무현
1,2위 오차 합
46.6
48.9
-
코리아리서치
46.9
48.4
0.8
MRI
46.8
49.1
0.4
TNS
46.7
48.2
0.8
갤럽
48.5
46.2
4.6
실제결과
16대 대선
출구조사
전화조사
KOSOMAR 세미나
A2- 6
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅲ. 조사방법별 장단점 비교
• 출구조사는 전화조사에 비해 많은 단점이 있으나, 투표자를 조사대상으로 한다는 특성때문에
결과의 정확성에서 우세를 보임  출구조사의 안정화를 위해서는 단계별 오차 최소화 방안 마련 필요
전화조사
출구조사
Sampling
Frame
• 가구 기준  전화번호부에 의한
체계적인 샘플링 가능
• 투표소 기준  대표동/무작위/클러스
터 추출 등 다양한 방법 적용
면접원
교육/관리
• 숙련된 면접원에 대한 체계적인 관리 시
스템 도입 / 운영
• 학생들에 대한 단기간 교육으로
면접원의 질적 수준에 차이 발생 가능
조사대상
• 선거 이전 투표 의향자 기준 조사
• 선거 당일 투표 완료자 조사
면접과정
• 면접과정에 대한 감청과 검증 가능하며,
다양한 관리 시스템 도입 가능
• 투표 완료자에 대한 체계적인 추출이
원칙이나 그에 대한 관리방안 미흡
결과 분석
• 태도 유보층에 대해 판별분석 등
다양한 분석 방법 적용 가능
• 태도 유보층에 대한 추가 분석 어려움
KOSOMAR 세미나
A2- 7
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅳ. 출구조사의 오차 발생 요인
1. 표본 오차와 비표본 오차
표본 오차
비표본 오차
KOSOMAR 세미나
• 조사 대상 투표소를 추출하는 과정에서 발생하는 오차
• 조사대상 투표소에서 응답자를 선정하는 과정에서 발생하는 오차
• 지역별 자료를 집계하는 과정에서 발생하는 오차 등
• 면접원들의 조사 진행 과정상에서 발생하는 오차
• 조사 대상자의 응답 과정에서 발생할 수 있는 오차
• 면접원들의 조사 결과 집계/전송 과정에서 발생하는 오차 등
A2- 8
2003/3/25
출구조사의 오차 발생요인과 극복방안
2. 표본 오차 – 투표소 추출
1) 투표소 추출 방법
• 최근까지 다양한 방식의 투표소 추출방식이 시도되었으며, KRC에서는 대표동 추출방식을 주로
이용하고 필요에 따라 클러스터 추출방식이나 PPS 방식을 선택적으로 사용
대표동 추출
클러스터 추출
PPS 추출
KOSOMAR 세미나
• 한 지역 내에는 그 지역을 대표할 수 있는 읍/면/동이 존재한다는 가정 하에 과거
선거를 기준으로 해당지역 전체 결과와 각 읍/면/동 결과간 오차 제곱의 합이 가장
적은 곳을 선정  투표소 변동이 심할 경우 추출 투표소의 대표성이 약화될 수 있음
• 전체 지역을 특성이 유사한 하위 지역으로 다시 층화 하는 방식으로 클러스터 추출 방
식은 하위 지역에서 대표동 추출 방식이나 PPS 방식과 결합할 수 있음  클러스터링
하는 특정 시점의 결과에 따라 변동이 많아 폭 넓게 사용하는 데 한계가 있음
• 전체 지역 내의 읍/면/동 단위를 유권자 수 기준으로 정렬한 다음 PPS 방식에 의해
추출하는 방식  추출되는 읍/면/동의 경향성을 고려하지 않을 경우 오차 발생 가능
성이 매우 높을 수 있음
A2- 9
2003/3/25
출구조사의 오차 발생요인과 극복방안
2) 투표소 추출 결과 분석
• KRC 대표동 추출방식에서는 15대 대선 기준으로 1위와 2위의 오차가 적은 지역을 일차적으로 선정
• 지역별 1위 오차가 0.0%였던 대전지역과 2.2%였던 경북지역을 비교할 경우, 대전지역은 지역별
편차가 1% 내에서 고른 반면 경북지역은 지역별 편차가 12.1%까지 매우 크게 나타남
대전지역 15대/16대 1위 오차
15대
경북지역 15대/16대 1위 오차
16대
15대
16대
12.1
4.0
0.0 0.1
가
1.0
0.0
나
0.4 0.2
0.3 0.3
1.4
0.0
다
라
가
 1위 오차 : 노무현 실제 득표율 – 노무현 실제(예측) 득표율
KOSOMAR 세미나
A2-10
0.10.6
나
0.4
다
0.3
라
2.3
0.6
1.5
0.6
마
바
 1위 오차 : 이회창 실제 득표율 – 이회창 실제(예측) 득표율
2003/3/25
출구조사의 오차 발생요인과 극복방안
2. 표본 오차 – 응답자 선정
16개 지역별 예측 결과 및 오차
• 응답자 선정은 기본적으로 등간격
을 유지하기 때문에 체계적 표본
추출이 가능함
• 그러나, KRC 기준 지역별 오차를
분석한 결과, 충청권을 제외하고
출구조사 결과에서 1위 후보의
예측치가 실제 결과에 비해 높게
나타남
• 충청지역이 이번 선거에서 경합
지역이었던 점을 감안한다면,
출구조사에서 열세후보 지지층의
거절률이 상대적으로 높은 경향을
보이고 있음
KOSOMAR 세미나
지역
실제 득표율(A)
KRC 예측치(B)
오차(B-A)
이회창
노무현
이회창
노무현
이회창
노무현
서울
45.0
51.3
43.9
52.8
-1.1
1.5
부산
66.7
29.9
68.4
28.4
1.7
-1.5
대구
77.8
18.7
79.8
16.9
2.0
-1.8
인천
44.6
49.8
44.4
50.4
-0.2
0.6
광주
3.6
95.2
2.8
95.8
-0.8
0.6
대전
39.8
55.1
40.1
55.1
0.3
0.0
울산
52.9
35.3
54.5
33.4
1.6
-1.9
경기
44.2
50.7
43.8
51.3
-0.4
0.6
강원
52.5
41.5
54.9
39.0
2.4
-2.5
충북
42.9
50.4
43.9
50.8
1.0
0.4
충남
41.2
52.2
42.3
50.4
1.1
-1.8
전북
6.2
91.6
5.3
92.7
-0.9
1.1
전남
4.6
93.4
4.4
94.4
-0.2
1.0
경북
73.5
21.7
75.7
19.2
2.2
-2.5
경남
67.5
27.1
68.7
25.4
1.2
-1.7
제주
39.9
56.1
39.8
56.3
-0.1
0.2
A2-11
2003/3/25
출구조사의 오차 발생요인과 극복방안
3. 표본 오차 – 결과 집계
16개 지역별 예측 오차
• 대선예측을 위한 출구조사에서
KRC는 16개 지역별 예측 결과를
종합해 전체 결과를 예측하는
방식을 적용함
• KRC는 이번 선거에서 투표소
기준으로 최대 규모의 출구조사를
실시해, 지역단위의 예측에서는
가장 정확한 결과를 보이고 있음
• 그러나, 지역별 결과를 집계하는
과정에서 발생하는 오차로 인해
전체 결과예측에서는 두드러진
정확성을 보이지 못함
KOSOMAR 세미나
KRC 예측 오차
지역
OO사 예측 오차
이회창
노무현
오차 합
(절대값)
이회창
노무현
오차 합
(절대값)
전국
0.3
-0.5
0.8
0.2
0.2
0.4
서울
-1.1
1.5
2.6
2.2
-1.9
4.1
부산
1.7
-1.5
3.2
-0.8
0.5
1.3
대구
2.0
-1.8
3.8
-0.6
0.5
1.1
인천
-0.2
0.6
0.8
-1.3
1.9
3.2
광주
-0.8
0.6
1.4
-0.7
0.7
1.4
대전
0.3
0.0
0.3
-0.1
0.4
0.5
울산
1.6
-1.9
3.5
-5.2
3.4
8.6
경기
-0.4
0.6
1.0
-1.8
1.4
3.2
강원
2.4
-2.5
4.9
0.7
-0.7
1.4
충북
1.0
0.4
1.4
2.0
-1.1
3.1
충남
1.1
-1.8
2.9
2.0
0.3
2.3
전북
-0.9
1.1
2.0
-0.7
1.2
1.9
전남
-0.2
1.0
1.2
-1.2
1.9
3.1
경북
2.2
-2.5
4.7
-2.6
1.8
4.4
경남
1.2
-1.7
2.9
-4.8
3.5
8.3
제주
-0.1
0.2
0.3
-1.0
1.4
2.4
오차평균
1.1
1.2
2.3
1.7
1.4
3.1
A2-12
2003/3/25
출구조사의 오차 발생요인과 극복방안
Ⅴ. 출구조사의 오차 극복 방안
1. 표본 오차
• 출구조사에서 대표동 추출방식을 주로 사용할 경우에는 투표소 추출에 따른 오차 발생 가능성이
클 것으로 판단됨  투표소 추출방식에 대한 깊이 있는 연구 필요
투표소 추출
응답자 선정
결과 집계
KOSOMAR 세미나
• 이전 선거의 1,2위 오차를 우선적으로 고려하는 현재의 대표동(읍/면) 추출방식은
동(읍/면)별 투표 성향의 변동에 따라 영향을 받을 수 있음
 누적 자료를 바탕으로 지역별 대표성을 지수화하여 선거에 따른 변동을 최소화할
수 있는 방법론 개발 필요
• 지역별로 열세에 있는 후보 지지자의 거절률이 상대적으로 높게 나타남
 일차적으로 투표자의 응답률을 최소활 수 있는 방안을 마련하고, 거절자의 성향을
분석할 수 있는 방안(성별/연령별 특성 반영) 마련
• 현재의 결과집계방식은 정확한 지역별 투표율을 알 수 없어 과거 투표율을 근거로 한
추정치를 사용함
 과거 투표 경향과 투표 당일의 시간대별 투표율을 결합하여 실제에 가까운 투표율을
추정하여 가중치로 사용
A2-13
2003/3/25
출구조사의 오차 발생요인과 극복방안
2. 비표본 오차
• 출구조사의 특성상 면접원 동원과 교육, 현장 조사진행 과정 등 조사 전반에서 비표본 오차가 발생할
가능성이 매우 높음  비표본 오차에 대한 지속적인 관리 /개선 노력 필요
면접원의
수준 제고
조사진행
관리
돌발상황
대처
KOSOMAR 세미나
•
•
•
•
•
출구조사 과정 및 방법을 정확하게 이해하기 위한 교육 매뉴얼을 만든다
조사에 대한 관여도가 높은 연구원을 중심으로 교육을 수행한다 ( 자료 참고)
교육 내용의 표준화를 위한 체크 리스트를 활용하여 반복 연습 교육을 실시한다
조별 교육을 활용해 연구원간에 교육 내용을 상호 검증할 수 있는 시스템을 갖춘다
Role Playing을 적극적으로 활용하여 교육 내용의 이해도를 체크 한다
•
•
•
•
지역별 관리자를 통해 투표소를 지속적으로 관리할 수 있는 시스템을 구축한다
출구조사에 대한 경험이 있는 면접원을 조장으로 선발한다
조장에 대한 추가적인 교육과 사명감 고취 등을 통해 자체 관리를 유도한다
조장/조원 구성 시 조 내부에서 갈등이 발생할 수 있는 소지를 미연에 차단한다
• 조사과정에서 발생 가능한 문제에 대해 응대 요령을 숙지 시켜 초기 대응능력을 제고한다
• 지역별 관리 책임자를 두어 면접원 단위의 대처가 불가능한 상황에 대해 대처한다
• 지역별 관리 전담 연구원을 편성하여 현장의 문제상황에 대해 민첩하게 대응한다
A2-14
2003/3/25
출구조사의 오차 발생요인과 극복방안
 교육관련 참고 자료
자료 1
자료 2
조원 구성
및 역할에
대한 설명
조원 역할
배정 및
모의 상황에
대한 대처
요령 설명
자료 3
자료 4
투표자에
대한 등간
추출 및
응답과정
모의 연습
문제상황에
대한 추가
설명 및
보충
KOSOMAR 세미나
A2-15
2003/3/25