Transcript 국가통계 품질관리 - 고려대학교 BK21 경제통계 교육 사업단

국가통계 품질관리
2010. 9.
통계청 품질관리과
I
I
통계품질관리 개요
우리나라의
1II 국내외
정보화 통계품질관리제도
정책 및 환경변화 전망
통계품질진단
방법및 환경변화 전망
III 국내외
1
정보화 정책
통계작성
가이드라인
Ⅳ
1 국내외
정보화
정책 및 환경변화 전망
1V
통계종류별 오차관리
 잘못된 통계가 주는 시사점
이용자 :
통계보면 혼란스러워
어느 것이 정답일까
혹 이용하다 손실?
정부 신뢰 추락
생산자 :
조사만, 집계만 하면돼?
정확성은 이용자가
알아서 판단 사용
결과 책임없음!!!
Ⅰ. 통계품질관리 개요
정의
국가통계?
품질?
통계품질
관리?
품질관리?
통계품질관리?
통계의 정의
국가통계?
통계작성기관이 정부정책의
수립,평가 또는 경제사회 현
상의 연구분석 등에 활용할
목적으로 작성하는 수량적 정
보 (통계법 제3조)
불확실한 상태에서 올바른 판
단을 내리기 위한 정보
품질의 정의
품질?
Quality  Qualitas:
Difference of Items,
Goodness or Badness
제품의 유용성을 결정하는 성
질 또는 사용목적을 다하기
위해 구비해야 할 성질
좋은 품질? 소비자의 사용목적
이나 조건에 맞는 품질, 최고나
최상이 아니라 최적의 품질
통계품질의 정의
통계품질?
올바른 판단을 내릴 수 있는 정
보인지의 여부
사용목적에 맞는 최적의 정보
관리의 정의
관리?
조직의 목표를 설정하고 이를
능률적으로 달성하기 위해 협
동적 노력을 지휘 조정하는 과
정
품질관리의 정의
품질관리
(Quality
Management)?
고객이 요구하는 품질을 확보
· 유지하기 위해 품질목표를
세우고, 이것을 합리적이고 경
제적으로 달성할 수 있도록
PDCA 사이클에 따라 수행해
나가는 모든 활동
PDCA 사이클
Plan
계획
표준 설정
DO
계획대로 실행
Act
Check
수정 조치
검토 및 평가
품질관리 관련 용어 1
Quality
Management
Quality Control
Quality
Assurance
품질 방침, 목표 및 책임을 결
정하고 품질경영시스템 내에
서 품질계획, 품질관리, 품질
보증 및 품질개선과 같은 수
단에 의해 이를 수행하는 전
반적인 경영 기능의 모든 활
동
품질관리 관련 용어 2
Quality
Management
Quality Control
Quality
Assurance
품질요구사항을 충족시키는
데 사용되는 운영상의 기법
및 활동
경제적인 효과를 달성하기 위
해 모든 공정을 감시하고 불만
족스러운 수행성과의 원인 제
거를 목적으로 하는 기법 및 활
동
품질관리 관련 용어 3
Quality
Management
Quality Control
Quality
Assurance
품질요구사항을 충족시킬 것이라
는 신뢰감을 주기 위해, 품질경영
시스템에서 실시되고 실증되는 모
든 계획적· 체계적 활동
내부적으로는 경영자에게 신뢰감을,
외부적으로는 고객 또는 제3자에게
신뢰감을 주는 것이 목적
품질요구사항이 사용자의 요구를 충
분히 반영하지 못하면, 품질보증은 적
절한 신뢰감을 줄 수 없게 됨
통계품질관리의 정의
통계품질관리?
품질관리의 대상이 통계
이용자가 만족할 수 있는
통계를 가장 합리적이고 경
제적인 방법으로 작성·제공
하기 위한 활동
품질관리와 통계품질관리
품질관리
통계품질관리
조직
기업
통계작성기관
관리대상
상품·서비스
통계
고객
소비자
통계이용자
경제성, 기능, 성능, 외관,
내구성, 안전성, 편리성,
조작성
관련성, 정확성, 비교성,
일관성, 시의성/정시성,
접근성/명확성
불량품 최소
 고객만족
신속·정확한 통계작성
이용자 목적에 적합한
통계 작성·제공
품질차원
(요구사항)
품질기준
통계품질관리의 목적
정확한 통계는 국가경영에 필수적인 인프라
통계의 왜곡은 곧 정책의 왜곡
정보화 사회는 정확한 통계에서 시작
정확한 통계 데이터베이스 구축 필요성 대두
통계는 지방자치 시대의 필수 요소
통계품질관리의 활용
IMF
IMF는 일반 자료제공기준(GDDS)과 특별 자료제공
기준(SDDS)을 두어 통계품질을 관리
- GDDS : IMF회원국 모두에게 적용할 수 있는 기준
- SDDS : 국제자본시장에 진출하려는 원국가를 위한
기준
대부분 유럽 통계시스템의 개발 프로그램(European
Statistical System:ESS)에 참여
유럽국가
1999년 이후 ESS통계품질을 높이기 위한 품질 리더십
그룹(Leadership Group on Quality:LEG)의 구성 후
프랑스, 독일, 이탈리아, 그리스, 네덜란드, 포르투갈,
영국 등이 수용
OECD
2001년, OECD에서 특별 팀을 구성 ‘OECD 품질관리
체계’ 구축에 착수
1994년 처음 품질평가제도 도입
현재 통계품질을 관리하는 조직이 별도 구성
Eurostat
품질에 대한 보고서 (일명 Quality Report) 개발
2000년 8월에는 종합통계를 제외한 모든 통계에 품질
보고서를 작성하도록 함
1985년 ‘캐나다 통계품질 가이드라인(Statistics Canada
캐나다
Quality Guidelines)’ 발간
인적자원의 효과적인 개발과 관리를 위한 프로그램 운영
통계품질을 보증하기 위한 기관 내의 절차들을 문서화
Ⅱ. 우리나라의 통계품질관리제도
 도입 배경/연혁
금융외환위기 (1997)
IMF 위기
품질관리업무 시작 (1999)
품질진단시스템 도입
연혁
2002-2005년 : 통계청 생산통계를 대상으로 시범실시
2006년부터 : 539종 통계 정기품질진단 실시
2008년 : 자체품질진단 실시
국가통계 작성실태 예비점검 결과
통계전담조직 및 통계인력 부족
통계용어 정의, 기준, 작성지침 등 부족
명확한 모집단 부재, 모집단 관리 필요
자료수집 단계의 오차 발생에 대한 관리 필요
대부분 관련 통계자료와의 비교검증 없이 공표
정부승인통계의 불신과 국민혼란 초래 가능
(2005. 9. 국가승인통계 현황조사 결과)
법적 근거
2007년 개정 통계법
모든 승인통계는 품질진단의 대상
정기진단: 5년마다
외부전문가 진단 (제9조)
수시진단: 자체진단을
안 하거나 품질 저하가
의심되는 통계 등은
수시로 외부전문가 진단
(제10조)
자체진단: 매년 모든
승인통계 작성기관
스스로 진단, 단 정기
또는 수시 진단 연도
제외, 주기 1년 초과
통계는 작성 당해 년
또는 다음 년에 실시
(제11조)
우리나라의 통계제도
집중형 성격이 강한 분산형
각 기관의 통계수요에 따라 통계 생산 및 보급
중앙통계 기관인 통계청이 통계조정
국가 통계제도 유형
구분
집중형
집중형
분산형
균형적 발전과 체계화 용이
업무분야 전문지식 활용
객관성과 신뢰성 확보
통계수요에 신속한 대응
전문인력과 장비의 효율적
활용
업무분야의 전문지식 활용
분산형 곤란
통계수요에 신속 대응 곤란
국가
캐나다, 스웨덴, 핀란드,
네덜란드
 통계작성 중복에 따른
 예산과 인력 낭비 초래
 미국, 영국, 일본, 한국
품질관리의 목적
• 정확한 통계
생산
• 사용적합성
확보
• 지속적 품질
개선 지원
품질의 기준이 달라졌습니다.
과거
현재
오래 사용할 수 있고
고 튼튼한 측면,
의 물리적 성질
질기
즉 제품
이용자 요구사항을 충족
시키는 것
제품 생산부터 공급까지
품질에 대한 중요성을 전
면적 강조
통계품질의 기준도 달라졌습니다.
전통적 “통계품질”
 정확하고 신속한 통계
 표준편차, 즉 평균제곱오차(MSE,
Mean Square Error)로 품질측정
오늘날 “통계품질”
 통계가 이용자들에게 얼마나 사용
하기 적합하도록 작성 및 제공되고
있는가, 즉 이용 적합성
(Fitness for Use)
 결국에는 오차의 최소화도 포함
품질의 정의
사용적합성 (Fitness for use)
다차원적 개념 (Multi-dimensional concept)
정확성
시의성
접근성
관련성
일관성
비교성
품질차원 비교
한국
Eurostat
IMF*
영국
OECD
캐나다
호주
관련성
○
○
○
○
○
○
○
정확성/신빙성
○
○
○
○
○
○
○
시의성/정시성
○
○
○
○
○
○
○
접근성/명확성
○
○
○
○
○
○
○
비교성
○
○
○
○
일관성
○
○
○
○
○
○
○
○
○
○
해석가능성
* IMF는 다른 용어 (prerequisities, assurance of integrity, methodologial soundness, accuracy and reliability,
serviceability, accessibility)를 사용하고 있어 의미에 따라 재분류
Ⅲ. 통계품질진단 방법
통계청
통계위원회
통계품질
향상
품질진단팀
대상통계
작성기관
정기진단 절차
5개 부문별
진단
1
1.
품질관리기반
2.
이용자만족
& 요구사항
반영실태
3.
세부작성
절차별
4.
수집자료
정확성
5.
통계자료
서비스
종합
작성기관
• 문제점 및 개선점 발굴, 개선과제 제시
• 최종보고서 작성 (통계별, 주제분야별),
통계작성기관에 환류
개선과제 이행
1. 품질관리기반 진단
품질관리의 기반인 리더십, 인적자원 등
통계생산에 필요한 기본 인프라 진단
기본현황
통계작성 여건 (인적,물적)
조직관리실태 및 통계작성담당자 인식
통계작성담당자와의 면담내용
2. 이용자만족도 진단
이용자 및 이용자요구 파악
전문가그룹면접(Focus Group Interviews) :
정성적 분석
통계이용실태 및 만족도 조사 : 정량적 분석
Focus Group Interviews (FGI)
정해진 주제에 대한 집단 상호작용을 통해
자료를 수집하는 연구방법
개인이 알고 있지만 아는 줄 몰랐던 지식을
자극해서 표출
통계이용실태 및 만족도 조사
통계이용실태
통계이용자 만족도
전문이용자에 대한 질문
응답자 기본정보
3. 세부작성절차별 진단
통계생산절차별 진단
“절차의 품질이 생산물의 품질을 좌우”
품질지표(질문)를 이용한 품질차원 진단
통계작성담당자 내부진단
 내부진단서 및 근거자료를 바탕으로 2명의
전문가가 외부진단
절차 진단 (조사통계)
(1)
(2)
(3)
(4)
통계작성 기획
및 관리
모집단 및
표본 설계
조사표 설계
현장조사관리
(7)
(6)
(5)
사후관리
자료이용
자료처리 및
집계
통계종류별 절차진단 비교
조사통계
1.
2.
3.
4.
5.
6.
7.
•
통계작성기획 및 관리
모집단 및 표본 설계
조사표설계
현장조사 관리
자료처리 및 집계
자료이용
사후관리단계
품질개선 의견서
보고통계
1. 통계작성기획 및 관리
2. 자료수집 대상설정 및
양식설계
3. 보고체계 관리
4. 자료처리 및 집계
5. 자료이용
6. 사후관리단계
• 품질개선 의견서
가공통계
1. 통계작성기획단계
2. 통계작성과정 설계
3. 투입자료 수집입력편집
4. 투입자료 조정,가공,
통계작성
5. 결과공표 및 자료이용
6. 사후관리단계
• 품질개선 의견서
4. 수집자료의 정확성
조사나 보고 등 자료가 수집되는
과정에서의 오류(오류가능성) 점검
전화 또는 현장방문 재조사 (조사통계)
현지 담당자 면담 (보고통계)
투입자료 선정과정과 절차상 문제점 (가공통계)
5. 통계자료서비스 진단
발간물의 충실성 점검
발간물 오류 점검
수치자료, 표 형식 및 내용, 용어해설, 단위,
주석, 출처 및 도표(그림), 표기방법 등
이용자편의사항 점검
이용자를 위하여, 조사정보, 모집단 및
표본설계, 자료집계 및 추정 등
Ⅳ. 통계작성가이드라인
통계작성기획
◈ 통계조사에 의해서 작성할 것인지, 행정체계에 의해서
작성할 것인지 결정
☞ 자료수집 계획을 수립
◈ 기획 시, 얻고자 하는 정보의 내용, 정보를 어디서 또는
누구로 부터 얻을 수 있는지 등을 검토
◆ 통계작성기획: 조사 필요성, 조사대상, 조사주기 등
◆ 조사목적 설정
◆ 이용자 요구사항 파악
 조사(통계작성)계획에 포함해야 할 사항
• 조사 필요성, 조사목적 및 대상, 분석하고자 하는 내용 등
• 통계조사(작성)기준시점, 통계작성 및 공표 주기
• 조사항목, 조사방법 등이 실제 현장에서 적용 가능한지
⇒ 시험조사(pretest, pilot survey: 사전조사) 계획 수립
• 조사된 자료를 통계표로 작성 분석 계획 수립
• 표본크기, 조사비용 등을 감안한 조사원 및 입력요원의
채용 계획 수립
• 개인식별 가능 자료는 개인정보 보호 계획 수립
• 조사된 자료의 보존 및 폐기를 위한 자료 관리 계획 수립
• 조사의 법적 근거(법률, 규정 및 지침 등)을 조사표에 명확히 제시
※ 통계의 중복성 검토 ⇒ 작성승인, 변경승인
<< 통계작성 승인 >>
<< 통계변경 승인 >>
 조사목적
□ 명확하고 실현 가능하도록 설정
□ 통계의 필요성 또는 이용은 어디서(정부기관 또는 민간기관 등),
어떠한 정책에 어떻게 이용하는지 구체적으로 명시
 통계작성 주기는 통계작성 목적, 예산, 통계 이용자의
요구 등을 반영하여 월, 분기, 연간, 2년, 3년, 5년 등
일정하게
 이용자 요구사항
※ 통계 이용자가 누구인지,
어디에 사용하는지 등에 대한 정보를 가지고 있어야
□ 가능한 많은 이용자 정보를 체계적으로 수집, 관리
□ 전문가회의, 표적집단면접(FGI), 이용자만족도조사 등을
실시
□ 통계 이용자 뿐만 아니라 통계조사 응답자도 포함하여
조사 응답의 어려움이나 문제점을 파악·개선
□ 통계이용자 자문그룹을 운영, 향후 잠재적 이용에 대비
조사통계 설계
 개념정립 및 분류기준 설정
⇒ 통계표준 분류 사용
 표본추출틀 및 표본설계
⇒ 모집단 정의 표본설계 내역
 조사표 설계 및 사전 검증
⇒ 조사표 작성 및 문항 점검
 개념정립 및 분류기준
◈ 모집단(population), 표본 추출틀(sampling frame: 조사대상명부),
통계용어, 분류기준, 작성방법 등을 포함
□ 통계 용어, 분류기준(산업분류, 사인분류 등), 작성방법 등은 국내∙
외 비교 및 이용상 혼란을 방지하기 위하여 표준 체계 이용
표준 체계가 없는 경우, 가능한 관련 통계에서 일반적으로
적용하고 있는 체계를 이용
□ 유사한 타 통계의 분류체계와 다른 경우, 이용자들의 혼선
방지를 위해 이를 명시
□ 조사계획 수립 시, 분류기준 명확히 정의
□ 분류기준이 현장에서 적용 가능한지 시험조사(사전조사) 시
확인
 표본추출틀
목표모집단: 개념적으로 정의된 모집단, 알고자 하는 조사대상 전체
조사모집단: 현실적인 표본추출 대상이 될 수 있는 단위로 구성된 모집단
표본추출틀 : 모집단에서 실제 표본을 추출하기 위해서 사용되는 모든 추출
단위가 나열된 명부 또는 목록
※ 표본추출틀은 조사시점에서 가장 최근 자료로 갱신
 표본추출틀 구성
□ 조사모집단을 가장 잘 설명할 수 있는 최신의 표본추출틀을
정의, 조사대상 목록을 수집
 사업체과련 조사: 업종 변경 또는 폐업, 신규, 이전 등을 반영한
사업체 모집단을 구축 ⇒ 전국사업체조사 이용
 가구/인구관련 조사: 이사 또는 재개발, 신축 등을 반영한
가구/인구 모집단 구축 ⇒ 인구총조사 + α
□ 경상조사의 표본 추출틀과 목표모집단 간 포괄범위 비율
주기적(매 5년) 점검
* 각 층의 포괄범위 비율은 95% 이상, 85% 미만인 경우 잠재 편향(bias) 분석
포괄범위 비율=(표본 추출틀의 단위 수/목표모집단의 단위 수)
 표본설계 : 모집단을 대표하도록
 표본설계 시 포함 사항
• 목표모집단, 조사모집단과 표본 추출틀(조사대상명부)
• 목표 응답률
• 층화나 집락을 위한 기준
• 표본추출방법 및 크기, 신뢰수준, 목표 표본오차,
표본추출률
* 목표 표본오차: 표본 추출틀에서 추출된 표본의 표준오차, 상대표준오차,
변동계수 등
* 표본 추출률: 전체 모집단(조사모집단)을 구성하는 단위 중 표본으로
추출된 단위들의 비율 또는 백분율
• 통계치 추정과 가중치 부여 방법
 표본추출 시 고려 사항
□ 기존의 유사한 조사에서 적용한 표본추출방법 등을 참고하여
적용 가능한 가장 효율적인 표본추출방법 선택
□ 확률추출방법 적용의 경우, 주요항목의 허용 가능 오차 크기
(허용오차)가 어느 정도인지
□ 비확률추출방법 적용의 경우, 그 이유를 상세히 밝히고,
추정치의 잠재적 편향 추정과 표본오차를 추정하기 위한
방법을 조사계획에 포함
□ 표본추출방법과 표본크기는 조사의 용이성, 조사비용 등을
감안하여 결정
□ 표본 추출 시에는 조사 중에 발생되는 응답거부, 접촉 불능
등에 대비하여 일정 수(10~30%)의 예비 표본을 준비
<< 표본설계 요약서(통계 승인 요청시) >>
 조사표 설계
◆ 조사표 설계 시, 고려 사항
•
•
•
•
•
조사목적
• 응답자 특성 및 조사 환경
조사표의 형식, 문항 간 논리적 흐름
조사항목의 민감성 • 사용된 용어 및 분류체계의 명확성
조사원 및 응답자의 조사항목에 대한 이해도
면접 소요시간
• 전산처리를 위한 요구사항
󰋮 조사표 설계 단계에서 대내․외 전문가의 의견수렴 및 통계
이용자들의 요구사항 반영
󰋮 설정된 조사문항, 시험조사를 통해 사전 검증
󰋮 자료 분석까지 고려한 통계표 작성 계획 수립
󰋮 조사표 내용을 주기적 검토로 사회∙경제적 환경 변화를 반영
<< 조사표 작성과정 >>
 조사표 포함 내용
조사제목
조사목적
국가승인통계 로고 및 작성승인번호
응답자 협조 요청 및 조사 협조에 대한 감사 인사
조사기관 (주관기관, 협조기관)
응답자에 대한 비밀보호정책
문의사항 연락처 등
 조사표 설계
󰋮 질문항목은 응답자 관점에서 용어, 조사항목 간 논리흐름
등 사전에 검증
• 질문은 간단∙명확하게 표준어 사용
• 문항 간 이동은 응답자가 쉽게 따라갈 수 있도록
• 조사 문항은 시험조사를 통해 문항이 쉽고 응답자들이 이해
가능한지 점검
• 조사 문항 수는 적절하게, 항목 무응답을 줄일 수 있도록
󰋮 응답자의 주의를 환기시키기 위한 다양한 디자인 채택
󰋮 주기적 조사는 질문항목의 일관성 유지 중요, 누락· 신규
추가된 항목이 있는지 검토
󰋮 통상적인 개념과 다를 경우에는 이용자들의 혼선 방지를
위해 이러한 사실을 기술
자료수집
◆ 자료수집계획 결정
⇒ 자료수집 방법( PAPI, CAPI, CATI 등)
◆ 조사원 채용 및 교육
⇒ 조사지침서 교육 및 조사원 관리방안
◆ 조사된 자료의 관리
⇒ 조사표 관리 및 조사명부 관리
 자료수집 계획
◆ 자료수집 계획 시 고려 사항
• 수용할 수 있는 응답률 확보를 구체적인 자료수집 기법
• 자료 수집의 빈도와 시기
• 현실적인 실행계획과 비용
• 조사현장의 환경, 무응답 처리 방법 등
󰋮 조사체계 수립 시, 조사원 업무량(평균 조사시간 및 1일 평균 조사
대상 수, 1일 평균 조사대상 수 등)을 검토하여 조사일정 수립
󰋮 조사원 채용 및 교육방안 마련
󰋮 표준화된 조사를 위하여 「조사지침서」 마련
󰋮 현장조사의 정확성과 효율성 위한「현장조사 운영 지침」
마련
 자료수집 방법
종이조사표 조사방식(PAPI: paper assisted personal interviewing)
컴퓨터 이용한 조사방식(CAPI: computer assisted personal interviewing)
컴퓨터 이용한 전화조사방식(CATI: computer assisted telephone
interviewing)
컴퓨터 보조자기기입식조사(CASI: computer assisted self interviewing)
󰋮 자료 품질을 최대화하고 응답 부담과 비용을 최소화, 효율
적인 자료수집 방법 선택
󰋮 컴퓨터를 이용한 조사(CAPI, CATI, CASI 등) 경우, 조사항목 응답
적절성 검증하는 모듈 적용
󰋮 전화/CATI 경우, 응답자에게 조사의 중요성을 잘 설명하고
질문은 가급적 짧고 명료하게
▪ 접촉 시간대를 너무 이른 시간/늦은 시간/식사시간 등은 피해야
 조사원 교육
󰋮 조사에 대한 전반적인 이해와 표준화된 조사 위해 표준화된
교육훈련 프로그램을 개발
󰋮 조사목적, 조사대상, 작성기준시점(조사대상기간), 응답자
비밀보호정책, 조사된 조사표 검토요령 등 반드시 교육
󰋮 응답자를 대하는 태도, 응답자 조사 참여 유도 및 불응 조사
대상처 대처 방법 등에 대한 교육
※ 조사원 사고나 개인적인 사유로 조사수행이 불가능한 경우
적시에 조사원을 대치하기 위한 예비 조사원 확보
<< 통계작성을 위한 조사업무 협조 체계 >>
 조사된 자료의 관리
◈ 조사관리자는 잠금장치가 되어 있는 안전한 곳에 수집된 자료 보관(지방)
󰋮 조사된 조사표는 조사대상명부와 비교하여 조사여부 확인
󰋮 조사관리자가 조사표 기입 내용 점검한 후, 수집절차를 거쳐 중앙으로
배송
󰋮 컴퓨터 이용한 조사 시, 조사원 또는 조사관리자가 입력상 오류 점검하고,
최종적으로 중앙의 컴퓨터로 전송
■ 조사표 관리 및 보관, 폐기에 대한 계획 수립
■ 허용된 권한자 이외는 접근 제한, 일정기간 안전한 장소 보관
⇒ 2~3년간 보관
자료처리 및 추정
◆ 에디팅(내용검토)
⇒ 수집자료 오류점검
◆ 코딩 및 자료입력
⇒ 코딩 지침서 제공 및 자료입력 방법
◆ 무응답 처리 및 추정
⇒ 단위 무응답/항목 무응답 처리
추정방안 마련
 에디팅(내용검토)
◈ 에디팅 일반 규칙
• 응답값 전체가 믿을 수 없는 경우, 해당 자료를 버린다
• 다른 보조정보나 다른 항목의 응답값에 의해 오류가 명확
하게 고쳐질 수 있는 경우에는 수정
• 무응답의 대체가 적절하다고 판단될 때, 대체 지침에 따라
대체
• 수정이 적절치 않은 항목의 오류값은 무응답 처리
󰋮 에디팅 작업 계획을 수립/상세한 에디팅 지침서 준비
󰋮 무응답/일관성이 떨어지는 자료는 재확인을 위한 전화,
재방문 실시
󰋮 발견된 오류는 먼저 응답자나 조사원을 재접촉하여 사실
확인한 후, 응답값 수정
󰋮 에디팅 작업 과정에서 발견된 오류의 원인과 수정에 관한
정보는 기록
󰋮 반복조사에서 일관성 있게 잘못 조사되는 경우, 신축성있게
에디팅을 하는 것이 효과적
󰋮 에디팅 한 자료(⇒표시)는 에디팅 하지 않은 자료와 구별
 코딩
◈ 질문에 해당사항 없는 경우와 응답하지 않은 경우
구분
󰋮 조사전문가는 입력오류를 최소화하고 효율적으로 입력할 수
있는 입력 시스템을 사전 검토/도입
󰋮 자료입력은 범용 통계소프트웨어(EXCEL, SAS, SPSS, R
등)에서
쉽게 운용할 수 있는 입력 프로그램을 사용
󰋮 코딩 작업은 코딩지침서에 따라 수행, 개방형 질문에 대한
분류코드도 함께 제공
 표본오차와 비표본오차
 무응답 처리: 재방문(call-back, fellow-up),
무응답가중치조정(weighting adjustment), 결측치 대체(imputation) 등
※ 대체(imputation): 무응답을 통계적으로 산출한 적절한
값으로 대체하는 과정
󰋮 무응답 대체 기준 및 방법 등에 대한 구체적인 지침서 마련
󰋮 무응답 대체는 전문가의 도움을 받아 중앙에서 일괄 처리
󰋮 가능하면 많은 보조정보를 사용하여 대체
󰋮 대체 값은 식별 표시, 대체 이전의 원자료 값은 보관
󰋮 대체방법은 보고서에 반드시 명시
󰋮 대체는 최소한, 대체율은 명시
□ 무응답의 유형 분류 및 대책 마련, 문서화
부적격 대상, 응답거절, 접촉 불가능, 부재, 기타 등
 추정
◆ 추정 시, 표본 추출방법과 표본 추출률, 실제 조사율,
무응답률 등 감안하여 가중치 부여
□ 추정의 적정성을 평가할 수 있도록 추정량의 분산, 표준
오차, 변동계수, 신뢰구간 등 밝혀야
□ 추정치는 과거의 추정 결과와 비교 분석하여 적절한지 검토
□ 추정치 재생산과 투명성, 객관성 보장 위해 추정모형과 방법
명확히 밝혀야
품질평가
품질차원
◆ 관련성
◆ 정확성
◆ 시의성/정시성
◆ 비교성
◆ 일관성
◆ 접근성/명확성
 관련성
󰋮 이용자가 누구인지, 어디에 사용하는지 등 이용자에 관한
정보 수집
󰋮 이용자 요구사항이 많은 경우, 중요성, 실현 가능성 등을
감안하여 우선순위를 정하여 통계 개선에 반영
 정확성
󰋮 정확성 지표로 평균제곱오차(MSE), 표준오차(SE), 변동계수
(CV), 신뢰구간(신뢰한계) 등을 제시한다.
󰋮 주요 통계값의 편향과 변동성(분산) 등을 이전 조사결과와
비교하여 평가하도록 한다.
󰋮 조사 후 추정된 표본오차와 표본추출 시 목표로 했던
표본오차(목표 표본오차)를 비교하여 조사된 표본의 정확성을
분석
 시의성/정시성
※ 시의성: 통계작성 기준시점과 결과 발표시점간의 차이
연간 통계
반기통계
분기 통계
월간 통계
∙ 상당한 시차
24개월 이상 12개월 이상 180일 이상
60일 이상
∙ 다소 긴 시차
18~24개월
9~12개월
136~180일
46~60일
∙ 보통
12~18개월
6~9개월
91~135일
31~45일
∙ 약간의 시차
9~12개월
4~6개월
60~90일
20~30일
∙ 매우 작은 시차
9개월 미만
4개월 미만
60일 미만
20일 미만
󰋮 조사기준시점(통계작성기준시점)과 최종 결과 공표일(발간일)을
보고서 또는 통계간행물에 명시
󰋮 계획된 공표시점을 준수, 만일 차이 발생 시 원인과 향후 개선
방향을 제시
 비교성
󰋮 국제 비교 통계는 국제기준의 분류 및 작성방법 등을
적용하여 통계 작성
󰋮 다른 통계와 비교 시, 개념 및 정의, 통계작성목적,
모집단 구성, 표본추출방법, 작성방법 등 기술
<< 비교성 (경제활동인구) >>
 일관성
󰋮 일관성 비교하기 전에 통계작성목적, 작성방법, 기준 등
비교 검토하고 자료 이용시 주의점 기술
󰋮 시계열자료인 경우, 시계열(조사대상 기간)에 단절이
발생하는 경우 시계열 단절 전후의 측정 개념과 방법상의
차이 기술
󰋮 주요 통계치에 대한 잠정치와 확정치 비교, 차이를 측정
하고 원인 설명하도록
 접근성 및 명확성
□ 통계자료 DB화, 간행물 및 보도자료 홈페이지 게시,
SMS로 속보 전송 등 통계자료 제공
□ 자료를 쉽게 찾을 수 있도록 검색기능 추가
□ 통계작성과정, 자료이용방법, 마이크로데이터 이용방법,
통계이용상 유의점 등에 대한 설명자료(메타자료) 제공
문서화 및 자료제공
◆ 문서화
⇒통계조사문서, 통계작성문서,
통계결과문서
◆ 업무 매뉴얼
⇒ 조사지침서, 업무편람 등
◆ 자료제공
⇒ 메타자료, 공표자료 오류점검,
 문서화
󰋮 표본설계보고서, 요약품질보고서, 무응답처리보고서,
개편보고서 등 통계 작성과정에서 중요한 사항에 대해
기술한 문서 작성
■ 통계조사 문서 (특히 외주)
■ 통계작성 문서
■ 통계결과 문서
 자료제공
󰋮 이용자 수준에 맞는 다양한 형태의 자료 생산하여 제공
󰋮 원시자료를 제공 시, 이용자에게 자세한 자료 레이아웃
(입력형태) 등 제시하는 이용자 매뉴얼 제공
<< 메타자료 수록 내용 >>
<< 오류 점검항목 >>
7장 사후 관리
◆ 인력관리
◆ 생산관리
◆ 현장조사의 사후점검
◆ 용역을 의뢰한 경우
Ⅴ. 통계종류별 오차관리
조사방법과 통계의 종류
전수조사
직접조사법
조사 통계
1차 통계
(기초통계)
표본조사
조사방법
전용(專用)
보고(업무)
통계
간접조사법
추정(推定)
2차 통계
(가공통계)
조사통계
조사통계
- 관찰 또는 연구 대상이 되는 집단을 대상으로 통계조사를
실시한 결과 얻어진 통계
전수조사
- 조사대상 집단의 모든 개체를 조사
- 센서스 또는 다른 통계조사의 모집단 제공을 위한 조사
예) 인구주택총조사, 광공업통계조사
표본조사
· 모든 개체를 전부 조사하는 대신 일부 만을 조사
조사과정
통계 작성 목적
개념/용어
보
완
목표모집단
보
완
자료 수집 방법
항목/조사표
표본설계
자료 수집 및 처리 계획
현장조사, 자료수집 및 자료처리
자료 검증 및 발표
오차의 종류
조사 오차
표본 오차
비표본 오차
일부로 전체를 추정
함으로써 생기는 오
사람의 실수, 시스템
차
결함 등에 의한 오차
(표본추출방법)
표본오차
전체를 다 조사하지 않고 일부만 조사하기
때문에 발생하는 오차
(당연히) 전수조사에서는 발생하지 않으며,
표본의 크기를 증가시키면 감소
모집단을 대표할 수 있는 전형적인
구성요소를 표본으로 선택하지 못했기
때문에 발생
표본설계의 불완전이 주요인
표본추출방법의 선택이 중요
표본추출방법
단순확률 추출법
계통 추출법
확률추출방법
층화 추출법
집락 추출법
확률비례 추출법
추출법
다중(층화) 추출법
할당 추출법
비확률추출방법
판단 추출법
모집단의 구성이 어렵고,
추출틀 작성이 곤란하여
확률추출방법 적용이 불
가능한 경우에만 사용
눈덩이 추출법
비표본오차
대상의 성격을 측정하는 방법의 부정확으로 발생
조사, 집계, 분석 등 전 과정에서 발생
거짓 응답, 무응답, 오기, 자료 입력 및 처리 오류 등
표본조사나 전수조사에 다 같이 발생하며, 전수조사에서 더
크게 발생 가능 (일반적으로 조사 대상의 수가 클수록
비표본오차는 증가하므로)
자료수집방법의 종류
구분
조사원의 관여도 높음
조사원의 관여도 낮음
종이
컴퓨터
종이
컴퓨터
응답자와
직접접촉
Face-to
face(PAPI)
CAPI
일지(가계부)
CASI,
ACASI
응답자와
간접접촉
전화(PAPI)
CATI
우편, 팩스,
이메일
TDE,
이메일, 웹,
DBM, EMS,
VRE, EDI
응답자와
접촉 없음
직접관찰
CADE
행정 자료
PDA
용어
•
CAPI = Computer Assisted Personal Interviewing
•
ACASI = Audio CASI
•
CATI = Computer Assisted Telephone
Interviewing
•
PAPI = Paper and Pencil Interviewing
•
CADE = Computer Assisted Data Entry
•
TDE = Touchtone Data Entry
•
CASI = Computer Assisted Self Interviewing
•
EDI = Electronic Data Interchange
•
DBM = Disk by Mail
•
EMS = Electronic Mail Survey
•
VRE = Voice Recognition Entry
•
T-ACASI = Telephone ACASI
보고통계
보고 또는 업무 통계
- 국가, 지방자체단체가 법령에 의거하여 개인 또는 단
체 등이 제출한 보고, 신고, 등록, 신청 등 서류상의
기록(행정기록)을 사후적으로 집계하여 작성
예) 출생신고서를 집계하여 출생통계 작성
- 행정보고, 업무처리, 등록, 행정조사, 측정으로 구분
보고통계의 특징
장점
별도 예산 확보 없이 기존 행정조직망을 통해 데이터 수집
대상집단 전체 파악 소지역별 통계 작성 가능, 표본설계나
표본이론에 근거한 추정 등 불필요
대상응답자에게 별도의 응답부담을 지우지 않아도 됨
• 단점
조사통계와는 달리 통계에 대한 이해 부족
신고 누락, 중복, 지연 등 품질저하 우려
전문성이 떨어지는 행정조직의 담당자들을 통해 자료가 수
집되므로 다양한 유형의 오차 발생 가능
보고통계의 수요증가
최근 정부 행정정보시스템이 급속도로 발전되고 있는 사정
을 고려할 때 미래에 보고통계의 수요는 더욱
이 예상
예를 들어, 스웨덴의 경우는 행정통계가 100%
증대될 것
개선이 필요한 사항
작성실태 사례
표준적 업무프로세스 미흡(문서화 등)
통계인식 및 교육 부족
이용자를 위한 정보 제공 불충분
담당자의 통계 전문성 부족
통계 품질수준 검토 필요
승인통계 재검토
온라인 자료처리 시스템 개발 필요
통계인력 확충 필요
타 통계와의 중복 검토 필요
기초자료 정비요망
기타
계
보고통계의 주요 오차
⑴ 통계작성의 원천적인 문제점
조사대상의 정의 단계에서부터 조사결과의 분석 및 공표
단계에 이르기까지 모든 단계에서 원천적으로 오류의
발생 가능성 있음
단계마다 오류가 발생하지 않도록 시스템적인 장치를
마련하는 것이 필요
통계품질관리 표준을 마련 필요
⑵ 보고통계에 내재된 문제점
행정업무의 부수적인 산물로 얻어지므로 오차계산이
근원적으로 불가능
보고자에게 유리하도록 조작, 의도적 제외, 허위응답
등으로 인한 오류 발생 가능
특히 작성목적이 보고자의 이해와 관계되는 것일 때는
자신에게 유리하도록 편향 보고 가능 (예를 들어, 기업
활동을 대상으로 하는 통계의 경우 보고자인 기업
측에서는 자신에게 불이익이 될 사항은 의도적으로
조작된 허위 응답 가능)
가공통계
한 종류 이상의 투입자료 (통계자료, 내부자료,
외부자료 등)을 분류, 집계, 편집, 가공하여 작성되는
통계
편집형 : 투입자료를 분류, 집계, 재편집
가공형 : 투입자료를 단계별로 가공하거나 구성지표를
선별하여 가공하거나 추정
복합형 : 국민계정과 같이 여러가지 편집과 가공을
거쳐 생산
가공통계의 특징
장점
자료수집을 위한 별도 조사원이나 행정조직망 확보 불필요
• 단점
수집자료의 품질에 따라 통계의 품질이 좌우
다양한 투입자료와 복잡한 가공과정 때문에 오류 발생 가능
성이 높음 ( 전문성 확보 필수)
투입자료의 변경을 통한 통계조작 가능성 존재
가공통계의 주요 오차
 투입자료의 신뢰성을 전제로 정해진 가공절차에 따라
산출되기 때문에 오차 계산 불가능
투입자료에 대한 철저한 검토 필요
 복잡한 가공단계로 인해 모든 단계에서 원천적 오류 발생
가능
통계작성 담당자의 전문성 제고
 작성담당자의 주관적 판단이나 편견, 의도적 조작 등에 의한
오류
사전 점검할 수 있는 제도적 장치 마련