Transcript 타당도
타당도 광주대학교 교수학습연구원 김 누 리 Q: 검사의 신뢰도가 높을 때 그 검사는 완 성단계에 이르렀다고 할 수 있는가? A: 신뢰도 분석이외에도 타당도를 분석 해야 함!!! • 타당도(validation)란? : 검사가 측정하고자 하는 바를 실제로 잘 측정하고 있는가? 예) 지능을 측정하기 위한 검사가 성격을 측정하고 있다면, 이는 검사의 타당도가 낮음 Q: 심리검사의 경우 정확한 측정인가를 평가할 명확한 외적기준이 있는가? 예) 삼순이가 A라는 지능검사를 실시한 후 IQ가 120이 나왔을 때 이 점수가 정확한지 여부를 확인할 수 있는 기준은? A: 심리구인은 물리적 특성과는 달리 직접적인 외적 기준이 없으므로 ‘간접적인 방법을 통 해 타당도를 분석’ * 타당도 분석 방법 : 내용타당도, 구인타당도, 준거관련타당도 내용타당도 • 내용타당도(Content validity) : 검사문항이 측정하고자 하는 내용을 얼마나 잘 대표하고 있는가를 평가 예: 초등학생 독해능력검사에서 문제의 지문으로‘선 녀와 나무꾼’이 ‘기미독립선언서’보다는 독해능력을 평가하는데 더 타당한 내용을 포함하고 있음 • 측정방법 : 전문가들에게 내용의 적절성을 판단하도록 함 • 검사의 내용타당도에 대한 수량적인 측정방 법 < 해당 문항이 내용영역을 얼마나 자세하 고 정확하게 기술하느냐가 더 중요 • 내용타당도 하나만으로는 타당도 분석에 미 흡하므로 반드시 추후 구인타당도와 준거관 련타당도를 실시해야 함 안면타당도 • 안면타당도(face validity) : 검사문항을 일반인들이 읽고 그 검사 가 얼마나 타당한가를 평가 구인타당도 Q: 구인(construct)이란? • 구인타당도(construct validity) : 검사 대상 구인을 제대로 측정하는지를 평 가하는 방법 • 구인타당도 측정방법 – 상관분석 • • • • 수렴타당도 변별타당도 MTMM 요인분석 수렴타당도 • 수렴타당도(convergent validity) : 새로운 검사를 동일하거나 유사한 특성을 측정하는 기존의 검사들과 비교하여 두 검사간의 상관계수를 구함 예: A라는 새로운 유아용 지능검사를 기존에 개발된 ‘송인섭의 유아지능검사’와 비교 후 상관관계 확인 상관관계가 높다면, 지능의 구인을 제대로 측정함을 간접적으로 확인할 수 있음 • 새로운 검사와 비교되는 기존의 검사의 타 당성이 반드시 입증되어야 함 변별타당도 • 변별타당도(discriminant validity) : 새로운 검사를 다른 특성을 측정하는 기존검사와의 상관계수를 구함 예: A라는 새로운 유아용 지능검사를 기존에 개발된 ‘송인섭의 유아성격검사’와 비교 후 상관관계 확인 상관관계가 낮다면, 지능의 구인을 제대로 측정함을 간접적으로 확인할 수 있음 준거관련타당도 • 준거관련타당도 (criterion-relatedvalidation)란? : 심리검사와 준거와의 관련성이 얼마나 있는가를 분석 • 준거란? 검사를 평가하기 위한 기준 예) 대학입학수능시험의 성적이 대학에서 학생들의 학 업성취정도를 얼마나 잘 예언해 줄 수 있는가 예언타당도 • 예언타당도 : A라는 적성검사의 적성검사점수와 직 무수행점수 사이의 상관관계를 파악 이 계수가 높을 수록 예언타당도가 높 음을 의미 • 예언타당도의 계수를 구할때 고려할점 1. 새로운 적성검사를 통해서 사람을 선발하 는 것이 아니라 검사는 그냥 실시해서 개인의 점수만 알아두고 실제 선발은 기존의 검사를 가지고 실시(타당도 검증이 되지 않은 검사로 사람 선발을 할 수 없음!!!) 2. 직무수행의 경우, 회사에 입사 직후인 사람은 선발에 제외 3. 타당도 계수에 사용된 표집이 얼마나 모집단 을 잘 대표하는가를 고려 공존타당도 Q: 예언타당도 분석방법의 단점은? A: 검사의 타당도 계수를 구하기 위해 오랜 시간을 기다려야 함 • 공존타당도 : A라는 검사를 이미 회사에 근무하고 있는 구성원들에게 실시하고 이들의 직무수행점 수를 얻어 이들 간의 상관을 구함 • 공존타당도의 단점 – – – 적성검사의 실제 모집단이 현재 근무를 하고 있는 회사원인가? 현직자들은 일반 응시자보다 우수집단일 가능성이 높음 표본집단의 적절성 문제로 여기서 얻은 타당도계수를 적용할 수 있는지의 문제가 제기 준거관련 타당도 분석의 문제점 • • • • 준거오염 표집크기 검사와 준거의 신뢰도 범위 축소 준거오염 Q: 삼순이의 입사성적이 1등이라는 것을 안 부 장이 과연 직무수행평가에서 어떤 점수를 줄 것인가? 내 부하직원인 삼식이가 고등학교 후배인데 과연 직무수행평가에서 어떤 점수를 줄것인 가? • 위의 상황에서의 점수는 정확한 능력을 측정한 것이라고 보기 힘듬 - 준거가 정확치 못함(준거오염) 표집크기 Q: 표집의 크기가 어느 정도일 때, 모집단을 대 표할 수 있는가? A: Urry(1976) 표집의 크기가 적어도 200이상은 되어야 대표성의 가능성이 90%이상은 됨 Q: 표집을 구하기 힘든 특수 상황일 경우는? A: 특정 검사의 타당도계수가 보고된 연구자료 를 근거로 타당도 추정 검사와 준거의 신뢰도 • 신뢰도가 높을 수록 타당도에 미치는 영향은 긍정적임 • 적성검사의 점수와 준거가 되는 점수의 신뢰도는 타당도 계수에 영향을 미침 * 두 변수의 신뢰도가 높을 수록 두 변수의 측정오차는 작아지므로 변수간의 상관계수는 증가하게 됨 범위축소 • 모집단을 대표하는 표본집단의 범위가 축소되었을 시에 나타나는 현상 학 점 100 200 300 400 (수능점수) 그림 1. 수능점수와 1학년 평균학점간의 관계를 나타내는 분산도 • S여대의 학생만을 대상으로 무선표집을 해버릴때- 범위축소 학 점 100 200 300 400 (수능점수) 그림 2. 수능점수의 범위가 축소될 경우의 가설적 분산도 • 분산도의 모양이 타원형이 아니라 원형에 가깝게 되어 변수간의 상관계수가 작아짐 학 점 100 200 300 400 (수능점수) 그림 2. 수능점수의 범위가 축소될 경우의 가설적 분산도 • 모집단의 상관계수를 과소추정하게 됨 • 범위축소의 정도는 응시자 중 선발한 사람의 비율이 작을 수록 더 커지고 이에 따른 상관계수도 작아짐 SOOKMYUNG UNI. EDUCATIONAL PSYCHOLOGY 타당도 방법 사이의 중복개념 • 타당도 방법은 한가지만 사용할 것이 아니라 여러 방법을 다 사용해서 검사의 타당도를 입증하는 것이 바람직 함 • 세가지 타당도 방법을 크게 보면, 결국 구인타당도 개념 내에 포함됨 • 굳이 검사개발과정에서 타당도의 적용시점을 따져 본다면, 내용타당도가 제일 먼저, 구인타당도, 준거관련타당도 순이 됨