Transcript 교육과정및교육평가13강

교육과정 및 교육평가
제 13 강
2
평가도구(검사)의 양호도
• 평가도구
 지능, 성격, 흥미, 태도, 성취도
• 인간 특성의 추론화(inference)
• 제약을 얼마나 극복했는가를 검증하는 절
차 필요
• 평가도구의 질을 검증하는 절차 필요
3
평가도구의 사용 목적과 양호도
•
•
•
•
평가도구의 사용 목적
사용 목적에 적합한 신뢰성 판단
타당성 판단
실용성 판단
4
검사 점수의 신뢰도
• 검사결과가 일관적이다
• 검사점수의 신뢰도는 가치 중립적이다.
• 규준지향검사의 ‘일관성’
 비슷한 검사 조건에서 비슷한 검사를 치른 경우 학생들
의 점수 서열 변동이 거의 없다.
• 관찰점수
 한번의 검사를 치러서 눈으로 보이는 학생의 점수
• 진점수
 동일한 검사를 무한 반복하여 얻은 점수의 평균값
 관찰이 불가능한 진짜 점수
• 오차 : 관찰점수와 진점수와의 차이를 알 수 없는 값
5
신뢰도 추정하기
 신뢰도 계수
• 검사-재검사 신뢰도
 재고자 하는 특성이 단기간에 쉽게 변하지 않는 지능검
사, 태도검사, 성격검사에 적합
 첫 번째 치른 검사의 문제를 암기 할 수 있음으로 학력검
사에는 부적합
• 동형검사 신뢰도
 내용은 다르지만 동일한 능력을 측정하는 두 동형검사를
동일한 학생들이 연속하여 두 번 치르고 두 검사점수의
상관계수를 이용하여 신뢰도를 추정
 동형검사를 만드는 것 자체가 어려워 거의 사용 안 함
6
교육평가의 역사
• 한국 교육평가의 역사
 1950년대 이후 교육평가의 실천에 관한 체계
적인 검토와 개혁 추진
 한국교육평가학회의 창립(1983)
 국립교육평가원 설립(1985)
 교육평가연구 발간(1986)
 한국교육과정평가원(1998)
7
신뢰도 추정하기
• 내적 일관성 신뢰도
 반분검사 신뢰도(split-half reliability)
 교재 참조 p349-350
 문항 내적 일관성 신뢰도
 K-R20
 K-R21 : 리커트 척도 사용시
 Hoyt 계수
 알파(Alpha) 계수 : 광범위하게 사용
8
신뢰도 계수(알파 계수)에 영향을 주는 요인
•
•
•
•
검사에 관련된 요인
치른 집단에 관련된 요인
검사 상황에 관련된 요인
신뢰도: 검사의 특성이 아니고 검사점수의
특성이며, 특정집단이 특정 검사 상황에서
특정 검사를 치른 후에 그 검사 점수가 신
뢰도를 가짐
9
신뢰도 계수(알파 계수)에 영향을 주는 요인
• 검사에 관련된 요인
 검사의 길이
 검사의 내용과 범위
 문항의 변별도
 문항의 난이도
 가능 점수 범위
• 치른 집단에 관련된 요인
 집단의 동질성
 검사 요령의 차이
 동기 유발의 차이
• 검사 상황과 관련된 요인
 부정행위
10
신뢰도 계수 해석
• 신뢰도와 상관계수의 차이
 신뢰도 계수 값은 0과 +1사이
 상관계수는 -1과+1사이
• 적정 신뢰도계수(Ebel&Frisbie, 1991)
 개인에 대한 결정: .85이상
 집단에 대한 결정: .65이상
 교사가 교실에 사용: .50이상
 외부기관에서 만든 검사: .80이상
• 오차를 잘 잡아 낼 수 있는 신뢰도 계수 사용
11
검사 점수의 객관도: 준거지향검사 결과의 일관성
• 수행평가 학산
• 검사의 양호도를 보기 위한 주요한 잣대
준거지향검사에서 사용되는 점수 체계
• 절대 수준 해석을 위한 점수
• 통과/비통과 해석을 위한 점수
12
통과/비통과 결정을위한 준거지향검사의 신뢰도계수
• 일치비율(Percent of Agreement: PA로 표현함
 교재 참조 p.357
• 평정자간 신뢰도: 상관계수
검사의 타당도
• 검사가 본래 재고자 하는 것을 잘 재고 있는지 보
여주는 지표
• 검사도구의 양호성을 평가하기 위해서 가장 중요
한 잣대
• 신뢰도는 타당도의 필수 조건(교재 p.360 참조)
13
내용 타당도 증거
• 검사가 재고자 하는 전체적인 내용을 확
인한다.
• 문항 하나하나가 문항이 재고자 목적한
내용을 적절하게 재는가를 확인한다.
• 문항의 집합인 검사의 내용이 재고자 하
는 전체적 내용을 충분히 대표하는가를
확인한다.
14
준거타당도 증거
• 검사검수가 타당성을 가지고 있음을 보이기 위하
여 그 검사 점수를 제3의 평가도구(준거)의 점수와
비교하는 것
• 공인(concurrent) 타당도 증거
 동일한 능력 혹은 특성을 재고 있는 두 평가도구(즉, 검
사와 준거)가 동일한 시기(예, 같은 날)에 치러졌을때 사
용
• 예언(predictive) 타당도
 관심되는 검사의 점수(예측도구)와 미래의 실제 수행의
적절한 평가 결과(준거점수)사이의 관련 정도를 통해 타
당도 입증
15
구인(construct) 타당도 증거
• 구인이란 직접 측정하거나 관찰하는 것이 불가능
한 인간의 인지적, 심리적 특성
• 가장 핵심적임
• 검사가 재고자 하는 것을 실제로 재고 있다는 것을
보여 줌
• 통계적 방법 사용
 상관계수 분석 방법
 요인분석
 공변량 구조 방정식 모형 방법
16
검사의 실용성
• 검사시행이 너무 복잡하지 않은가?
• 검사시행에 너무 많은 시간이 필요하지
않은가?
• 검사결과를 해석하고 활용하는 것이 너무
어렵지 않은가?
• 검사관련 비용이 너무 많지 않은가?
17