Transcript 서술형 평가의 채점 방법과 절차

서술형 평가의 채점 방법과 절차
이인호
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
어떤 문제를 해결하는 과정 전체, 즉 과제 해결의 전체적인 완성도에
대하여 단일한 점수를 부여하는 채점 방법
○ 분석적 채점법(analytic scoring)
문제 해결 과정의 여러 단계 또는 과제가 포함하고 있는 주요 요소
각각에 대하여 각각 점수를 할당하고, 전체적으로 합산하는 채점 방법
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
장점
 문제 해결 과정을 종합적으로 판단하여 한번에 점수를 부여하므로
채점이 비교적 신속하고 용이함.
 해답뿐만 아니라 과정을 중시한다.
 답안을 채점하는 구체적인 기준을 제시한다.
 문제해결 과정에 대하여 표준화된 점수를 준다.
 학생들의 수행에 대하여 하나의 수치를 만들어 낸다.
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
단점
 종합적인 판단의 형태를 취하므로 채점자가 서로 다른 준거를
적용할 수 있기 때문에 일관성을 가지기 어렵다.
 답안이 학생의 사고 과정에 대한 충분한 정보를 주지 못하면
교사가 확신을 가지고 채점하기 어렵다.
 문제 해결의 사고 과정에 대하여 다른 가중치를 적용할 수 없다.
 문제 해결에 대해 단일한 점수를 부여하므로 개별 학생의
강점이나 약점을 파악하기 어렵다.
1
서술형 평가의 채점 방법 종류
○ 분석적 채점법(analytic scoring)
55쪽~57쪽
1
서술형 평가의 채점 방법 종류
○ 분석적 채점법(analytic scoring)
장점
 문제 해결 과정의 여러 요소를 동시에 고려한다.
 채점 기준이 명료하여 일관성을 유지하기가 수월하다.
 원하는 범주에 따라 척도의 가중치를 다르게 줄 수 있다.
 채점 준거가 교사에게 수업에 대한 진단 정보와 학생 수행의 판단
준거에 대한 정보를 제공한다.
 교수 활동에 대한 정보와 학생의 강점과 약점에 대한 피드백을
제공할 수 있다.
1
서술형 평가의 채점 방법 종류
○ 분석적 채점법(analytic scoring)
단점
 총체적 채점법에 비하여 구조가 복잡하여 채점하는 데 시간이
많이 소요된다.
 답안이 문제 해결 과정에 대한 정보가 충분하지 않은 경우 한두
단계에 대하여 확신을 가지고 점수를 부여하기 어렵다.
 같은 총점을 받은 학생이라도 문제 해결 과정이 다를 수 있기
때문에 학생들을 비교할 때 신중을 기해야 한다.
1
서술형 평가의 채점 방법 종류
○ 총체적 채점법(holistic scoring)
대규모의 평가에서 비교적 빠르면서도 일관된 채점 방법이 요구될 때
○ 분석적 채점법(analytic scoring)
문제 해결의 핵심 단계에서 학생의 수행에 대한 피드백을 제공하고자
하는 경우
별도의 지도 시간을 요구하는 문제 해결 단계가 있는지를 확인하고자
하는 경우
학생의 답안을 상세히 분석할 수 있는 시간이 충분한 경우
진단 평가나 학생들의 강점과 약점에 대한 구체적인 피드백이 필요한
경우
2
서술형 문항 채점에서의 오류 유형
○ 집중화 경향의 오류
채점자가 점수를 부여할 때 최고나 최저점보다는 평균에 가까운 점수를
부여하는 경향
채점 점수가 중앙으로 몰려 피험자들의 차이를 제대로 판별해내기
어려워짐.
○ 표준의 오류
채점자들이 생각하는 기본이나 표준이 다름.
채점자 간에 나타나는 대표적인 오류
2
서술형 문항 채점에서의 오류 유형
○ 인상의 오류
채점자가 피험자에 대해 가지고 있는 선입견이나 사전 정보에 의한
영향
선입견에 따라 관대한 채점 또는 엄격한 채점
○ 대비의 오류
채점자의 견해나 능력이 채점에 미치는 영향
채점자가 자신의 견해와 일치하는 답안 내용은 후하게, 배치되는
경우에는 박하게 평가
채점자가 정통하거나 숙달하고 있는 부분에 대해서는 피험자의 답안
내용을 과소평가, 생소하거나 미숙한 부분에 대해서는 과대평가
2
서술형 문항 채점에서의 오류 유형
○ 논리의 오류
채점 기준에 모순된 논리가 포함된 경우
‘사교적이면 명랑하다’, ‘예쁘면 착하다’
○ 근접의 오류
시공간적으로 가깝거나 먼 차이로 인하여 발생하는 채점 결과의 차이
평가 시행 직후의 채점 결과와 시간이 경과한 후의 채점 결과에 차이가
발생
3
서술형 문항의 채점
채점의 오류를 줄이기 위한 방안
다수의 채점자가 채점한다.
답안지 별로 채점하지 않고, 문항 단위로 채점한다.
답안지의 피험자 정보를 가리고 채점한다.
채점자들이 한 장소에 모여서 채점한다.
채점을 시작하기 전에 피험자들의 전체적인 답안의 내용과 수준을
파악한다.
휴식 시간을 가져 채점에 대한 피로도를 낮춤으로써 채점의
일관성을 유지한다.
3
서술형 문항의 채점
채점 절차
피험자 답안지 검토
예비 채점
채점 기준 확정
채점(공동, 교차)
채점 결과 공개 및 이의 신청 처리
채점 결과 확정
3
서술형 문항의 채점
국가수준 학업성취도 평가의 채점 절차
표집 답안지 샘플링
표집 채점 및
채점 기준 수정/보완
기준 점수 설정
채점 기준 확정
채점 기준 연수
시도 채점
연습 채점
채점 결과 수집/분석
채점자 신뢰도 점검
평가 결과 산출