외국어 평가의 원리

2006. 9. 12 오준일(부경대) [email protected]

1

평가의 종류

• Achievement vs. proficiency tests • Norm- vs. criterion-referenced tests • Integrative vs. discrete-point tests • Speeded vs. power tests • Diagnostic vs. placement tests 2

평가의 목적

• 의사 결정에 필요한 정보 수집 • 교사가 내려야 하는 의사 결정에는 어 떤 것이 있는가?

3

평가를 위한 기본적 원칙

• 유익하고 믿을 수 있는 정보를 수집해 야 한다.

• 정보 수집 도구를 잘 만들어야 한다.

• 성취도평가를 통해 교수-학습의 효과를 확인해야 한다.

4

I. 좋은 성취도 시험의 특징

 신뢰도(reliability)  타당도(validity)  실용성(practicality)  역류효과(backwash effects)  진정성(authenticity) 5

1. 신뢰도

 측정하고자 의도한 능력을 일관성 있게, 정확 하게 측정하는 정도  측정 도구의 정밀성 문제로 생기는 오류를 최 소화하려는 노력 6

신뢰도와 점수의 구성(1)

 신뢰도가 높은 경우 진점수 오류 7

신뢰도와 점수의 구성(2)

 신뢰도가 낮은 경우 진점수 오류 8

객관식 시험의 신뢰도를 높이는 방법  영어지식의 사용 없이 추측을 통해 정답을 찾을 수 있는 문항을 배제하라.

 학생의 수행 견본을 충분히 확보하라.

 적절한 난이도를 유지하되, 변별 능력이 없 는 문항을 배제하라.

 애매모호한 문항을 회피하고 분명하고 명시 적인 지시를 제공하라.

 학생이 문항 유형에 익숙해지도록 하라.

9

주관식 시험의 신뢰도를 높이는 방법  학생의 수행 견본을 충분히 확보하라.

 학생이 문항 유형에 익숙해지도록 하라.

 학생의 문항 선택권을 최대한 축소하라.

 명확하고 자세한 채점 기준을 제공하라.

 채점자를 훈련하고 복수의 채점자를 활용하 라.

10

신뢰도의 종류

 재검사신뢰도(test-retest reliability)  동형검사신뢰도(alternate-forms reliability)  반분검사신뢰도(split-half reliability)  채점자신뢰도(rater reliability) 11

2. 타당도

• • 시험 점수에 근거하여 학생의 영어 능력 에 대해 추론할 수 있는 정도 시험 점수 자체는 아무런 의미도 없으며, 점수에 특정한 의미나 해석을 부여하는 것이 근거 있는 정도를 지칭함 12

타당도의 종류

• • • • • 내용타당도(content validity) 공인타당도(criterion-related validity) 구인타당도(construct validity) 결과타당도(consequential validity) 안면타당도(face validity) • 성취도 시험에서는 내용타당도 확보가 가장 중요함 13

성취도 시험에서 타당도를 확보하기 위한 전략       점수를 통해 학생의 영어 능력에 대한 근거 있는 추론을 할 수 있는가?

문항이 시험규격서(test specifications)에 부합하 는가?

문항이 영어 능력을 직접적으로 측정하는가?

수업 시간에 다룬 내용이 골고루 반영되어 있는가?

측정하려고 의도한 능력을 최대한 반영하는가?

측정하려고 의도하지 않은 요소가 반영되어 있는 가?

14

타당도: 요약

• • Construct under-representation Construct-irrelevant representation 15

3. 실용성

 현실적 제약을 감안할 때 실행에 옮길 수 있 는 정도  출제와 채점에 많은 시간과 예산이 소요되는 가?

 높은 수준의 교사 평가 능력이 필요한가?

16

4. 역류효과

• Power of tests 역류효과 시험의 중요도 17

역류효과의 방향성  긍정적 역류효과  부정적 역류효과 18

긍정적 역류효과를 위한 전략

► 개발하고자 하는 능력을 평가하라.

► 시험규격서에서 폭넓게 그리고 예측할 수 없 도록 내용을 추출하라.

► 직접 평가를 실시하고, 성취도 평가는 성취 기준에 근거하여 실시하라.

► 학생들이 시험에 대해 친숙해지도록 하라.

► 시험 결과의 중요성을 증대하라.

19

Test usefulness: 조건의 배합 (Bachman & Palmer, 1996)

신뢰도 실용성 타당도 성취도 시험 역류효과 20

II. 현장을 위한 시험 개발 절차

 성적 부여 시 의사 결정에 필요한 정보를 얻 기 위해서 성취도 시험을 실시한다.

 교육적 의사 결정이 중요하다면 의사 결정에 필요한 정보를 체계적으로 수집할 필요가 있 다.

21

1. 평가 상황의 이해

 평가의 목적이 무엇인가?

 무엇을 평가할 것인가?

 결과가 얼마나 상세하고 정확해야 하는가?  시험 실시에 따른 제약 사항은 무엇인가?

 어떤 역류효과를 기대하는가?

22

2. 시험규격서 작성

 내용(자료, 길이, 주제, 어휘, 문법 등)  시험의 구조 및 소요 시간  평가할 능력  문항 유형(input & response)  최소한의 도달 수준  채점 절차  예시 문항 23

3. 문항 작성

 시험규격서에 따라 시험에 포함시킬 문항을 작성한다.

 개별 문항을 작성할 때 시험규격서가 충실하 게 반영되도록 내용을 선정한다.

 작성자 자신이 문항을 여러 차례 철저하게 검 토한다.

24

4. 문항 검토

 원어민 혹은 동료 교사에게 (비)공식적으로 문항을 시행한다.

 신뢰도와 타당도에 대한 정보를 선험적으로 혹은 경험적으로 수집한다.

 문제가 있는 문항을 배제하거나 수정한다.

 자신이 개발한 문항에 지나친 애착을 가지지 않는다.

25

5. 채점등급, 채점자훈련, 타당도

 수행평가를 위한 채점등급 설정(calibration)  신뢰도 제고를 위한 채점자 훈련 실시  시험 결과 분석을 통한 신뢰도 및 타당도 확 인 26

6. 안내 자료

 학생, 교사, 학부모를 위한 안내 자료 제작  성취도 시험의 특징, 성격, 구성 설명  신뢰도, 타당도 등에 관한 정보 제공  유익하고 체계적인 평가 체계 수립 27