Transcript 원격교육의 평가 요소 7 - e

원격교육의 평가
원격교육활용론
1
교육평가의 목적
교육에서 평가를 실시하는 목적
 교육목표를 달성했는지를 확인하기 위한 것
 교수-학습과정이 잘 진행되는지를 확인 하는 것
원격교육에서의 평가는 원격에 위치한 학습자들이
학습목표를 잘 달성하는지 점검하는 것
교육목표 달성
교수-학습과정
진행
2
평가의 종류
1) 실시 시기에 따라 진단평가, 형성평가, 총괄평가로 분류
총괄평가
진단평가
수업시작 전에
학습자들의 수준을
파악하기 위하여 실시
형성평가
수업종료 후 수업목표를 달
성했는지를 확인하는 학습성
취도를 보기 위한 각종 시험
이 여기에 해당
수업과정이 제대로 진행되는 지를
확인하기 위한 수업과정 평가
간단한 퀴즈, 수업진행에 대한 질문, 또는
수업과 관련된 리포트 등이 해당
2
평가의 종류
2) 평가의 유형에 따라
상대평가
절대평가
집단 내에서 상대적으로
비율을 정해서 평가의
등급을 매기게 됨
상대적 비율에 관계없이
일정 수준을 통과하면
학습목표에 달성한 것으로 간주
3) 평가의 방법에 따라
주관식 평가
객관식 평가
 단서가 주어지지 않는 상태에서 학습자가 자신의 머리 속에서 정답을
재생해 내는 방법으로 서답형, 논술형 시험이라 불림.
 주관식평가가 실시되는 상황




평가대상 학습자의 수가 적고 같은 평가문항을 사용할 필요가 없을 때
학습자들의 종합능력을 보고 싶을 때
채점에 대한 시간, 인력이 충분할 때
단순 재생 형태의 단답형, 일부분을 비워놓고 적합한 단어, 기호 등을
삽입하는 완결형, 논문형식의 논술형이 있음.
2
평가의 종류
3) 평가의 방법에 따라
주관식 평가
객관식 평가
 검사문항에 실려 있는 여러 가지 답지 중에서 맞거나 가장 비슷한 답을
고르는 것
 객관식 문항은 다음과 같은 상황에서 많이 사용
 평가대상 학습자가 많을 때
 평가문항을 다시 사용할 때
 신뢰도, 객관도를 높이고 싶을 때
 평가결과를 빠르게 분석해야 할 때
 객관식 평가의 종류-두개 이상의 답지가 부여되는 선다형, 앙자 택일형의
진위형, 연결형태의 배합형 (연결형)
3
수행평가(Performance Assessment)
평가자가 학습자의 학습과제 수행 과정 및 결과(작품이나 활동)를 직접
관찰하고, 관찰된 결과를 전문적(주관적)으로 판단함으로써 이루어지는 평가
평가자가 학습자의 학습과제 수행 과정 및 결과(작품이나 활동)를 직접 관
찰하고, 관찰된 결과를 전문적(주관적)으로 판단함으로써 이루어지는 평가
로 학습자의 수행 정도를 보기 위해 다양한 방법으로 평가하는 방식
학습과제
학습자들에게서 성취되기를 기대하는 교육목표와 관련되는 것으
로, 가능한 한 실제 생활에서 보다 의미 있고, 중요하고, 유용한
과제
수행
학습자들이 단순히 답을 선택하는 것이 아니라, 학습자 스스로
답을 구성하는 것, 산출물이나 작품을 만들어내는 것, 태도나 가
치관을 행동으로 드러내는 것 등의 총체
관찰
학습자가 수행하는 과정이나 그 결과를 평가자가 읽거나, 듣거나,
보거나, 느끼거나 하는 활동의 총체
3
수행평가(Performance Assessment)
 수행평가의 특징
 학습자의 지식이나 기능이나 태도 등에 대해 평가함에 있어 교수자의
전문적인 판단에 크게 의존하는 방식
 자기 스스로 답을 작성(서술 혹은 구성)하거나 행동으로 나타내도록
하는 평가방식
 추구하고자 하는 학습목표의 달성 여부를 가능한 한 실제 상황하에서 파악
하고자 하는 평가방식
 교수-학습의 결과뿐만 아니라 교수-학습 과정도 함께 중시 하는 평가방식
 학습자의 학습과정을 진단하고 개별 학습을 촉진하려는 노력을 중시하는
평가방식
 개개인을 단위로 해서 평가하기도 하지만 집단에 대한 평가도 중시하는 평가
방식
 학습자 개개인의 변화·발달과정을 종합적으로 평가하기 위해 전체적이면서도
지속적으로 이루어지는 것을 강조하는 평가방식
 종합적이고 전인적인 평가를 중시하는 평가방식
 창의성, 문제해결력, 비판력, 판단력, 정보수집 및 분석력, 통합력 등을
의미의 측정을 중히 여기는 평가 방식
4
전통적 개념의 교육평가와 새로운 개념의 평가 특성 비교
구분
시대적 배경
학습관
평가 체제
평가 목적
평가 내용
전통적 평가 체제
(선택형 지필 평가중심)
새로운 평가 체제
(수행평가중심)
산업화 시대
정보화 시대
소품종 대량 생산
다품종 소량 생산
직선적·위계적·연속적 과정
인지구조의 계속적 변화
추상적·객관적 상황 중시
구체적·주관적 상황 중시
학습자의 기억·재생산 중시
학습자의 이해·성장 중시
규준지향평가 (상대평가)
준거지향평가 (절대평가)
양적평가
질적평가
선발·분류·배치
지도·조언·개선
한 줄 세우기
여러 줄 세우기
명제적 지식 (내용적 지식)
절차적 지식 (방법적 지식)
학습의 결과 중시
학습의 과정 중시
학문적 지능의 구성 요소
실천적 지능의 구성 요소
4
전통적 개념의 교육평가와 새로운 개념의 평가 특성 비교
구분
전통적 평가 체제
(선택형 지필 평가중심)
선택형 평가 위주
표준화 검사 중시
대규모 평가 중시
평가 방법
일회적·부분적인 평가
객관성·일관성·공정성 강조
학습 활동이 종료되는 시점
평가 시기
교수·학습과 평가 활동 분리
교수자의 역할 지식의 전달자
수동적인 학습자
학습자의 역할
지식의 재생산자
교수·학습·평가의 핵심 내용
교재의 역할
교수자 중심
인지적 영역 중심
교수·학습 활동
암기 위주
기본 학습 능력 강조
새로운 평가 체제
(수행평가중심)
관찰자 판단 위주
개별 교수자에 의한 평가 중시
소규모 평가 중시
지속적·종합적인 평가
전문성·타당도·적합성 강조
학습 활동의 모든 과정
교수·학습과 평가 활동 통합
학습의 안내자·촉진자
능동적인 학습자
지식의 창조자
교수·학습·평가의 보조 자료
학습자 중심
지·정·체 모두 강조
탐구 위주
창의성 등 고등 사고 기능 강조
5
새로운 평가유형
1) 연구보고서법 (프로젝트 평가)
각 교과별로나 통합교과적으로 특정 주제에 대해서
자기 나름대로 자료를 수집하고 분석·종합하여
연구보고서를 작성·제출하도록 하여 평가하는 것
 이 때 연구의 주제나 범위에 따라 개인적으로 할 수도 있고, 관심 있는
학습자들이 함께 모여서 단체로 할 수도 있음.
기대효과
학습자들은 연구를 수행하고 보고서를 작성하는 과정에서 연구하는 방법,
각종 정보를 수집하는 방법, 다양한 자료를 종합하고 분석하는 방법,
보고서 작성법 등을 익히게 될 것이며, 연구보고서 발표회나 학습자들간의
연구보고서의 상호 교환을 통해 많은 것을 배우게 됨.
5
새로운 평가유형
2) 포트폴리오법
포트폴리오(portfolio)법이란 자신이 쓰거나 만든 작품을 지속적이면서도
체계적으로 모아 둔 개인별 작품집 혹은 서류철을 이용한 평가 방법
기대효과
 학습자들은 자신이 제작한 포트폴리오를 통해 자기 자신의 변화 과정을
알 수 있고, 자신의 강점이나 약점, 성실성 여부, 잠재 가능성 등을 스스로
인식할 수 있음.
 교수자들은 학습자들의 과거와 현재의 상태를 쉽게 파악할 수 있을 뿐만
아니라 앞으로의 발전 방향에 대한 조언을 쉽게 할 수 있음.
유의사항
단편적인 영역에 대해 일회적으로 평가하지 않고
학습자 개개인의 변화와 발달과정을 종합적으로
평가하기 위해 전체적이면서도 지속적으로 평가하여야 함.
5
새로운 평가유형
3) 구술 면접법
교수자가 학습자들과 대화를 통해서 얻고자 하는 자료나 정보를
수집하여 평가하는 방법 즉, 평가자가 학습자와 직접 대면하여 평가자가
질문하고 학습자들이 대답하는 과정을 통해 지필식 시험이나 서류만으로
알 수 없는 사항들을 알아보고 그것을 평가하는 방법
방
법
 한 명의 평가자와 한 명의 학습자들이 일대 일로 하는 면접
 여러 명의 평가자와 한 명의 학습자들이 하는 다수대 일로 하는 면접
 일대 다수가 하는 면접
 다수 대 다수가 하는 면접
 장점 및 단점
장점
보다 심도 깊은 정보를 얻을 수 있고 사전에 예상할 수 없었던
정보나 자료를 얻을 수 있으며, 진행상 융통성을 발휘할 수 있음.
단점
시간이 많이 소요됨
5
새로운 평가유형
4) 자기평가 또는 동료평가 보고서법
자기평가(self-evaluation), 동료 평가 (peer-evaluation)보고서법 이란
특정 주제나 교수·학습 영역에 대하여 자기 스스로 학습 과정이나 학습
결과에 대해 자세하게 평가하여 그 결과(보고서)를 보고 평가하는 것
 활용 및 파급효과
교육과정을 이수하면서 자기 스스로의 학습과정이나 학습결과에 대해
평가 보고서를 작성·제출하도록 함으로써 학습자로 하여금 자신의 준비
도, 학습동기, 성실성, 만족도, 다른 학습자들과의 관계, 성취수준 등에
대해 스스로 생각하고 반성할 수 있는 기회제공, 교수자로 하여금 교수
자가 시행한 해당 학습자에 대한 관찰이나 수시로 시행한 평가가 타당
하였는지를 비교·분석해 볼 수 있는 기회 제공
6
프로그램 평가 모형
타일러의
목표성취모형
글레이저의
수업평가 모형
스크리븐의
판단모형
스터플빔의
의사결정 촉진 모형
타일러의 목표성취모형
- 가장 보편적인 모형으로서 어느 정도 목표가 달성되었나를 평가하는 것
- 교육과정이 교육목표선정, 학습경험선정, 교수학습실시, 평가의 순서로
이루어짐으로써 평가는 전체 과정이 어떻게 흘러갔는지 알 수 있는 좋은 단계임
- 평가는 교육목표의 설정 및 세분화에 기여하고, 학습방법 및 학습경험의 선정이
어떤 학생들에게 적절한 지를 알려주어 다음 수업의 수정을 가능하도록 한다.
글레이저의 수업평가 모형
-
수업과정의 각 단계에서 평가가 기여할 수 있다고 함.
학습성과 (학습목표)를 세분화하여 무엇을 성취근거로 삼을지 결정한다.
학습자의 시작점 진단을 통해 학습방법 등 수업진행을 결정한다.
형성평가를 통해 교수전략의 개선을 도모한다. 필요하면 평가를 반복하여 실시한다.
평가에 대한 정보를 누적하여 수업체제를 개선한다.
6
프로그램 평가 모형
타일러의
목표성취모형
글레이저의
수업평가 모형
스크리븐의
판단모형
스터플빔의
의사결정 촉진 모형
스크리븐의 판단모형
- 전문가가 내리는 판단에 의해 기관, 프로그램, 산출물, 활동 등의 가치나 효과,
유용성을 평가하는 것
- 평가는 내재적 준거 (평가도구의 신뢰도, 타당도 등)외에도 왜 평가하고 평가의
효과가 무엇인지에 대한 외재적 준거도 강조함
- 교육목표, 교육프로그램 등 중 어느 것이 효과적이고 우수한지 평가할 수 있어야 함
- 목표의 달성뿐 아니라 목표의 질 자체에 대한 평가가 필요
- 탈목표 평가를 통해 평가자들의 편견을 배제해야 한다.
- 형성평가와 총괄평가를 구분해야 한다.
6
프로그램 평가 모형
타일러의
목표성취모형
글레이저의
수업평가 모형
스크리븐의
판단모형
스터플빔의
의사결정 촉진 모형
스터플빔의 의사결정 촉진 모형
- 교육평가의 목적은 의사결정에 도움을 주기 위한 것
- CIPP (Context, Input, Process, Product) 모형이라고도 함
상황평가
교육상황에서 목표가 무엇인지 밝혀 상황 속에 있는 문제, 요구를
확인한다.
투입평가
활용 가능한 자원, 요구만족을 위한 대안적인 계획을 결정한다.
과정평가
프로그램을 투입한 후 목표를 달성하는데 적절한지, 효율성이 어
떤지 심사하고 개선하기 위한 것으로 프로그램의 문제점이나 결함
등에 대한 정보를 수집하여 의사결정자에게 제공하는 것이 목적
산출평가
프로그램에 의해 성취된 결과를 측정하고 해석하려는 것
- 이 모형은 필요한 정보를 의사결정자에게 주기 위한 것이고 자신이 직접 의사결정
을 하지는 않음
7
원격교육의 평가 요소
1) 프로그램 평가
설계 요소
개발요소
운영 및 행정
요소
전문가 지원
및 양성 요소
커리큐럼 설계
요구분석 (needs & wants), 과정 내용 연계성,
일관성 (멀티미디어 요소), 전문가 확보 (내용
전문가, 설계자, 제작자, 운영자, 튜터 등)
개별 과정 설계
콘텐츠, 인터페이스, 상호작용, 학습활동
기술표준 도입
콘텐츠 재사용, 호환성
기술안정성
사용 편리성, 수정가능성
운영
프로그램 시작 전, 중, 후 운영요소 (사전 등록
에서 사후관리까지), 운영요원의 전문화
행정
요원, 학사관리규정, 재정지원, 문제처리 메뉴얼
전문가 확보
분야별 전문가 확보 (아웃소싱), 스탭지원 규정
전문가 양성
교육기회, 세미나, 자체 컨퍼런스 등
7
원격교육의 평가 요소
1) 프로그램 평가
※ 원격교육과정 프로그램의 교수설계에 대한 평가 영역 및 항목
평가영역
Ⅰ. 교수설계
평가항목
1. 내용 제시 전략 및 진행 방식의 적절성
2. 보충·심화 학습의 충실성
1. 학습자-교수자간 상호작용의 적절성
Ⅱ. 상호작용
2. 학습자-학습자간 상호작용의 적절성
3. 학습자-학습내용간 상호작용의 적절성
4. 학습자- 운영자간 상호작용의 적절성
Ⅲ. 평가
Ⅳ. 학습지원 설계
Ⅴ. 기술
1. 평가 방법의 적절성
1. 도움말 기능의 적절성
2. 네비게이션의 용이성 (인터페이스)
1. 기술적 안정성
출처: 성인학습대상 원격교육과정 인증을 위한 직업능력개발원 평가서
7
원격교육의 평가 요소
1) 프로그램 평가
※ 이러닝 컨텐츠 평가항목 사례 (한국교육학술정보원)
영역
항목
심미성 및
가독성
화면
구성
메뉴와 버튼
구성
접근 용이성
교
수
설
계
교수-학습
전략
교수
학습
전략
멀티미디어
활용전략
상호작용
유도 전략
-
세부항목
화면 구성과 배치의 심미성
색상 조화의 심미성
텍스트 및 그래픽의 가독성
메인 메뉴 구성의 체계성
메뉴, 버튼구성과 배치의 일관성
첫 화면의 전체 내용 개관 여부
사이트 맵 제공 여부
도움말 기능 제공 여부
교수·학습 전략의 적합성
교수·학습 전략의 충실성
학습 내용 전달을 위한 멀티미디어 활용의 적합성
자료제시 전략의 다양성
도식 및 도표 활용의 효율성
시각 자료(텍스트, 그래픽, 이미지)의 의미전달 명료성
청각 자료의 의미전달 명료성
동영상, 애니메이션 자료의 의미전달 명료성
교수자와 학습자간의 의사소통 도구 마련 여부
학습자들 간의 상호 활동 공간 마련 여부
학습자와의 상호작용 유도 매체 활용의 충실성
7
원격교육의 평가 요소
1) 프로그램 평가
※ 이러닝 컨텐츠 평가항목 사례 (한국교육학술정보원)
영역
교
수
설
계
교
육
내
용
항목
진행
방식
학습
목표
세부항목
진행전략
- 동기유발을 유도하는 진행 전략 구현 여부
- 학습자 몰입을 유도하는 진행 전략 구현 여부
- 학습자의 학습 내용 조정. 통제 가능 여부
진행의
일관성과
체계성
- 메뉴, 버튼 사용 방식의 일관성
- 진행 방식의 체계성
- 진행 도움말 제시 여부
진행 용이성
및 안정성
- 문서내의 찾기 기능 설치 여부
학습 목표
설정
- 학습목표의 학교 현장 활용 가능성
- 학습목표의 성취 가능성
학습 목표
진술
- 학습목표 진술의 명확성
- 학습목표 진술의 구체성
7
원격교육의 평가 요소
1) 프로그램 평가
※ 이러닝 컨텐츠 평가항목 사례 (한국교육학술정보원)
영역
항목
학습내용
선정
교
육
내
용
학습
내용
학습내용의
정확성
학습내용
구성
평가
내용
평가의
타당성
평가의
신뢰성
-
세부항목
학습목표와 관련된 핵심 내용 선정 여부
학습내용 분배의 적정성
학습내용 범위, 수준의 적합성
학습 양의 적정성
학습내용의 지속적 업데이트 여부
학습내용의 의미 전달 명확성
용어 설명의 정확성
학습내용의 오류 여부
저작권 위배 여부
윤리, 가치적 문제 제기 가능성 여부
학습내용 구성의 체계성
학습내용의 계열화 적합성
선수 학습 자료 제공 여부
보조자료 및 부연설명 제시 여부
학습 목표와 평가 내용간의 일치성
평가 계획과 내용간의 연계성
학습 목표, 내용과의 연계성
평가내용 및 방법의 신뢰성
평가 도구, 전략의 적합성
평가 계획의 사전 공지 여부
7
원격교육의 평가 요소
2) 학습성취도 평가
학습자 성취도 평가
평가방법
객관식, 주관식 (논술, 과제물),
수행평가 (지식성취도 + 학습태도 등의 정의적 영역)
평가내용
목표와 일치성, 내용 지식과 현장 적용성
성과 평가 (Performance Assessment)
학습자 만족도
운영결과
학습과정, 학습결과, 자격증 취득여부, 승진가능성)
수강생증가율, 교육예산증가, 기관의 평판도, 새로운 교육
과정개발, 수강생의 취업률/진학률, 투자비용 대 효과분석
(Return on Investment)
7
원격교육의 평가 요소
3) 교육운영 평가
※ 원격교육운영관리 체크리스트
교수-학습 운영
Value Scale
체크 사항
수
강
관
리
1. 수강 신청 관리
1.1 절차의 용이성
1.2 학습자 정보 입수 및 교수자에게 전달
2. 수강 여부 결정
2.1 수강 허가의 명확한 준거 여부
2.2 수강자 명단의 온라인 상 열람 가능
3. ID/패스워드 부여
3.1 수강생정보에 대한 철저한 보안
3.2 ID와 패스워드는 필요 시 수강생에 의한 수정 및
변경용이
3.3 인증 작업의 용이
그렇다
보통
해당
아니다
이다
없음
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
7
원격교육의 평가 요소
3) 교육운영 평가
※ 원격교육운영관리 체크리스트
1. 학습자 오리엔테이션
1.1 교육과정 시작 전 학습 시 알아야 할 학습전략 및
학습방법 등에 대한 전반적인 오리엔테이션 제공
1.2 오리엔테이션 시 운영을 담당하는 부서 및 담당자
훈 정보 제공 여부
련
2. 교수자 오리엔테이션
관
리 2.1 교수자에게 필요한 인터넷 교육 실시 여부
2.2 교수자의 교육과정 개발 및 운영 시 어려움이
발생하였을 때의 지원 가능 여부
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
3. 운영자 오리엔테이션
3.1 운영자에게 필요한 인터넷 교육훈련 실시 여부
7
원격교육의 평가 요소
3) 교육운영 평가
※ 원격교육운영관리 체크리스트
1. 교육 과정 관리
1.1 학습자의 로그인 횟수 및 시간에 대한 통계 수치 제공
2. 학습 진행 관리
2.1 학습자들 간 토론 공간 운영 여부
2.2 학습과제 제출을 위한 별도 공간 제공 여부
2.3 잘된 과제를 전시해 놓는 기능의 제공 여부
2.4 즉각적인 피드백 제공 여부
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
학
습
과 2.5 학습자가 문제에 부딪혔을 때 실시간 도움을 얻을 수 있는 기
□
정 능의 제공
관 2.6 학습 가이드의 온라인 열람 제공 여부
□
리
3. 학습자정보 관리
3.1 학습자학습 진도 체크 기능 여부
□
3.2 학습자학습 활동 상황 체크 여부
□
3.3 학습자상호 정보 검색 및 이메일 주소 검색 여부
□
3.4 학습자의 수강이력, 평가정보 등의 데이터베이스 저장 여부
□
7
원격교육의 평가 요소
3) 교육운영 평가
※ 원격교육운영관리 체크리스트
1. 인터넷 교육에 관한 정기적인 워크숍의 실시 여부
2. 인터넷 교육을 선정하는 나름대로의 전략이나 준거 틀의
조직
소유 여부
행정
3. 인터넷 교육에 대한 요구 조사 실시 여부
관리
4. 인터넷 교육에 필요한 요원(교수자, 운영자. 교수 설계)의
명확한 역할 부여
코스 1. 인터넷 저작 시스템의 제공 여부
지원
2. 필요 시 교수 설계자의 도움 제공 여부
관리
하드 1. 서버의 안전성 여부
웨어 2. 다양한 멀티미디어 활용 가능성 여부
1. 학습 자료의 용이한 다운로드 기능 여부
2. 학습 자료의 용이한 출력 기능 여부
소
3. 플러그 인 프로그램(프레임, 쇼크웨이브, 플래시, 리얼 오디오,
프
애크로뱃 리더) 제공
트
4. 그래픽 등 멀티미디어 요소를 지원하는 프로그램의 제공
웨
여부
어
5. 브라우저의 호환성 여부
6. 평가에 대한 자동화된 피드백 기능 여부
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□
□