Transcript 7장 evaluation

HRD
Chapter 7. Evaluating HRD Programs
www.gurus.co.kr
Contents
1. The Purpose of HRD Evaluation
2. Model and Framework of Evaluation
3. Data Collection for HRD Evaluation
4. Recent Development in Instructional and Cognitive
5. Ethical Issues Concerning Evaluation
6. Assessing the Impact of HRD Programs in Dollar Terms
7. A closing comment on HRD evaluation
www.gurus.co.kr
2
Written by 하상균
Training and HRD Process Model
Assessment
Design
Implementation
Evaluation
Assess needs
Prioritize
needs
Select
evaluation
criteria
Define objectives
Develop lesson plan
Determine
evaluation
design
Develop/acquire
materials
Select trainer /leader
Deliver the
HRD program
or intervention
Conduct
evaluation of
program or
intervention
Select methods and
techniques
Interpret
results
Schedule the
program/intervention
www.gurus.co.kr
3
Written by 하상균
The Purpose of HRD Evaluation

HRD 평가란 “ 다양한 교수 활동과 관련하여 효과적인 교육과정을 설계하기 위한 체계적 자료
수집 활동을 의미한다 “

HRD Evaluation의 효과







설계된 프로그램이 목적을 달성했는지 여부의 기준
설계된 프로그램의 강/약점의 확인
미래에 설계될 예정인 프로그램에의 참고 사항
프로그램의 비용편익 분석의 기초 자료
참여자들이 프로그램을 통해 얻은 이익이 무엇인지 여부
프로그램의 적절성 여부의 판단 기준
Zenger & Haris의 additional Reason

HRD 스탭이 교육 프로그램의 조직 기여성을 증명하지 못한다면, 교육 프로그램 설계 및 실시에 대한
예산은 삭감될 것이다.

평가는 조직내 Top매니저들에게 신뢰성을 주는데 도움을 줄 것이다.

시니어 매니저들은 HRD프로그램의 효과성을 알고 싶어 한다.
www.gurus.co.kr
4
Written by 하상균

How often are HRD Programs Evaluation

어째서 자주 교육 프로그램의 평가가 실시되지 않고 있는가?
•
•
•


교육 프로그램이 효과적이지 못했다는 평가를 받을 경우 예산이 삭감당하는 것을 우려하기 때문
교육 프로그램의 평가는 말처럼 쉽지 않기 때문
Employee performance는 외부 경제 여건/장비/매니저먼트 정책/ hr 정책등의 여러 요소에 의해
영향 받기 때문에 교육 프로그램만의 효과로 단정할 수 없기 때문
그럼에도 불구하고, HRD 프로그램에 대한 평가는 실시되어야 하며, HRD 스탭의 책무라 할수 있음.
Evolution of Evaluation Efforts




Stage 1
• 트레이너와 교육 참여자의 반응도 평가 ( 아직도 이 단계에 머물러 있는 회사가 많다 )
Stage 2
• 실험실 평가 방법의 원용 ( 통제 집단과 비통제 집단간의 결과 비교 방법 )
Stage 3
• 조직의 문제점과 연계된 독창적인 방법
Stage 4
• HRD 프로세스의 전 과정을 평가의 대상으로 설정 ( 과거에는 Post program에 집중 )
www.gurus.co.kr
5
Written by 하상균
Model & Frameworks of Evaluation
Model / Framework
Training Evaluation Criteria
1. Kirkpatrick ( 1967, 1994 )
Reaction / Learning / Job behavior / Results
2. CIPP ( Galvin, 1983 )
Context / Input / Process / Product
3. CIRO ( Warr, 1970 )
Context / Input / Reaction / Outcome
4. Brinkerhoff ( 1987)
Goal Setting / Program Design / Program Implementation / Immediate
Outcomes / Intermediate or Usage Outcomes / Impact & Worth
5. Systems approach ( Bushnell 1990)
Input / Process / Outputs/ Outcomes
6. Kraiger, Ford, & Salas ( 1994 )
Learning outcomes ( cognitive / skill-based / affective )
7. Kaufman & Keller ( 1994 )
Enabling & Reaction / Acquisition / Application / Orgarnizational
Outputs & Societal Outcomes
8. Holton ( 1996 )
Secondary influences / Motivation Elements / Environmental Elements
/ Outcomes / Ability& enabling elements
9. Phillips ( 1996 )
Reaction & Planned Action/ Learning / Applied Learning on the job /
Business Results / Return on Investment
www.gurus.co.kr
6
Written by 하상균
Kirkpatrick’s Evaluation


반응도 평가 ( Reaction )

교육 내용이나 강사, 교육 진행자, 교육 환경 및 시설 등 교육 전반에 대한 교육생의 만족도, 의견 및 건의
사항등을 파악하여 향후 프로그램 개선을 위한 자료 수집을 목적으로 실시

자료 수집 방법은 질문지법, 인터뷰, 관찰등으로 분류됨

긍정적인 반응이 반드시 학습성과를 보장해 주는 것은 아니지만, 부정적인 반응은 학습의 효과를 감소시킬
수 있는 가능성이 높다
내용 습득 평가 ( Learning )

교육 입과 전/중/후 교육생의 교육 내용 숙지 정도 및 내용 이해 정도, 학습 목표 달성 정도를 평가

평가 문항은 학습 목표에서 직접 도출되기 때문에 학습 목표를 명세적으로 진술하고 평가



인지적 영역(지식)의 평가는 주로 지필 검사 와 사례 연구를 통해
정의적 영역(태도)은 지필검사, 사례연구, 역할 연기, 시물레이션등을 통해
기술적 영역은 실습, 역할 연기 , 시뮬레인션 기법을 통해
www.gurus.co.kr
7
Written by 하상균

현업 적용도 평가 ( 행동 : Behavior )

교육 과정을 통해 습득한 지식, 기능, 태도의 현업 적용도를 평가하는 단계로서, 교육생이 현업에서 교육
받은 내용을 실제 적용하는지의 여부와 업무 환경이 교육을 통해 습득한 지식,기능,태도를 실제 적용할
수 있도록 지원하는가의 여부를 아울러 평가 해야 한다.
내용

측정 대상
자료원
교육생 행동이 변했는가?
안전도, 도덕성, 작업량, 결근율, 각종 기록문서, 질문지, 관찰,
시간단축, 업무의 양 및 질
설문, 저기 보고서
업무 환경이, 습득한 내용을
적용할 수 있도록
지원하는가?
물리적 환경의 개선, 보상체제,
교육 참여 권장, 조직의 정책
관찰, 태도, 의견조사, 인터뷰,
기록문서
경영 기여도 평가 ( 결과 : Result )



교육이 궁극적으로 기업조직에 어떤 공헌을 했는가를 평가하는 단계로서, 교육은 생산성 향상, 품질 향상,
팀워크 배양 등 경영에 기여할 것을 기대하며 실시.
교육에 투자한 경비에 비해 교육의 결과 얻게 된 이익이 어느 정도인지를 나타내는 투자 회수율(ROI)가
사용되기도 한다.
경영 성과에 대한 기여도는 그것을 수량화하기도 어려울 뿐만 아니라 다른 교육외적 변인의 영향을 받기
때문에 매우 복잡하고 많은 시간과 노력, 경비가 소요되는작업
www.gurus.co.kr
8
Written by 하상균
Other Framework & Model of Evaluation


CIPP ( Context , Input, Process, Product )

Galvin의 CIPP모델은 훈련에 대한 맥락 ( Context ), 훈련을 위한 투입 ( Input ), 훈련 프로그램을 실행하는
과정 ( Process ), 훈련 결과 또는 산출 ( Product )의 측정에 초점을 두고 평가한다.

이 모델은 다수의 연구자와 실무자에 의하여 많은 조직에서 널리 이용되고 있으며, 실제적이고
효과적이다라고 인식하고 있다.




상황 평가 ( Context ) : 조직의 사업관련 환경을 분석하고, 환경에 따른 조직 발전의 요구와 기회를 확인
투입 평가 ( Input ) : 훈련 과정에 필요한 자원을 파악하기 위한 정보 제공을 목적으로 실시
프로세스 평가 ( Process ) : 훈련의 실행과 관련한 진척도
산출물 평가 ( Out put ) : 훈련 과정의 목표 달성을 측정하고 해석
CIRO ( Context, Input, Reaction, Outcome )


Reaction : 훈련 과정을 개선하기 위해 참가자의 훈련에 대한 반응 정보를 획득하고 활용하는 것과 관련
Outcome : 향후 훈련과정의 향상을 위해 훈련의 결과에 대한 정보를 획득하고 이용하는 것과 관련
www.gurus.co.kr
9
Written by 하상균

Brinkerhoff의 6단계 평가 모델






목표 설정과 요구 분석
프로그램 설계
실행
단기적 성과 ( 지식과 성과 테스트, 시뮬레이션 )
의도된 성과의 적용 ( 자기 보고서, 동료 보고서 )
조직이익 ( 성과 보고서, 비용이익비교 )
www.gurus.co.kr
10
Written by 하상균
Comparing Evaluation Framework
평가 모델
훈련전
훈련중/훈련직후
 참가자들이 프로그램에
만족하는가?
 지식과 스킬은 획득되는가?
Kirkpatrick
훈련후
 행동적 변화가 직무에서
나타나는가?
 조직에 영향을 주는가?
CIRO
 무엇이 변화되어야 하는가?
 변화가 일어났다는 증거는
 변화를 이끌기 쉬운
무엇인가?
과정은 무엇인가?
 결과들 또는 산출물은
사후 프로그램을 얼마나
개선시켰는가?
CIPP
 무엇이 요구되는가?
 무엇을 할 수 있는가?
 무엇을 하고 있는가?
무엇을 해 왔는가?
 목적은 무엇인가?
 무엇을 노력하여 얻을
것인가?
 훈련생은 그것을
유지하고/또는 사용하고
 잘하고 있는가?
있는가?
 훈련생은 그것을 학습했는가?
 시간과 노력을 투자할
만한 차이를 만들었는가?
Six Stage
www.gurus.co.kr
11
Written by 하상균
Data collection
Method
Advantage
Limitation
인터뷰
심도 깊은 대화
 높은 비용 / 대면에 의한 잠재적 위협
질문지
낮은 비용 / 다양한 옵션 가능
 부정확한 데이터 수집의 가능성
직접 관찰
행동변화의 측정에 탁월
 훈련된 평가자 필요
지필 시험
낮은 비용
 직무성과와의 상관성이 떨어질 가능성
시뮬레이션
직무 성과와의 높은 상관성
 과다한 시간
성과 데이터
높은 상관성
 성과 데이터의 지속적 관리
www.gurus.co.kr
12
Written by 하상균
Research Design

Pretest and Posttest


Control group


교육후의 변화를 살펴 볼 수 있다. 그러나 교육생이 평가와 관련한 내용을 알고 있다면 평가의 효과성이
결여될 수 있다.
통제 그룹과 비 통제 그룹간의 비교를 통해 교육 성과의 실질적 향상의 정도를 확인해 볼수 있다.
HRD스탭은 평가를 위한 서칭 방법을 설계할 때에 다음을 주의해야 한다.



샘플의 크기
서칭의 시기
윤리적 문제
www.gurus.co.kr
13
Written by 하상균
ROI
Result

Return on Investment =
Training Costs
프로그램
비용 산출
자료 수집
프로그램 효과
분리
금전적 가치
전화
투자 회수율 계산
Ex) 프로그램에 참여한 집단과
참여하지 않은 집단간의 차이 비교
추상적 가치
확인
Ex) 업무 만족도/고객 서비스 개선
팀워크 향상
www.gurus.co.kr
14
Written by 하상균
www.themegallery.com