Transcript 프로그램 평가의 기준 - 송원대학교 사회복지학과

제4부 사회복지 프로그램의 평가 및 개선
제10장 사회복지 프로그램의 평가
송원대학교
사회복지과
안상록교수
목 차
1
사회복지 프로그램의 개관
2
프로그램평가의이론과모형
3
프로그램 평가도구의 조건과 기준
4
프로그램 평가의 유형
5
사회복지 프로그램의 평가 절차
1. 사회복지 프로그램의 개관
• 프로그램 평가
- 사회복지조직(기관․시설)의 책무성
(accountability)이 강조되기 시작하
면서 이에 대한 필요성과 중요성이 점
증되고 있음.
1. 사회복지 프로그램의 개관
1. 프로그램 평가의 개념
- 프로그램 평가는 사회복지조직 전체 또는
기관이 운영하는 프로그램의 효과성과 효
율성을 철저하게, 그리고 비판적으로 검토
하는 과정임.
2. 프로그램 평가의 목적
①
프로그램의 기획과 실행에 필요한 정보 제공
②
사회복지조직의 책무성 이행
③
사회복지이론의 형성에도 기여
1. 사회복지 프로그램의 개관
3. 프로그램 평가의 내용
①
노력
②
예상치
못한
결과
③
효과성
④
효율성
• 계획된 목표의 달
• 프로그램을 기획
• 프로그램 목표의
• 프로그램과 관련
성을 위하여 투입
할 때는 예상하지
된 모든 활동 및
못했으나, 실제의
자원의 종류와 양
프로그램 활 동의
결과로 나타난 긍
정적, 부정적인
변화
달성정도
된 투입과 산출
간의 비율
2. 프로그램 평가의 이론과 모형
1. 프로그램 평가의 이론적 모형
– 프로그램 평가에 대한 연구방법과 체계적 접근은 미국에서 20세
기에 들어와서 시작되어 1970년대 중반부터 1980년대까지 지속
됨.
< 모형의 분류 >
① 프로그램 평가의 이론적 모형→ 서술적 모형(논리모형)과 처방
적 모형(Scriven의 판단평가 모형)
② 평가모형의 발전과정→ 전통적 평가모형과 현대적 평가모형
③ 전문가 중심의 평가모형과 직원중심의 평가모형
2. 프로그램 평가의 이론과 모형
1) 목표지향 평가모형
• 목표지향 평가모형(objective-oriented evaluation model)은 널리
활용되는 고전적 평가모형으로 타일러에 의해 체계화됨. 이 모형에
서의 평가는 설정된 프로그램 목표와 그 참여자들의 실제 성취수준
을 비교하는 활동이고, 그러기 위해서는 목표의 세분화가 필요함.
타일러의 모형에 대한 비판내용
① 의도하지 않은 부수적 효과를 평가할 수 없다는 점
② 본질적인 지도활동의 개선에 한계가 있다는 점
③ 프로그램의 정치․사회적 역할이나 윤리․도덕적 역할과 같은 복합적인 측
면을 평가할 수 없다는 점
④ 경험이나 태도 및 감정변화 등과 같은 중요한 성과와 경험과정을 평가하
기 어렵다는 점
2. 프로그램 평가의 이론과 모형
2) 관리지향 평가모형
• 목표지향 평가모형의 대안적인 평가모형→ 관리지향 평가모형(managementoriented evaluation model) (예 : Stufflebeam(1974)의 CIPP 평가모형)
• CIPP의 네 가지 형식의 평가 : 상황평가(맥락평가; context evaluation), 투
입 평 가 (input evaluation), 과 정 평 가 (process evaluation), 산 출 평 가
(product evaluation)
• CIPP 평가모형의 중요한 역할→ 의사결정자의 의사결정을 돕는데 있음.
CIPP 평가모형에 대한 비판내용
① 주요가치판단을 의사결정자에게 위임한다는 점
② 평가개념들을 조작적으로 표현하기 어렵다는 점
③ 의사결정과정에 관한 방법론적 현상화와 구체적인 안내가 부족하다는 점
2. 프로그램 평가의 이론과 모형
3) 수혜자지향 평가모형(판단평가모형)
• 수혜자지향 평가모형 : 평가를 대상의 가치나 장점을 체계적으
로 사정하는 일 → 선각자적인 수혜자 대리인(enlightened
surrogate consumer)으로서 역할이 필요함.
수혜자지향 평가모형의 장점
① 프로그램 평가의 결과를 쉽게 접할 수 있고, 그 활용효과를 증대시킬 수
있음.
② 프로그램과 자료를 선택할 때 중시할 준거에 대한 구체적인 안내 및 지침
을 제공해 줌.
③ 프로그램에 대한 점검목록표는 프로그램에 대한 간편하고 유용한 평가도
구로 활용될 수 있음.
2. 프로그램 평가의 이론과 모형
4) 제4세대 평가모형
• Guba와 Lincoln(1989)은 자연주의적 참여-반응지향 평가방
법을 지지하면서, 제4대 평가모형을 제안함. → 전통적인 평
가모형들을 대체할 만한 새로운 평가모형을 총칭함.
• 제4대 평가모형은 질적 자료를 해석학적 또는 변증법적으로
처리하면서 평가방법에 있어 협상과 합의의 중요성을 강조함.
2. 프로그램 평가의 이론과 모형
5) 논리모형
• 논리모형 : 사회복지 프로그램 개발과정에서 체계이론의 개념을 적
용하여 투입-과정-산출-성과 간의 관계를 논리적으로 설명하는 도
식을 활용하여 프로그램의 성과를 체계적으로 평가하는 모형
논리모형의 각광이유
논리모형의 구축방법
① 프로그램의 목적과 목표의 분명한
① 클라이언트 집단의 문제나 욕구확
인식
인
② 프로그램이 진행과정에 대한 이해
② 투입요소의 내용구성
③ 과정평가와 성과평가의 통합적 운영
③ 활동내용과 과정의 명확화
⇒ 논리모형은 목표달성 여부를 판단하
는 ‘성과’를 중시하기 때문에 각광을 받
고 있음.
④ 산출과 성과지표의 구체화
3. 프로그램 평가도구의 조건과 기준
1) 평가도구의 조건
• 평가도구(측정도구)의 조건으로는 타당도․신뢰도․객관도 및
실용도 등이 있음.
(1) 타당도
– 타당도란 평가도구가 측정하려는 내용이나 대상 그 자체를 얼
마나 충실하게 측정하고 있는가의 정도를 말함.
① 내용타당도(content validity)
② 예언타당도(predictive validity)
③ 요인타당도(concurrent validity)
④ 구성타당도(construct validity)
3. 프로그램 평가도구의 조건과 기준
(2) 신뢰도
– 신뢰도란 평가도구가 측정대상을 일관성 있게 측정하고 있느냐
의 정도를 말함. → 측정의 일관성
– 신뢰도 확인방법
① 재검사 신뢰도
② 동형검사 신뢰도
③ 반분신뢰도
④ 문항내적 합치도
⑤ 크론바흐(Cronbach) 알파(α)계수
3. 프로그램 평가도구의 조건과 기준
(3) 객관도
– 객관도(objectivity)란 평가결과(측정결과)에 대한 평가자의 채
점이 어느 정도 신뢰롭고 일관성이 있느냐의 정도를 말함. →
신뢰도의 일종
– 평가의 객관도를 높이기 위한 방법
① 평가도구의 객관화
② 평가자 소양의 제고
③ 명확한 평가기준의 설정
④ 다수인의 공동참여에 의한 평가
3. 프로그램 평가도구의 조건과 기준
(4) 실용도
– 실용도(usability)란 평가도구가 시간과 노력 그리고 비용을 얼
마나 적게 들이면서 소기의 목적을 달성하느냐의 정도를 말함.
2) 프로그램 평가의 기준
- 평가의 기준이란 평가를 위한 척도로서 프로그
램의 성패를 판단하기 위해서 프로그램의 어느
측면을 평가의 초점 내지는 대상으로 삼아야 할
것인가에 대한 기준을 말함.
- 평가의 기준으로는 노력성, 효과성, 효율성, 영
향, 서비스의 질, 과정, 영향, 형평성 등이 있음.
4. 프로그램 평가의 유형
1) 상대평가와 절대평가
상대평가
•
상대평가는 상대비교평가 또
절대평가
•
절대평가는 절대기준평가 또
는 규준지향평가라고도 하는
는 목표지향평가라고도 하는
데, 이는 프로그램 참여자들
데, 프로그램의 목적과 목표
의 성적을 그가 속해 있는 집
를 실질적으로 어느 정도 달
단구성원들의 점수결과에 비
성하였는 가 즉, 목적․목표의
추어 상대적 서열로 나타내는
달성도에 의하여 나타내는 방
방법임.
법임.
4. 프로그램 평가의 유형
2) 프로그램평가조사의 모델
• 프로그램평가조사의 모델의 형태
① 총괄평가조사모
델
(summative
③ 총괄-형성 혼합
evaluation
모델
research model)
② 형성평가조사모
델
(formative
evaluation
research model)
4. 프로그램 평가의 유형
3) 효과성 평가와 효율성 평가
• 효과성 평가
•
효과성 평가는 프로그램의 목
• 효율성 평가
•
효율성 평가는 프로그램의 비
적과 목표 달성여부, 개입효
용과 성과를 대비시켜 그 경
과 여부를 판단하는 데 중점
제성을 확인하는 데 중점을
을 둠.
둠.
5. 사회복지 프로그램의 평가 절차
•
프로그램평가조사(program evaluation research)는 평가조사의 일종으로
개입기술과 프로그램의 목적을 어느 정도 달성하였는지에 관해 알아보는 응
용조사임. 평가조사의 유형으로는 단일사례연구와 사업평가조사 등이 있음.
– 보편적인 평가절차
① 평가근거와
② 평가준거의
③ 평가활동의
목적의 확인
설정
기획
④ 평가자료 수
⑤ 평가자료 수
⑥ 평가결과의
집계획의 수립
집활동의 전개
분석과 판단
5. 사회복지 프로그램의 평가 절차
– 보편적인 평가절차에 근거하여 프로그램 평가절차는 세 단계(프
로그램의 목적과 목표 확인 및 평가도구의 제작 또는 선정, 프로
그램 평가의 실시, 프로그램의 평가결과 확인 및 보고)로 구분할
수 있음. <표 10-3>참조
프로그램의 목적
과 목표 확인 및
프로그램 평가의
평가도구의 제작
실시
또는 선정
프로그램의 평가
결과 확인 및 보
고
다음강의 :
제11장 ISO 9001 품질경영
시스템 인증규격을 적용한
프로그램의 개선