Transcript 프로그램 개발과 평가
프로그램 개발과 평가 가톨릭 상지대 차호영 http://blog.paran.com/defle 교육내용 1. 프로그램 평가 2. 체계적 논리모델 무엇을 성과로 할 것인가? 3. 성과측정 성과지표와 측정 욕구의 종류별 진단 및 처방과 장단점 목표-평가기준-지표의 정렬 사업의 평가의 방향 내용 목적 목표 평가기준 (성과)지표 •목적 : 사회복지사업이 달성하고자 하는 중장기적 성과 •목표 : 목적을 이루는 데 요구되는 단기적 성과로서 성취여부가 명확 히 확인될 수 있는 것 •평가기준 : 목표가 달성되었는지 의사결정 하는데 사용되는 잣대 •지표 : 평가기준을 구체적으로 측정하는 항목(item)이나 척도(scale) 욕구의 종류별 진단 및 처방과 장단점 목표-평가기준-지표의 정렬 목표 평가 기준 • 노인의 신체기능 향상 • 노인의 신체기능 • 운동량 지표 • 1일 운동시간 • 신체기능 체크리 스트 점수 욕구의 종류별 진단 및 처방과 장단점 목표-평가기준-지표의 타당도 타당도 • 내용적으로 서로 관 련된 정도 평가기준 • 목표와 평가기준 간 의 타당도 의 내용적 관련성 지표의 타 • 평가기준과 지표 간 당도 의 내용적 관련성 욕구의 종류별 진단 및 처방과 장단점 성과와 성과지표란? 성과(결과) : 사회복지사업 종결 후, 나타나는 산출(outputs)과 성과 (outcomes)를 의미한다. 성과지표란? 성과를 어떻게 알 것인가?를 일러주는 것. ①관찰 가능 즉, 자료수집이 가능하도록 하고, 측정 가능하도록 하는 증 거나 측정도구. ②성과 수준을 요약할 수 있는 특정 수치(예: 성과를 달성한 수 나 %) 욕구의 종류별 진단 및 처방과 장단점 성과지표의 유형 1. 객관적 지표 누가 측정을 하든지 동일한 점수로 측정될 수 있는 경우를 의미하는 것으로, 대체로 측정의 신뢰도(a reliability of measurement)가 높다. 예) 이용자 수, 서비스 제공 횟수, 참가 기간 등의 셈(count) 자료 2. 판단적(주관적) 지표 사람의 판단에 의존해서 측정되는 자료로서 보통 각종 설문도구에 의 해 측정된다. 판단적 지표를 통해 수집된 자료는 측정의 오차가 객관 적 지표에 비해 상대적으로 높은 단점을 갖고 있다. 예) 만족도 점수, 설문지나 심리검사 응답자료 욕구의 종류별 진단 및 처방과 장단점 성과지표 개발을 위한 질문 •측정하고자 하는 성과를 정의하고 있는가? •각각의 성과를 위해 적어도 한 개 이상의 지표가 있는가? •복수의 지표들일 때 각 지표는 성과의 가장 중요한 측면을 중복하지 않으면서도 포괄적으로 측정해 주는가? (지표가 무조건 많다고 하여 좋은 것은 아님) •각 지표들이 구체적으로 기술되었는가? •측정 가능한가? •관찰 가능한가? (자료수집이 가능한가?) 욕구의 종류별 진단 및 처방과 장단점 성과지표 예시 지표단위 변화량 빈도 수/ % 프로그램 성과 치매노인부양 부양가족의 프로그램 기간 동안 감소 가족프로그램 부양부담 감소 한 부양부담 % 가족화합 가족들의 지난 1달 동안 가족과 함 프로그램 놀이모임 증가 께 모여 놀았던 횟수 비행청소년 학교적응프로그램 성과지표 지난 3개월 동안 무단결석 안정적인 출석 을 하지 않은 청소년의 수 혹은 % 욕구의 종류별 진단 및 처방과 장단점 성과지표의 자료원 확인 -누가 성과 지표의 정보를 가지고 있는가? 를 확인하기 ①기록 - 프로그램 일지 - 타 기관의 일지 - 시각적 기록 -사진, 차트, 비디오테이프 ②사람 - 프로그램 참여자 - 주요정보제공자 (부모, 가족, 프로그램 직원, 교사, 자원봉사자, 외부 전문가) - 이웃 또는 일반 대중 욕구의 종류별 진단 및 처방과 장단점 성과지표의 자료원 확인 예시1 깨끗한 마을 가꾸기 교육 프로그램 성과 성과지표 무엇을 원하는가? 어떻게 알 것인가? 자료원 서약서의 수 가지고 있나 서약서 약속한다. 공터를 치우기 위한 행 동계획을 세울 수 있다. 행동계획의 개발 유무 자료수집 방법 시기 누가 이 정보를 어떻게 얻을 자원봉사자들이 공터 들을 깨끗이 치우는데 자료수집 사회복지사 정보는 수 있는가? 언제수집? 서양서 프로그램 검토 종결시 사회복지사 일지검토 매일 욕구의 종류별 진단 및 처방과 장단점 성과지표의 자료원 확인 예시2 깨끗한 마을 가꾸기 교육 프로그램 성과 공터가 깨끗해진다. 어린이들이 공터에서 성과지표 자료원 쓰레기, 빈병 등이 치워진 공 사회복지사 터수 의 관찰 불특정한 날에 공터에서 노는 사회복지사 안전하게 뛰어논다. 아이들의 수 지역주민들이 지역사 일년 전에 비하여 지역사회가 회가 어린이들에게 안 안전하다고 느끼는 사람들의 전하다고 느낀다. 수 또는 % 의 관찰 지역사회 주민 자료수집 자료수집 방법 시기 프로그램 6 관찰 개월 후 1 달에 1번씩 프로그램 9 관찰 개월 후 1 달에 1번씩 서베이 프로그램 12개월 후 욕구의 종류별 진단 및 처방과 장단점 프로그램 성과측정 예시1 성과 자존감향상 평가 자아인식도 지표 자기주장능력 측정 자존감척도사전사 도구 후설문 평가 방법 사전사후 올바른 직업관형성 약물남용 예방 직업 필요성의 인 약물남용에 대한 이해 식도 약물남용 청소년의 발견 장래인생계획 과 전문기관 의뢰 사전사후설문 사전사후설문 의뢰 기록 지 사 전 사 후 설문 의 약물사용고 위험검사와 설 문 의 자 존 감 척 직 업 인 식 항목을 약물남용 인지도검사를 도를 통해 평가 통해 평가 통해 평가 욕구의 종류별 진단 및 처방과 장단점 프로그램 성과측정 예시2 성과 건전한 지각․결근일수 서비스의 질적 안전사고 발생률 여가활동 의감소 성과 취미 활동의 지각․결근 사용자 안전사고 지표 종류 일수 만족도 발생율 사전사후설문 근무일지 설문지 측정 도구 평가 방법 사전,후 설문의 교 육 전 , 후 의 여 가 활 동 항 목 근무일지를 통 을 통해 평가 해 평가 향상 감소 전년도 안전사고 통계자료 교 육 이 수 3 개 전년도 안전사고 월후 사용자에 율과 교육년도 안 게 설문하여 평 전 사고율 비교평 가 가 욕구의 종류별 진단 및 처방과 장단점 성과평가 영역 영역 산출 및 성과 (outputs & outcomes) 설명 사회복지사업이 궁극적으로 달성하고자 했던 결과물로서 사업의 목적과 관련된 내용을 담고 있는, 클라이언트와 지역사회의 바람직한 변화 자원 사회복지사업을 수행하기 위해 요구되는 인적, 물적, 재정, (resource) 시간, 정보적 자원들 생산성 일반적으로 노동생산성을 의미. 투입된 노동력 대비 산출 (productivity) 되는 산출(output) 혹은 성과(outcome) 욕구의 종류별 진단 및 처방과 장단점 성과평가 영역 영역 설명 효율성 투입 대비 산출량을 의미하는 것으로서, 산출(output) 혹 (efficiency) 은 서비스 개별요소에 소요된 비용(cost)으로 측정 비용효과성 (cost-effectiveness) 성과(outcome) 당 소요된 비용(cost)을 의미 고객만족 사회복지사업의 고객, 이해관계자, 지역사회 등이 보고하 (client satisfaction) 는 ‘사업에 대한주관적 평가’ 서비스 품질 위의 7가지 모든 성과를 이끌어내는데 요구되는 서비스 (service quality) 과정상의 충실도(fidelity) 욕구의 종류별 진단 및 처방과 장단점 산출 및 성과 영역의 평가기준 예 가족 건강성 관련 •가족갈등 : 가족구성원 간의 견해, 처지, 이해의 불일치로 인해 생기는 긴장과 충돌 •가족건강성 : 가족구성원들 간에 긍정적인 상호작용을 통하여 스트레스나 위기를 효과적으로 처리할 수 있는 능력 •가족관계 : 부부, 부모, 자녀 등 가족체계 내에 존재하는 상호인식, 이해 및 정서적 유대감 •가족기능 : 가족이 일반적으로 갖는 목적과 역할을 효과적으로 수행하기 위해 가족구성원들 사이에 행해 지는 역동적인 상호작용 •가족환경 : 부모와 자녀와의 관계, 가족의 사회경제적 지위 등 가족에게 영향을 미치는 가족 내외의 조건 과 자극 •결혼 불안정성 : 남편이나 부인이 결혼생활에서 주관적으로 느끼는 이혼이나 별거에 대한 경향성의 정도 •노년기 부부관계 : 황혼 이혼의 위기를 경험하고 있는 노인 부부 간의 상호작용 행동패턴 및 심리정서적 지원 •이혼가족 가족관계 : 이혼위기를 경험하거나 이혼상태에 놓인 가족들의 구성원 인식 및 상호 지지체계 •장애인가족 가족관계 : 장애인이 있는 가족 안에서 나타나는 정서적 유대감, 서로에 대한 이해 및 대화 양 식 •조손가정 가족공동체의식 : 조부모와 손자녀 간의 대화 및 협력을 통해 형성된 바람직한 가족관계 의식 •조손가정 가족관계 : 조부모와 손자녀 간에 형성된 친밀한 인간관계 •조손가정 갈등 : 조부모와 손자녀 간에 형성된 심리적 거리감과 일상생활에 대한 전반적인 세대차이로 인 한 갈등 •중년부부 위기 : 신체·심리변화로 인한 중년부부 간 갈등 및 낮은 결혼생활 만족도