Transcript Оценка влияния проектов и программ

ОЦЕНКА ВЛИЯНИЯ ПРОЕКТОВ И
ПРОГРАММ
Понятия и методики
Новосибирск, май 2010
ЧТО ТАКОЕ ОЦЕНКА ПРОГРАММЫ
«Программная оценка – это процесс
аккуратного сбора информации о программе
или отдельных аспектах программы с целью
принятия необходимых управленческих
решений»
Картер МакНамара
ВОПРОСЫ, КОТОРЫЕ СТАВЯТ ПЕРЕД ОЦЕНКОЙ






Продолжить или прекратить программу или проект?
Каким образом можно улучшить программу или проект?
Какие новые методы или способы предоставления услуг
могут быть добавлены в программу? Какие методы или
способы предоставления услуг необходимо исключить из
программы?
Каким образом можно создать подобную программу или
проект в другом месте ( в другой организации или регионе?
Каким образом лучше распределить ресурсы между двумя
конкурирующими программами или проектами?
Нужно ли принять или отклонить подходы и стратегию,
используемую в данной программе или проекте?
ТИПЫ ОЦЕНКИ
Проект/Программа
Этап 1
Этап 2
Формирующая
оценка
Этап 3
Суммирующая
оценка
ВИДЫ ОЦЕНКИ
Формирующая оценка
Оценка потребностей (needs assessment) определяет
несоответствие между желаемым и реальным
положением дел относительно какой-либо ситуации,
выявляет существующие потребности и располагает их
в порядке приоритетности.
Оценка процесса ставит своей целью описание того,
как в действительности функционирует та или иная
программа, каким образом реализация программы
приводит к достижению определенных результатов, и
каковы сильные и слабые стороны программы.
Оценка целей и задач (goals-based или objectivesbased evaluation) помогает определить, достигает ли и
в какой степени достигает та или иная программа
запланированных целей и задач.
ВИДЫ ОЦЕНКИ
Суммирующая оценка
Оценка результатов (outcome evaluation) – помогает определить,
какие программы и виды деятельности организации действительно
приводят к достижению результатов, необходимых получателям услуг,
и позволяет избежать видов деятельности, которые кажутся важными
на определенном этапе работы, но не приносят желаемых
результатов.
Оценка влияния (воздействия) (impact evaluation)
позволяет определить изменения в благосостоянии
людей/благополучателей, которые могут быть отнесены
на счет определенного проекта/программы.
Оценка экономической эффективности программы (costeffectiveness или cost-benefit evaluations) использует экономические
методы для оценки соотношения затрат и результатов программы или
проекта, выраженных в денежном отношении (cost-benefit), и
соотношения затрат и результатов проекта, выраженных в затратах
на единицу полученного результата (cost-effectiveness).
В ЧЕМ РАЗЛИЧИЕ?
МОНИТОРИНГ
ОЦЕНКА
АУДИТ
Проводится непрерывно
Модель принимается в
существующем виде без
изменений
Запланированные
деятельность и результаты
сравниваются с фактическими
Полученная информация
используется для улучшения
работы по проекту
Решение о проведении
принимается исполнителем
или финансирующей стороной
Проводят внутренние и/или
внешние эксперты
Проводится на ключевых
этапах реализации проекта
Модель подвергается анализу с
целью оптимизации/улучшения
Анализируются причины
достижения/не достижения
запланированных результатов
Полученная информация может
использоваться для улучшения
работы по данному проекту, для
уточнения планов на будущее
Решение о проведении
принимается исполнителем или
финансирующей стороной
Проводят внутренние и/или
внешние эксперты
Проводится периодически – в
соответствии с
законодательством или
процедурами донора
Модель принимается в
существующем виде без изменений
Запланированные деятельность и
результаты сравниваются с
фактическими
Полученная информация
используется для принятия решения
о целесообразности продолжения
работы по проекту
Решение о проведении
принимается финансирующей
стороной
Проводят внешние эксперты
СОСТАВНЫЕ ЧАСТИ ПЛАНА МОНИТОРИНГА И
ОЦЕНКИ ДЕЯТЕЛЬНОСТИ
►
Гипотеза развития/методы достижения
результатов
► Структура результатов
►
Система индикаторов с описанием их
характеристик
►
Таблица исходных данных и целевых значений
индикаторов
►
Календарный план мониторинга и оценки
8
ИЕРАРХИЯ РЕЗУЛЬТАТОВ (ЦЕЛЕЙ)

Воздействие (Цель):

Промежуточные Результаты(задача):

Непосредственные результаты («Выход»)

На входе: действия и ресурсы
9
ПОСТРОЕНИЕ СТРУКТУРЫ РЕЗУЛЬТАТОВ
(ЦЕЛЕЙ)
10
ПОСТРОЕНИЕ СТРУКТУРЫ РЕЗУЛЬТАТОВ
Контекст?
Как?
Зачем?
Предположения?
Риски?
Что-то еще?
Что-то еще?
11
ЧТО ТАКОЕ ОЦЕНКА ВОЗДЕЙСТВИЯ (ВЛИЯНИЯ)
(IMPACT EVALUATION)?
Оценка воздействия это установление и
изучение причинно-следственных связей
между деятельностью проекта и
полученным результатом
Оценка
воздействия позволяет также
анализировать побочные последствия,
положительные и отрицательные
эффекты
ПРОВЕДЕНИЕ ОЦЕНКИ ВОЗДЕЙСТВИЯ
будет наиболее целесообразным в:
 инновационных,
 тиражируемых и ресурсоемких
проектах,
 проектах с четко поставленными
задачами.
ВОПРОСЫ ОЦЕНКИ ВОЗДЕЙСТВИЯ
 Как проект повлиял на благополучателей?
 Были ли наблюдаемые улучшения прямым результатом
проекта или они произошли бы в любом случае?
 Можно ли повысить эффективность программы, путем
внесения в нее каких-либо изменений?
 Обоснованы ли затраты?
На эти вопросы нельзя ответить простым измерением итогов
проекта: могут присутствовать другие факторы или события,
коррелирующие с результатом, но не вызванные проектом
ЧТО ДЕЛАТЬ?

Реконструировать "гипотетическую
альтернативную ситуацию или сценарий",
"предположение от обратного», т.е. "то, что
было бы в отсутствие проекта".
Например: недавний выпускник программы
трудового обучения нашел работу.
Является ли это результатом программы, или он
трудоустроился бы в любом случае?
ЧТО ДЕЛАТЬ?
1. Необходимо отделить эффект воздействия от других факторов
- использовать контрольные группы, т. е. группы тех, кто не
участвует в программе и не получает помощи.
2. Контрольная группа сравнивается с экспериментальной
группой (т.е. группой, на которую оказывается воздействие).
3. Контрольная группа выделяется случайным образом из той
же совокупности, что и группа участников программы.
4. Контрольная группа должна соответствовать
экспериментальной группе по всем параметрам;
единственным отличием является само участие в программе
ЧТО ДЕЛАТЬ?
 Получить
представление о гипотетической
альтернативной ситуации можно
несколькими методами:
 экспериментальными
(рандомизированными) и
 квазиэкспериментальными (не
рандомизированными)
ЭКСПЕРИМЕНТАЛЬНЫЙ МЕТОД

Рандомизация, когда производится
случайная выборка участников
экспериментальной и контрольной групп из
четко определенной совокупности. В этом
случае группы должны различаться только
тем, что одна из них принимает участие в
программе, а другая нет.
(Могут быть различия из-за ошибки выборки; но чем
больше экспериментальная и контрольная группы,
тем меньше ошибка).
ЭКСПЕРИМЕНТАЛЬНЫЙ МЕТОД
«+»
наиболее надежная и обоснованная методика
оценки
 простота интерпретации данных, так как
воздействие программы измеряется разницей
между средними показателями в
экспериментальной и контрольной группах

«-»
может быть неэтичным
 получают помощь все, и контрольной группы
просто не может быть (помощь переселенцам)

КВАЗИЭКСПЕРИМЕНТАЛЬНЫЙ МЕТОД



Методы отбора по подобию , или конструируемые средства
контроля, в которых делается попытка подобрать идеальные
сравнения, соответствующие экспериментальной группе
Методы двойных различий, или учета различий между
различиями, когда сравниваются экспериментальная и
контрольная группы до (первая разность) и после (вторая
разность) программы.
Рефлексивные сравнения, в которых производится "базисное"
(исходное) обследование участников до проведения
программы, а также обследование после ее проведения.
Исходные данные служат для формирования контрольной
группы, а воздействие измеряется с помощью изменений
показателей результата до и после программы.
КВАЗИЭКСПЕРИМЕНТАЛЬНЫЙ МЕТОД
«+»
 позволяет использовать существующие
данные, и поэтому требует меньше времени
и средств
«-»
 надежность результатов часто невысока, т.к.
методология менее строга в статистическом
плане
 метод может быть статистически сложным
СОЧЕТАНИЕ КОЛИЧЕСТВЕННЫХ И
КАЧЕСТВЕННЫХ МЕТОДОВ
Качественный метод помогает формулировать
ключевые вопросы, составлять анкеты,
стратифицировать количественные выборки,
анализировать социальный, политический или
экономический контекст проекта.
Количественные же методы помогают определять
стратегии сбора качественных данных, разрабатывать
структуру выборки таким образом, чтобы результаты
качественного анализа могли быть экстраполированы
на всю совокупность через использование
статистически значимой выборки.
ГЛАВНЫЕ ЭТАПЫ РАЗРАБОТКИ И
ПРОВЕДЕНИЯ ОЦЕНКИ ВОЗДЕЙСТВИЯ
Во время подготовки проекта
1. Определение необходимости проведения оценки
2. Четкая формулировка целей оценки
3. Проверка наличия данных
4. Составление плана оценки
5. Подбор специалистов для проведения оценки
6. Если предполагается вести сбор данных:
i. Структура и формирование выборки
ii. Разработка инструментария исследования
iii. Подбор и обучение участников оценки
iv. Проведение тестирования инструментов
v. Сбор данных
vi. Обработка данных и обеспечение доступа к ним
ГЛАВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ
ОЦЕНКИ ВОЗДЕЙСТВИЯ (продолжение)
На стадии реализации проекта
7. Продолжение сбора данных
8. Анализ данных
9. Подробное обсуждение результатов с
разработчиками стратегии и другими
заинтересованными сторонами
10. Внедрение результатов
СООТНОШЕНИЕ РАСХОДОВ ПО НЕКОТОРЫМ
ОЦЕНКАМ ВОЗДЕЙСТВИЯ
ДЛЯ УСПЕШНОГО ПРОВЕДЕНИЯ ОЦЕНКИ
ВЛИЯНИЯ НУЖНО:
1) оценить исходную ситуацию, на изменение которой
проект и будет направлен;
2) определить, какие изменения исполнители проекта
хотели бы получить «на выходе» - то есть после
завершения проекта;
3) разработать комплекс мероприятий, которые могли
бы, по замыслу авторов, обеспечить такие изменения;
4) сформировать систему отслеживания и оценки таких
изменений.
26