Transcript UNWOMEN/IPEN Transformative Mixed Methods Evaluation: Day

UNWOMEN/IPEN
ТРАНСФОРМАЦИОННАЯ ОЦЕНКА
С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ
И КОЛИЧЕСТВЕННЫХ МЕТОДОВ:
День 3 Сочетание качественных и
количественных методов
Профессор Донна Мертенс
Университет Голоде
Алматы, Казахстан
Июль 2011
План на три дня
День 1: Какую роль играет специалист по оценке?
Основные аспекты оценки (Техзадание)
Трансформационная парадигма
Многообразие и социальная справедливость;
привилегии
Культурная компетентность
День 2: Качественные и количественные подходы
День 3: Подход, предполагающий сочетание
качественных и количественных методов
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
«Меню» методов




Количественные: экспериментальные, квазиэкспериментальные, опросы, сравнительные исследования.
Качественные: групповое обсуждение (например, фокус
группы или методы изучения традиционных культур),
изучение отдельных случаев (кейсы), этнографические
исследования, феноменологическое исследование,
исследование путем активного воздействия
Гендерный анализ предполагает использование комплекса
количественных и качественных методов; служит основой для
трансформационного исследования и оценки и может
использоваться для работы с другими группами,
испытывающими дискриминацию
Необходимость учесть мнение сообщества при проведении
оценки требует сбора качественной информации, поэтому
предпочтительно сочетать качественные и количественные
методы (Mertens, 2009, TRE, p. 165).
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Как сочетать методы




Совместимость: Совмещайте цель, фокус,
вопросы и дизайн.
Фактор времени: Определите, как будет
разнесено во времени использование
качественных и количественных методов.
Удельный вес: Определите приоритеты и
фокусы для качественного и количественного
подходов в рамках исследования.
Сочетание: Определите, на каком этапе
оценки вы будете сводить вместе
качественные и количественные методы.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Одновременное использование
Качественные и количественные методы используются болееменее одновременно
Количественные
Качественные
Последовательное использование: Сначала
количественные, потом качественные
ИЛИ
Последовательное использование: Сначала качественные, потом
количественные
Качественные
Количественные
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Mertens, 2009, TRE, p. 167
Трансформационная
методология
Участие
сообществ
Виды исследований
Описательные – С вмешательством
Модель
исследования
Цикличное
Краткосрочное
Дизайн и методы
Комплекс методов
Один метод
Одновременно
Последовательно
Сочетание
качественных и
количественных
методов
Количественные
Качественные
Участие
сообществ
Community
Participation
6
IPEN Almaty Kazakhstan July 2011 Mertens
7
Пример: делаем явным
Молодежь Ботстваны:
Использование
трансформационного
подхода для решения
проблемы неравного
распределения
полномочий по
борьбе с ВИЧ/СПИД
IPEN Almaty Kazakhstan July 2011 Mertens
Дизайн трансформационной оценки с использованием
качественных и количественных методов
Stage
Этап 11
Qual
Качественные
методы
Соберите
Assemble
команду,
team; read
изучите
documents;
документы,
engage in
начните
dialogues
диалог
Этап 2
Stage 2
ОдновреConcurrent
менно
ПредвариPreliminary
тельное
studies:
youth,
исследования:
older men
молодежь,
пожилые
Этап 3
Этап 4
Stage 3
ПоследоSequential
вательно
Stage 4
ОдновреConcurrent
менно
Pilot
Пилотintervention:
программы:
наблюдение;
Observations,
интервью, опросы
Interviews,
Surveys
Оценка
Process
eval
процесса
ДемографиDemographic
ческая
information;
информация;
Surveys;
опросы;
Incidence
статистикаdata
Pretest:
Пре-тест:
знания,
Knowledge,
отношение,
Attitude,
поведение
Behavior;
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Post
Пост-тест:
качестtests:
венные,
Quant
количестQual;
венные,
Behavior
изменения
в
& Policy
поведении
Change;
и политике;
Transfer
перенос в
другие
To other
условия
contexts
Компоненты трансформационного дизайна:
Пост-колониальная критическая этнография
Описание задачи или вопросов оценки (фокус).
 Описание методов сбора данных: интервью, дневниковых
записей, процессов кодирования, как эти методы будут
использоваться, когда специалист по оценке будет выполнять
роль соисполнителя или наблюдателя.
 Объяснение этической стороны работы, того, как будут
защищаться интересы участников и их частная жизнь, и как на
ключевых этапах работы им будут предоставляться отчеты, и в
том числе финальный.
 Описание участников: численность, место проживания, нормы и
правила, исторический и культурный контекст, ожидания ключевых
источников информации.
 График работ: выезд в поле, сбор данных, возвращение из поля,
кодирование и анализ, завершение написания отчета и/или его
публичное представление.
 Использование критической теории при планировании и
проведении и распространении его результатов.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Madison (2005)

Исследование действием и
трансформационный дизайн
1. Группа определяет цель и вопросы оценки.
2. Специалисты по оценке и участники наблюдают,
участвуют в действиях, наблюдают и записывают.
3. Специалисты по оценке и участники погружаются
в действие и углубляют свое понимание.
4. Члены группы снова собираются вместе и
делятся знаниями, а также обновляют планы
следующего цикла оценки.
5. Этот цикл повторяют 6-10 раз в зависимости от
сложности ситуации.
(Heron & Reason, 2006).
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Трансформационная оценка с использованием
качественных и количественных методов и
исследование методом совместных действий
«Можно использовать опросы,
статистический анализ, интервью, фокусгруппы, этнографическое описание,
жизнеописание, если участники
исследования договорились об этом и
используют так, что это не ущемляет права
и интересы других участников»
Greenwood and Levine (2007)
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Вопросы для размышления: Дизайн
Как вы отнесетесь к тому, что одна группа
станет объектом воздействия, а другая –
нет?
 При каких условиях вы сочтете такой
дизайн этически приемлемым?
 Каковы возможные альтернативы?
(Mertens, 2009, TRE, p. 197)

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Гендерный анализ и сочетание
качественных и количественных методов
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Непосредственные и опосредованные
результаты и влияние
Ресурсы —> Действия —> Непосредственные результаты
—> Опосредованные результаты —> Влияние
 Непосредственные результаты – это продукты, услуги,
способности и возможности, получаемые при исполнении
действий.
 Опосредованными называются кратко- и среднесрочные
результаты, являющиеся следствием непосредственных
результатов; обычно получаются в результате коллективных
усилий партнеров.
 Влияние – это долгосрочный эффект или изменения,
появлению которых способствовала программа благодаря
коллективным усилиям партнеров.
Оценка, основанная на ценностях гендерного равенства и прав
человека: каким образом программа способствовала
достижению гендерного равенства и соблюдению прав
человека?
Индикаторы



С помощью индикаторов мы измеряем,
достигли ли мы своих целей и насколько
мы к ним приблизились.
Разрабатываются для результатов ВСЕХ
уровней – непосредственных,
опосредованных и долгосрочных
(влияния).
Индикаторы (качественные или
количественные) измеряют статус
достижения ожидаемого результата.
Source: UNIFEMIPEN
RBMAlmaty
training Kazakhstan July 2011Module
Mertens2-1
Mixed Methods
15
Индикаторы


Количественные: цифровые показатели
(процентные доли мужчин и женщин в парламенте,
зарплата мужчин и женщин, доли девочек и
мальчиков, которые посещают школу)
Качественные: отражают мнения, отношения и
чувства (природа неудовольствия, уровень
информированности)
IPEN Almaty Kazakhstan July 2011Module
Mertens2-1
Mixed Methods
16
Примеры
Количественные – Можно подсчитать и выразить в
числовой форме
 % … число … частота … доля … количество …
 время …
Качественные – измеряют восприятие
(могут быть выражены в числовой форме или в виде
текста)
 Уровень удовлетворенности … Знания о …
 Способность … Приемлемость... Важность …
 Польза от …
Источник: UNIFEM RBM Training.
IPEN Almaty Kazakhstan July 2011Module
Mertens2-1
Mixed Methods
17
Гендерные индикаторы


Измеряют гендерные изменения
Включают
 индикаторы, дезагрегированные по полу
 индикаторы, измеряющие характеристик,
специфичные для женщин или мужчин
Source: A. Moser. 2007
Gender and Indicators
IPEN Almaty Kazakhstan July 2011Module
Mertens2-1
Mixed Methods
18
Индикаторы для прав человека
Измеряют уровень соблюдения прав человека
в целом, а также уровень соблюдения прав
человека в рамках программы и ее вклад в
их продвижение
Индикаторы для прав человека должны
измерять:
 Изменение
способности правообладателей и
тех, кто облечен ответственностью, обеспечить
реализацию прав человека

Изменение уровня пользования правами
IPEN Almaty Kazakhstan July 2011Module
Mertens2-1
Mixed Methods
19
Оценка, основанная на ценностях
гендерного равенства и прав человека
Реализация рекомендаций и использование результатов
оценки:
 Стратегия распространения результатов оценки должна
обеспечить свободный доступ к ним как правообладателей, так
и тех, что облачен ответственностью
 Предоставьте информацию женским организациям и сетям, а
также сетям специалистов
 Используйте понятный язык
 Проводите семинары для женщин и других групп,
являющихся объектом дискриминации (правообладателей и
тех, кто облечен ответственностью)
 Руководство должно выпустить документ, регламентирующий
использование результатов оценки, касающихся вопросов
гендера и прав человека
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Примеры индикаторов
Индикатор для опосредованного результата:
Изменения потенциала министерств ХХХ
разрабатывать и реализовывать политики,
учитывающие интересы женщин коренных и
малочисленных народов.
Индикатор для непосредственного результата:
Изменения знаний, навыков и отношения
сотрудников министерств ХХХ
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Примеры генденых индикаторов и
индикаторов прав человека




Доля представителей целевой группы
(дезагрегированная по полу), которые
знают о пользе получения свидетельства о
рождении,
Доля занятых – с дезагрегацией по
возрасту и полу,
Доля мальчиков и девочек, получивших
начальное образование,
Доля женщин в парламенте.
“Проверка на соответствие реальности”





Затраты и использование имеющихся данных; не
слишком ли много индикаторов?
Перекос в сторону количественных показателей –
необходим баланс между качественной и
количественной информацией.
Прокси-индикаторы, когда измерение проводится
косвенно.
По возможности индикаторы должны дезагрегироваться
по полу, расовой принадлежности, возрасту и
географическому признаку.
Индикаторы находятся не в вакууме, они должны быть
привязаны к результату.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Упражнение: разработка индикаторов
Разработайте два индикатора (один
качественный и один количественный)
для программы, которую мы
рассматриваем в качестве примера на
этом семинаре.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Пример вопросов для оценки релевантности
(соответствия)


Насколько хорошо цели программы
соответствуют выявленным правам и
потребностям женщин и мужчинблагополучателей?
Какие из прав, определенных в Конвенции о
ликвидации всех форм дискриминации в
отношении женщин, Целями тысячелетия
и другими международными актами,
продвигает программа?
Пример вопросов для оценки результативности


Насколько были достигнуты цели
программы, отвечают ли ожидаемые и
побочные результаты потребностям
наименее привилегированных женщин?
В какой степени был укреплен потенциал
правообладателей и тех, кто облечен
ответственностью?
Примеры вопросов для оценки эффективности



Можно ли было выполнить действия и получить
непосредственные результаты, использовав
меньший объем ресурсов на бенефициара, без
ущерба для качества и количества?
Программа использовала преимущества
партнерских отношений максимально возможно?
Можно ли быть уверенным, что организационная
структура UN Woman и механизмы управления и
координации эффективно поддерживали
реализацию программы?
Примеры вопросов для оценки влияния


В какой степени удалось остановить
практики, дискриминирующие женщин?
Какие есть свидетельства, что
программа помогла правообладателям
более успешно реализовывать свои права,
а тем, кто облечен ответственностью, более эффективно выполнять свои
обязанности?
Примеры вопросов для оценки устойчивости


Поддерживают ли программу
национальные и локальные женские
организации?
Готовы ли и способны ли эти организации
продолжить работу по программе или
пропагандировать изменения?
Дополнительные вопросы, касающиеся
гендерного равенства и прав человека





Равенство и отсутствие дискриминации: Программа дает
положительные результаты в равной мере как для женщин, так и
для мужчин?
Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы
обеспечить включение наименее привилегированных и
маргинализируемых групп?
Отчетность: Проводился ли мониторинг (с дезагрегацией данных
по полу, возрасту, национальной и географической
принадлежности и уровню дохода) и использовались ли его
данные?
Социальные преобразования: Уделяет ли теория изменения
программы внимание вопросам гендерного равенства и прав
человека?
Участие и инклюзивность: Были ли в процессе реализации
программы приняты меры, чтобы включить мужчин и женщин, и в
том числе представителей наименее привилегированных групп?
UN Women 2011
Методы оценки, основанной на ценностях
гендерного равенства и прав человека




Предупреждение систематической ошибки: выбор
методов сбора данных и методов выборки
Возможные источники систематической ошибки:
гендер и власть (вопросы конфиденциальности и
защиты частной жизни, одним источникам проще
участвовать, чем другим), класс или расстояние
(более доступные источники получают
преимущество)
Планы по вовлечению в оценку представителей
маргинализированных групп
Сочетание качественных и количественных
методов
Строгость при выборе методов
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
33
В позитивистской традиции используются два важных
теста:
1. Является ли данное утверждение истинным в данной
ситуации? Является ли изменение значений зависимой
переменной результатом действия независимой
переменной? (Внутренняя валидность)
2. Является ли данное утверждение истинным в
других ситуациях? Можно ли сделать
обобщение? (Внешняя валидность)
IPEN Almaty Kazakhstan July 2011 Mertens
7/5/2011
Сравнительные исследования: строгость







Есть ли причинно-следственная связь? Есть ли
другие объяснения?
Сравнительные группы при изучение причинности в
рамках сравнительного исследования?
Третья переменная является причиной переменнойпредиктора и критериальной переменной?
Анализ подгрупп?
Корреляция: сортировка переменных?
Прогнозные исследования: Другие фильтры для
переменных? Уровень 0.8 или выше?
Надежность и диапазон переменных
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Критерии, которые обеспечивают научную строгость
при использовании качественных методов
Надежность: как и достоверность в качественном
исследовании – спрашивает, есть ли соответствие
между тем, как респонденты воспринимают
социальную реальности, и тем, как их точки зрения
описывают специалисты по оценке.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Критерии строгости при
использовании качественных методов
(a) Постоянство наблюдений
(b) Обсуждение с коллегами
(c) Прогрессивная субъективность
(d) Проверка членами группы
(e) триангуляция
(f) Возможность переноса
(g) Зависимость
(h) Подтверждаемость
(i) Аутентичность и честность
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Трансформационная оценка: строгость





Ориентирована на права человека и социальную
справедливость
Анализирует асимметричность структуры власти
Выступает за культурную компетентность в отношениях
между специалистом по оценке и членами сообщества
Использует качественные и количественные методы,
соответствующие культурным условия, и увязанные с
действиями, направленными на социальные изменения
Применяет феминистские теории, критическую теорию расы,
теории постколониализма и изучения коренного населения
Mertens (2009) Transformative Research and Evaluation. The Guilford Press.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Аутентичность
(Трансормационные критерии)
 Честность: Специалист по оценке представляет
все разные ценности, взгляды и конфликты.
 Онтологическая аутентичность: Человек или
группа стали лучше осознавать свои
представления о мире и свой опыт, представления
стали более сложными.
 Каталитическая аутентичность: Исследование
стало стимулом для действий.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Власть и привилегии
39





Как мы можем понять динамику власти, когда методы с
участием используют власть имущие?
Чьи голоса раздаются и чьи голоса слышны?
Как обеспечить учет все мнений в сложных ситуациях, когда в
исследовании участвует много заинтересованных сторон?
(Mertens, 2009, P. 85)
Что, если я член сообщества? Как это подготавливает меня к
работе в этом сообществе? Что, если я не член сообщества?
До какой степени нужно разделять наиболее заметным
характеристикам сообщества?
Какое место культурная компетентность занимает в
обсуждении взаимодействия в исследовательском контексте?
(Mertens & Wilson, in press)
IPEN Almaty Kazakhstan July 2011 Mertens
7/5/2011
Критерии строгости: использование




Распространение
Использование
Принятие управленческих решений
Участие заинтересованных сторон
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Цели распространения результатов
оценки





Прозрачность и ответственность
Повышение осознанности работы организации и
ее улучшение
Распространение успешного опыта работы и ноухау, чтобы способствовать более широкому
соблюдению прав женщин
Передача опыта партнерам на местах и
повышение их потенциала
Создание знания о том, как продвигать идеи
эмпауэрмента женщин и соблюдения прав
человека
Распространение




Язык и оформление отчета: Используйте графики или
рисунки. Текст должен учитывать гендерные и клуьтурные
особенности.
Перевод: Когда планируете оценку, оцените потребность в
переводе и предусмотрите необходимые время и средства.
Открытая публикация отчета: В системе ООН все отчеты
должны быть в открытом доступе (Норма и стандарты Группы
оценки ООН). В UN Women Отдел оценки размещает отчеты об
оценке в Ресурсном центре оценки (открытом для публики).
Ориентация на целевую аудиторию: Невысокий уровень
грамотности? Менеджер должен проявить креативность и
найти каналы коммуникации, которые подходят различным
аудиториям.
Стратегии распространения






Брошюры с основными
выводами и
рекомендациями
Годовые отчеты
Статьи в
специализированных и
корпоративных
бюллетенях
Новостные релизы
Пресс-конференции
Выступления в СМИ




Общественные
слушания и встречи
Семинары и
неформальные
групповые обсуждения
Электронные медиа
(электронная почта,
сайты, блоги и т.п.)
Личные встречи с
лидерами сообщества.
Возможные трудности




Отсутствие консенсуса относительно
рекомендаций и необходимых действий
Нападки тех, кому не нравятся результаты
Недостаток средств, желания или времени
на распространение
По результатам оценки ничего не делается
Управленческие решения



Опишите реакцию на выводы и рекомендации
оценки, определяет, какие рекомендации должны
быть выполнены, а какие нет, а также механизмы
контроля за исполнением принятых решений.
Привлеките заинтересованные стороны к
обсуждению процесса оценки, результатов,
выводов и рекомендаций.
Привлеките референтную группу к процессу
разработки управленческого решения по
результатам оценки.
План действий

Как то, что вы узнали на семинаре, можно
будет применить в вашей работе?
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Литература




Mertens, D. M. & Wilson, A. (in press).
Program Evaluation. NY: Guilford.
Mertens, D. M. (2010). Research and
evaluation in education and psychology:
Integrating diversity with qual, quant and
mixed methods. 3rd ed. Thousand Oaks,
CA: Sage.
Mertens, D. M. (2009). Transformative
research & evaluation. NY: Guilford
Mertens, D. M. & Ginsberg, P. (2009).(Eds.)
Handbook of Social Research Ethics.
Thousand Oaks, CA: Sage.
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
Контактная информация

Donna M. Mertens, Gallaudet University
 [email protected]
IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods