Transcript Alcides Fernando Gussi

MINICURSO
Metodologias Qualitativas de Avaliação
Prof. Alcides Fernando Gussi
(Mestrado em Avaliação de Políticas Públicas
MAPP/UFC)
EMENTA
Perspectivas
teóricas
e
metodologias
qualitativas de avaliação de políticas públicas.
Técnicas
de
pesquisa qualitativa. A abordagem etnográfica.
Análise de dados qualitativos. Práticas de
pesquisa avaliativa.
OBJETIVO
Apresentar as possibilidades e os limites dos usos
de
diversas
técnicas
metodológicas qualitativas na avaliação de
políticas
públicas
(observação,
entrevista em profundidade, história de vida,
grupos
focais,
análise
de
rede),
com ênfase na abordagem etnográfica, em seus
aspectos teóricos e práticos.
1. O lugar da metodologia qualitativa
na pesquisa em avaliação de políticas
públicas
Quadro 1. Desenho da avaliação: concepção
EMPIRISMO
PARADIGMAS
CIENTÍFICOS
RACIONALISMO
POSITIVISTA
HERMENÊUTICO
AVALIAÇÃO TÉCNICONORMATIVA
AVALIAÇÃO
COMPREENSIVA
CONSTRUÇÃO DO
OBJETO/ PROBLEMA DA
AVALIAÇÃO
RECORTE
TEMÁTICO
RECORTE
(INTER)DISCIPLINAR
METODOLOGIA:
PRESSUPOSTOS E
INSTRUMENTAL
RECORTE EMPÍRICO
(SUJEITOS, LOCAL,
TEMPO)
Quadro 2. Desenho metodológico da avaliação
METODOLOGIA DA
PESQUISA
METODOLOGIA
QUANTITATIVA
METODOLOGIA
QUALITATIVA
TÉCNICAS DE
PESQUISA
COLETA DE
DADOS
REGISTRO DE DADOS
ANÁLISE DE DADOS
Quadro 3. Técnicas qualitativas na avaliação
METODOLOGIA
QUALITATIVA
TÉCNICAS DE
PESQUISA
COLETA E REGISTRO DE
DADOS
OBSERVAÇÃO
PARTICIPANTE
ENTREVISTA
GRUPO FOCAL
ANÁLISE
DOS DADOS
HISTÓRIA DE VIDA
ANÁLISE DE REDE
Os métodos e análises da pesquisa qualitativa supõem
considerar três etapas do percurso metodológico:
1ª Etapa: PLANEJAMENTO E PREPARAÇÃO;
2ª Etapa: REALIZAÇÃO DA PESQUISA;
3ª. Etapa: ORGANIZAÇÃO E ANÁLISE DOS DADOS.
Etapas cognitivas do percurso metodológico da
pesquisa (Roberto Cardoso de Oliveira, 1996)
- Olhar, ouvir, escrever: as etapas cognitivas da
apreensão da realidade;
- O olhar e ouvir (percepção) e escrever (pensamento);
- Olhar e ouvir: momento da pesquisa de campo/ “estar
lá” (no campo);
- Escrever: “estar aqui”.
Quadro 4. Técnicas qualitativas no desenho da pesquisa avaliativa
CONSTRUÇÃO DO
OBJETO/PROBLEMA
METODOLOGIA DA
PESQUISA
METODOLOGIA
QUALITATIVA
METODOLOGIA
QUANTITATIVA
TÉCNICAS DE
PESQUISA
TÉCNICAS DE
PESQUISA
COLETA E REGISTRO
DE DADOS
COLETA E REGISTRO
DE DADOS
ORGANIZAÇÃO E
ANÁLISE DOS
DADOS
2. A abordagem etnográfica na avaliação de
políticas públicas
Tarsila do Amaral, “Os Operários”
2.1. O horizonte antropológico
O QUE É A ANTROPOLOGIA?
- A Antropologia e o conhecimento do outro
ALTERIDADE:
EU

OUTRO (diferente de mim)
A antropologia é o estudo do modo pelo qual os
homens percebem suas diferenças ao longo de
um dado período de tempo (Da Matta, 1987).
O percurso do pensamento antropológico:
1º O “outro” como exótico, primitivo e o
selvagem, com distanciamento geográfico e
social;
2º. O “outro” na nossa própria sociedade, mais
próximo, mas que tem suas especificidades
sociais e culturais.
2.2. A prática antropológica: a
etnografia
O QUE É A ETNOGRAFIA?
- A observação, descrição e a interpretação de
um grupo humano considerado em sua
particularidade;
- A etnografia é o resultado da vivência do
pesquisador no trabalho de campo;
- A etnografia é o resultado que se observa
quando saímos do ambiente familiar/“estar
aqui” para o estranho /“estar lá”.
--
- A regra do trabalho etnográfico é relativizar (Roberto
DaMatta, 1978):
(a) transformar o exótico em familiar,
e/ou
(b) transformar o familiar em exótico.
- A etnografia é um exercício de alteridade!
EU

OUTRO
ALGUNS PROBLEMAS PRÁTICOS DO
(VICTÓRIA, C. G et al 2000, p. 56-59)
TRABALHO
DE
CAMPO
- A entrada no grupo a ser pesquisado;
- Como romper com a visão oficial e ou imagem pública do grupo;
- Como conhecer os fatos não oficiais;
- Como controlar o tipo de informante de um grupo (regularidade e
excepcionalidade);
- Cuidado para não ferir suscetibilidades das pessoas do grupo;
- Identificação/classificação, e questões éticas e pessoais;
- Relações pessoais que o pesquisador consegue estabelecer.
2.3. Os usos da abordagem etnográfica
na avaliação
-
Avaliação baseada da experiência empírica dos
programas/políticas, atentando para como são executados
no seu cotidiano institucional e fora dele;
-
Avaliação baseada na construção das trajetórias
institucionais dos programas/políticas em foco, associadas
às trajetórias de vida dos participantes (Gussi, 2008);
-
Foco no ponto de vista de distintos sujeitos institucionais
e/ou beneficiários acerca das programas, tende a ser mais
participativo;
- Articulação entre o texto do programa (marcos legais,
conceitos, objetivos e ações) e os seus distintos contexto:
histórico, econômico, político e social (Lejano, 2011);
- Formulação de novos indicadores sócio-culturais,
construídos na/com a etnografia, chamando atenção para
outras dimensões, tais como, sociais, culturais, políticas e
ambientais (Gonçalves, 2008);
- A construção de um campo epistemológico acerca da
“avaliação em profundidade” de políticas públicas de
caráter social (Rodrigues, 2008, 2011).
3. As Técnicas Qualitativas de Pesquisa
3. 1. Observação participante
- Examinar todos os sentidos de um evento (política pública), um
grupo de pessoas, um indivíduo dentro de um contexto com o
objetivo de descrevê-lo a partir do problema avaliativo;
- Registro de dados: notas breves e, posterior, caderno de campo;
- Elementos a serem observados:
* O ambiente externo e interno;
* O comportamento das pessoas no grupo;
* A linguagem;
* Os relacionamentos;
* O tempo em que ocorrem os processos observados.
- Três situações distintas da observação participante na pesquisa
avaliativa:
1ª.) O observador encontra-se distante do observado;
2ª.) O observador encontra-se próximo do observado;
3ª.) O observador faz parte do grupo observado.
3. 2. Entrevista em profundidade
- Usos da entrevista em profundidade: compreensão dos sujeitos
e grupos sociais sobre dimensões da política pública avaliada;
- Preparação e planejamento:
* O roteiro;
* Seleção dos entrevistados;
* O número de entrevistas
- Realização da entrevistas;
- Transcrição das entrevistas;
- A análise das entrevistas:
* A transcrição com boa qualidade da entrevista;
* Articulação com os objetivos da pesquisa e sua problematização
teórica;
* Procura por temas com conteúdo comum (padrões, conexões e
contradições);
* Imersão do pesquisador no corpus do texto e a organização dos
dados;
* A interpretação deverá ser balizada pelos dados da entrevista.
3. 3. Grupo focal
- Entrevistas em grupo (família, grupos de amigos, líderes
comunitários, etc.)
- Foco: um tema e/ou um grupo
- Três fases:
1ª.) Seleção das pessoas e preparação do encontro (roteiro);
2ª.) O encontro;
3ª.) Transcrição das falas e compilação dos dados.
3. 4. História de vida
- Compreender o desenvolvimento da vida do sujeito investigado e
traçar com ele uma biografia que descreva sua trajetória;
- Realizada ao longo de vários encontros;
- Trata-se de uma reconstrução a partir da avaliação atual dos
fatos;
- A memória é seletiva;
- A importância da sequência de eventos.
Quadro 5. Passos da entrevista individual (adap. Gaskell, 2002)
SELEÇÃO DOS
ENTREVISTADOS
ESCOLHA DO TIPO DE
ENTREVISTA: INDIDIVUAL
E/OU GRUPAL
PREPARAÇÃO DO
ROTEIRO
REALIZAÇÃO DAS
ENTREVISTAS
TRANSCRIÇÃO DAS
ENTREVISTAS
ORGANIZAÇÃO E
ANÁLISE
3. 4. Análise de rede
Ferramenta metodológica utilizada em conjunto com outras
abordagens e técnicas (questionários, entrevistas, observação
participante);
- Construção e utilização de gráficos e análises matemáticas, com
representações de pontos, linhas e cliques (grupos de atores direta ou
fortemente ligados a todos os outros).
- Observação: o que é trocado/ com quem é trocado/ o quanto é trocado
(densidade).
Figura 1. Construção gráfica da rede social (i) (Barnes, 1987)
Figura 2. Construção gráfica da rede social (ii) (Barnes, 1987)
4. A análise de dados
- O avaliador opera com uma diversidade de materiais (estudo de caso,
observação, história de vida, entrevista, textos históricos, visuais, etc.);
- Caráter explicativo dos dados qualitativos.
- A triangulação de métodos na avaliação de políticas públicas e
programas sociais.
- Articulação entre dos dados, e entre os dados e o problema avaliativo
(interpretação do avaliador);
- O produto final (relatório).
Quadro 6. Desenho da avaliação: síntese
CONCEPÇÃO DA
AVALIAÇÃO
PESQUISA
(COLETA DE DADOS)
SÍNTESE DOS DADOS
(ORGANIZAÇÃO)
RELATÓRIO FINAL
(ANÁLISE E
CONCLUSÕES)
5. Prática de pesquisa avaliativa
Objetivos
-
Apresentar a metodologia e os resultados da avaliação
comparada de dois programas de microcrédito do Banco do
Nordeste:
1º.) o Crediamigo, tipo de microcrédito produtivo orientado;
2º) o Programa de Apoio a Projetos Produtivos Solidários PAPPS, que financia Fundos Rotativos Solidários - FRS, um tipo
de microfinanças solidárias.
A perspectiva avaliativa
- Perspectiva compreensiva e multidimensional de avaliação a
partir da experiência da política/programa(Lejano, 2011);
- Pressupostos de uma “avaliação em profundidade”
(Rodrigues, 2008, 2011, 2011a).
A metodologia da avaliação
- Centrada na etnografia (descrição densa, Geertz, 1978);
- Interpretação dos diferentes atores acerca dos programas de
microcrédito e seus resultados;
- Construção da trajetória (Bourdieu, 1996; Gussi, 2008) dos
programas nas instituições e entre os beneficiários do
microcrédito a partir das noções de desenvolvimento envolvidas
nas ações dos programas.
A pesquisa etnográfica
- Pesquisa bibliográfica sobre microcrédito e microfinanças e
temas correlatos;
- Coleta de material institucional sobre os programas (desenho
dos programas, objetivos, características, dados quantitativos de
investimentos e de desempenho, e seus resultados nas
comunidades locais);
- Mapeamento estatístico dos programas nos bairros de Fortaleza;
A pesquisa etnográfica
- Observação participante no locus das experiências gestadas pelos
programas, no Banco do Nordeste e nos empreendimento de
trabalhos gerado pelo microcrédito, especialmente no PAPPS, a
AMA – Associação de Mulheres em Ação/Bodega;
- Aplicação de questionários a beneficiários dos programas pra
traçar um perfil econômico e sócio-cultural dos beneficiários, tais
como, sexo, idade, estado civil, orientação religiosa, hobby, situação
econômica, qualificação, escolaridade e localidade de origem;
A pesquisa etnográfica
- Entrevistas em profundidade com os atores institucionais que
conceberam e implementam os programas em Fortaleza,
abordando os objetivos dos programas, conceitos centrais,
metodologia e avaliação dos programas;
- Histórias de vida dos beneficiários, escolhidos a partir dos perfis
dos questionários e sua vinculação com os programas, com o
intuito de construir significados acerca do microcrédito partir das
representações sobre os impactos do programa no contexto de
suas narrativas biográficas.
Resultados da avaliação
Acompanhamento das trajetórias dos dois programas de
microcrédito, junto a técnicos do Banco do Nordeste, e
beneficiários, com perfil de baixa renda de Fortaleza, nas várias
instâncias institucionais e fora dela dos programas.
Conclusões
1. Avaliação do Programa Crediamigo
- Programa impactante na renda dos beneficiários, ampliador do
crédito nas classes mais baixas e catalizador inserção no
mercado laboral informal;
- As condições de vida dos beneficiários permaneceu estável,
alterando-se apenas a condição de consumo doméstico das
famílias envolvidas, não havendo mudança significativa em
outros aspectos da vida, tais como escolaridade, capacitação
profissional, moradia, saúde e lazer;
Conclusões
1. Avaliação do Programa Crediamigo
- O Crediamigo orienta-se para o aspecto econômico, com foco no
aumento da renda e do consumo dos beneficiários, implicando
em um desenvolvimento vinculado à inserção no mercado.
Conclusões
2. Avaliação do PAPPS
Na visão das participantes da AMA/Budeg´AMA e gestores do Banco do
Nordeste
- Na dimensão social: o recurso promoveu maior sociabilidade e fortaleceu
laços solidários entre as associadas e encontram, no trabalho coletivo
(participativo e solidário), motivações para levar adiante o projeto pessoal de
autonomia;
- Na dimensão econômica: o recurso ajudou parcialmente, embora tenha
possibilitado a criação do FRS e a compra de insumos para a produção, não
garante sustentabilidade econômica, já que a renda obtida com a
comercialização dos produtos é menor do que as despesas mensais da
associação.
Conclusões
2. Avaliação do PAPPS
Na visão das participantes da AMA/Budeg´AMA e gestores do
Banco do Nordeste
- Na dimensão política: o recurso contribuiu para o
desenvolvimento das práticas democráticas de autogestão e a
construção de uma maior consciência política;
- Na dimensão ambiental: o recurso vem contribuindo para a
formação de uma consciência ambiental, porém os resultados são
menos relevantes.
Conclusões
2. Avaliação do PAPPS
- Do ponto de vista econômico, os recursos do PAPPS aplicados na
AMA/Budeg´AMA não garantem a continuidade do
empreendimento para que se mantenha auto-sustentável,
porém o PAPPS impacta nas demais dimensões, social, política e
ambiental.
- O PAPPS financiado pelo Banco, aumentou da auto-estima das
associadas, o fortalecimento dos laços afetivos, o aumento da
autonomia, o crescimento pessoal, aumentou a noção de
cidadania, voltada para a consciência dos direitos.
Conclusões
3. Aportes comparativos entre o Crediamigo e o PAPPS
- A dimensão social e política do PAPPS constrói afetividade, confiança e
um sentido de solidariedade entre os membros do empreendimento
estudado, ou seja, a construção de um capital social, não realizado no
programa Crediamigo;
- No PAPPS, impactos dimensão econômica na vida dos beneficiários
encontra-se em segundo plano diante das outras dimensões, no
Crediamigo, a dimensão econômica, com o aumento da renda e a
inserção no mercado laboral, tem principal importância e fundamenta o
programa, deixando de lado outras necessidades demandadas pelos
clientes;
6. Exercício de prática de pesquisa
avaliativa (em grupos)
Desenho da avaliação: concepção
EMPIRISMO
PARADIGMAS
CIENTÍFICOS
RACIONALISMO
POSITIVISTA
HERMENÊUTICO
AVALIAÇÃO TÉCNICONORMATIVA
AVALIAÇÃO
COMPREENSIVA
CONSTRUÇÃO DO
OBJETO/ PROBLEMA DA
AVALIAÇÃO
RECORTE
TEMÁTICO
RECORTE
(INTER)DISCIPLINAR
METODOLOGIA:
PRESSUPOSTOS E
INSTRUMENTAL
RECORTE EMPÍRICO
(SUJEITOS, LOCAL,
TEMPO)
Técnicas qualitativas na avaliação
METODOLOGIA
QUALITATIVA
TÉCNICAS DE
PESQUISA
COLETA E REGISTRO DE
DADOS
OBSERVAÇÃO
PARTICIPANTE
ENTREVISTA
GRUPO FOCAL
ANÁLISE
DOS DADOS
HISTÓRIA DE VIDA
ANÁLISE DE REDE
BIBLIOGRAFIA
BARNES, John. A. Redes sociais e processo político. In: FELDMAN-Bianco, Bela. A antropologia das
sociedades contemporâneas. São Paulo: Global, 1987. p.227-344.
BAUER, Martin; GASKELL, George (ed.). Entrevistas individuais e grupais. Pesquisa qualitativa com
texto, imagem e som. Um manual prático. Petrópolis: Vozes, 2002.
BOURDIEU, Pierre. A ilusão biográfica. In: AMADO, Janaína; FERREIRA, Marieta de Moares (org.).
Usos e abusos da história oral. Rio de Janeiro: Fundação Getúlio Vargas, p. 183-191, 1996.
CARDOSO DE OLIVEIRA, Roberto. O trabalho do antropólogo: olhar, ouvir, escrever. In: Revista de
Antropologia. São Paulo: USP, v. 39, n. 1, 1996.
FOOTE-WHYTE, W. Treinando a observação participante. Zaluar, Alba. Desvendando Máscaras
Sociais, Rio de Janeiro: Livraria Francisco Alves Editora, 1979.
GEERTZ, Clifford. A interpretação das culturas, Rio de Janeiro: Zahar, 1978.
GONÇALVES, Alícia Ferreira. Políticas Públicas, etnografia e a construção dos indicadores
socioculturais. Aval – Revista de Avaliação de Políticas Públicas. UFC, número 1, 2008, p. 17-28.
GUSSI, Alcides Fernando. Apontamentos teóricos e metodológicos para a avaliação de programas
de microcrédito. AVAL Revista Avaliação de Políticas Públicas, ano I, vol.1, n.1, jan-jun, 2008.
_____. Avaliação de políticas públicas sob uma perspectiva antropológica. Heloísa de A. Duarte
Valente, Rosália Maria Netto Prados, Cristina Schmidt (orgs.) Música como negócio: políticas
públicas e direitos de autor. Osasco (SP), Leonardo da Vinci Editora, 2014 (no prelo).
_____ et alli. Avaliação dos Programas de microcrédito do Banco do Nordeste. Revista Brasileira
de Monitoramento e Avaliação n. 06, jul-dez 2013, Brasília: MDS/SAGI, 2013.
LEJANO, Raul P. Parâmetros para avaliação de políticas: fundindo texto e contexto.
Campinas, SP: Editora Arte Escrita, 2012.
MALINOWSKI, Bronislaw. Introdução. Os argonautas do Pacífico Ocidental. São
Paulo. Abril. 1978.
QUEIROZ, Maria Isaura Pereira. Variações sobre a técnica do gravador no registro da
informação viva. São Paulo: T.A.Queiroz, 1991.
RODRIGUES, Lea Carvalho. Propostas para uma avaliação em profundidade de
políticas públicas sociais. AVAL Revista Avaliação de Políticas Públicas, ano I, vol.1,
n.1, jan-jun, 2008.
_____ Análises de conteúdo e trajetórias institucionais na avaliação de políticas
públicas sociais: perspectivas,
limites e desafios. CAOS – Revista Eletrônica de Ciências Sociais, nº 16, p. 55–73,
2011.
_____ Avaliação de políticas públicas no Brasil: antecedentes, cenário atual e
perspectivas. In: PRADO, Edna Cristina; DIÓGENES, Elione Nogueira Maria (Orgs).
Avaliação de políticas públicas: interface entre educação e gestão escolar. 1ed.
Alagoas: Editora da Universidade Federal de Alagoas – EDUFAL, 2011