Transcript Para que avaliar?

OFICINA DE AVALIAÇÃO
DO PROJETO TRANSPARENCIA
UDESC/ICOM
Dias 8 e 9 de setembro de 2011.
www.fonte.org.br
Necessidades e expectativas
www.fonte.org.br

O que primeiro vem à mente quando
escutamos a palavra avaliação?
www.fonte.org.br
Avaliar nos lembra...
www.fonte.org.br
Avaliar nos lembra...
www.fonte.org.br
Crença de que o erro é ruim




O criança que acerta é premiada.
Os erros vão sendo tacitamente colocados
na penumbra da nossa prática
Passamos a ter vergonha dos nossos erros
Com isso, tendemos a nos afastar das
experiências em que erramos, perdemos
muito a capacidade de aprender com elas.
www.fonte.org.br
O erro é funcional e útil

A criança começando a andar ou a
comer sozinha, erra 10, 50 vezes sem
vergonha ou restrição, e seu sistema
vai corrigindo, se aprimorando
www.fonte.org.br
Como educadores:

Como nós criamos um ambiente ao
redor da criança que seja tolerante e
paciente com os erros, que permita
confiança para a criança se rever,
refletir, sem reforçar a vergonha do
erro?
www.fonte.org.br
Como gestores

Como criar um ambiente em que haja
paciência e tolerância com os erros,
para podermos nos aproximar deles e
então aprender?
www.fonte.org.br
Proposta

Ampliar nossos conhecimentos e
práticas sobre avaliação nas
organizações com vistas à
aprendizagem.
www.fonte.org.br
O que queremos avaliar?




A qualidade de nosso trabalho
O desenvolvimento daqueles a quem
atendemos
A satisfação de nosso cliente
Os efeitos de nosso trabalho na
sociedade
www.fonte.org.br

Como avaliar se o que estamos
fazendo está promovendo a melhoria
das condições de vida dos que
atendemos?
www.fonte.org.br
Conhecemos nosso público-alvo?



Caracterize o seu público-alvo:
O que ele é, o que faz, o que busca, o
que necessita, como está quando vem
à sua organização.
Escolha um público e liste 10
características, no mínimo.
www.fonte.org.br
Conhecemos a natureza de nossa
intervenção?



Descreva o que sua ação propicia.
O que é característico de sua ação.
Liste 10 características de sua
intervenção.
www.fonte.org.br
Conhecemos os efeitos de nossa
intervenção?



Descreva mudanças observadas no
público atendido, em função de sua
intervenção.
Fuja dos jargões e palavras genéricas
(ex auto-estima, inclusão).
Liste 10 características de mudanças
percebidas.
www.fonte.org.br

O que mostra que uma criança está
crescendo?
www.fonte.org.br

O que demonstra que uma criança está
se desenvolvendo?
www.fonte.org.br
O que indica desenvolvimento?




São sinais que se revelam mais no âmbito
dos relacionamentos, no “entre”;
Como a pessoa se relaciona consigo mesma,
com as outras pessoas e com o mundo ao
redor.
São sinais não do mundo da matéria, mas
perceptíveis, visíveis, comunicáveis,
registráveis.
Observáveis e comunicáveis tanto por quem
intervém como por quem vive a ação.
www.fonte.org.br
Perceber desenvolvimento





Requer presença, atenção, proximidade,
acompanhamento
Requer registro, reflexão, comparação
Requer ter olhos para a mudança, para o
movimento.
Requer aceitação para o que está
acontecendo, seja o desejável ou não.
Se nos prendemos ao esperado, perdemos o
inesperado.
www.fonte.org.br
Construindo indicadores
indicadores são aspectos da realidade que tomamos como
base para melhor compreender esta realidade (objeto
avaliado). São instrumentos que ajudam os interessados a
olharem “juntos” para a realidade.
podem ser qualitativos ou quantitativos.
 precisam ser compreendidos por todos.
 precisam permitir diferenciação entre realidades
diferentes e comparação entre momentos diferentes.

Específico,
Mensurável, Sensível, Inteligível e Confiável
www.fonte.org.br
Meios de colheita de informações

Na prática cotidiana da organização,
como posso acompanhar
concretamente o desenvolvimento do
meu público alvo?
www.fonte.org.br
Marco zero ou linha de base
Caracterização do indivíduo quando
chega ou no início da intervenção:
 Entrevista, anamnese
 Teste individual
 Observação, descrição
 ...
www.fonte.org.br
Acompanhamento:





Diário de campo: leitura dos movimentos percebidos
(não movimentos também). Pedir para a educadora
escrever uma linha sobre cada criança ao final do
dia.
Avaliações periódicas
Reuniões de mães
Dia de atividades pais e filhos
Reuniões de educadores
www.fonte.org.br
O acompanhamento e o registro:
Permitem desenvolver olhos para a
mudança,
 Permite identificação de erros e
acertos, para correção da prática
 Produz conteúdos para comunicação
 Permite a qualificação profissional...
... sem gastarmos um real a mais.

www.fonte.org.br
Transformando indicadores
qualitativos em quantitativos
Número de crianças que:
 Desenvolveram novas atitudes de colaboração,
ajuda mútua
 Aprenderam e realizam as tarefas de cuidado
pessoal e com seus objetos de uso pessoal
 Desenvolveram hábitos espontâneos de leitura
...
www.fonte.org.br
Indicadores quantitativos
Número de mães que:




Relatam ter diminuído ou cessado as punições
físicas
Relatam mudança nos hábitos alimentares da família
Buscaram os serviços de inclusão social: emissão de
documentos, AA, cesta básica, seguro-desemprego,
etc.
...
www.fonte.org.br
1º dia:

Avaliação orientada à leitura de
movimentos do nosso público-alvo
(marco zero, acompanhamento,
indicadores de desenvolvimento,
formas de colheita de informações).
www.fonte.org.br
2º dia:
Avaliação orientada à aprendizagem e
fortalecimento da equipe e da prática
Avaliação
do trabalho voluntário
Avaliação de situações difíceis: 3
situações.
www.fonte.org.br
Avaliação do trabalho voluntário
Temos clareza de para que queremos o
voluntário?
 Descrição do perfil do voluntário
 Características necessárias
 Características desejáveis
www.fonte.org.br
Exemplo de perfil
Necessárias
•Sexo indiferente
•Idade acima de 21 anos
•Não fumante
•Bom humor
•Saber brincar
•Ter amor por crianças
•Abertura para aprender
•Assiduidade
•Pontualidade
•Assumir responsabilidade
•Saber trabalhar em equipe
Desejáveis
•Morar perto
•Ter condução própria
•Saber cantar e/ou tocar um
instrumento musical
•Ter flexibilidade de horários
www.fonte.org.br
Avaliação do trabalho voluntário
Seleção:
 Busca do perfil
 Entrevista
Capacitação:
 Curso
 Acompanhamento de pessoa
experiente
www.fonte.org.br
Avaliação do trabalho voluntário
Avaliação de desempenho:
 Por quem reconhece como autoridade
(quem o selecionou, ou o treinou)
 Formas de colheita de informações:
Diário de campo, retorno do público alvo,
acompanhamento da atividade.
 O que está de acordo, o que pode ser
melhorado.
www.fonte.org.br
Avaliação do trabalho voluntário

Promoção do voluntário

Desligamento do voluntário
www.fonte.org.br
Avaliação de situações difíceis
Situação 1: o evento deu errado.
houve desavenças na equipe, há tensão,
as pessoas culpam os outros, outros
não querem mais participar.
A/o coordenador/a marcou uma reunião
com a equipe.

www.fonte.org.br
Avaliação de situações difíceis

Situação 2: a coordenadora se queixa
de como uma educadora reagiu frente a
uma situação. Pensa que ela não serve
e pede para você despedi-la.
www.fonte.org.br
Avaliação de situações difíceis

Situação 3: numa reunião, uma pessoa
atropela as outras trazendo suas
opiniões que viram decisões sem que
todos estejam de acordo.
www.fonte.org.br
Ciclo de Ação-aprendizagem
www.fonte.org.br
Ação aprendizagem



Existe muito conhecimento imerso nas
nossas experiências
Refletir sobre ações vividas pode
orientar ações futuras
Situações “boas” e “más” são
igualmente fontes de aprendizado
www.fonte.org.br
Ação





Descreva a ação: o que aconteceu?
Atenção aos fatos. Diferentes pessoas tem
diferentes fatos.
Sentimentos também são recebidos, desde
que manifestos por quem os sentiu.
A intenção é que todos tenham a mesma
quantidade de informações a respeito.
 Eu acho / Porque / Tirar conclusões.
www.fonte.org.br
Reflexão:





O que nos chama a atenção?
O que se repetiu?
Que fatores contribuíram? Que fatores
dificultaram?
Como as coisas foram se movendo ao
longo do caminho?
Como eu contribuí para que isso fosse
assim?
www.fonte.org.br
Aprendizagem




Estabelece relações com experiências
anteriores.
Permite a reflexão da prática de cada um.
Permite identificarmos padrões na nossa
prática.
Permite acessarmos o que é importante
para nós, neste momento.
www.fonte.org.br
Planejamento



O que podemos fazer diferente numa
próxima vez?
O que eu posso fazer diferente?
Do que devemos cuidar?
www.fonte.org.br
CUIDADOS




Ter tolerância ao que “deu errado” ou
foi diferente do esperado.
Estar verdadeiramente aberto para
novas compreensões – aprender!
Não querer encontrar culpados.
Não conduzir o processo tomado pela
emoção.
www.fonte.org.br
Fases das reuniões
(ver texto para se ter reuniões produtivas)





1. Preparação
2. Formação de imagem
3. Formação de juízo
4. Plano de ação
5. Avaliação
www.fonte.org.br
Para que avaliar? Para aprender

Para estimular a reflexão sobre a prática;

Para extrair conteúdos, conhecimentos da
prática vivida;

Para se ter mais consciência dos efeitos de
nossas ações nos outros e no mundo;

Para acessar os valores, as crenças que
orientam nossa prática e dos quais não estamos
conscientes no dia-a-dia; ...
www.fonte.org.br
Para que avaliar? Para aprender

Para extrair valor do que se faz: construir
julgamentos, juntos;

Para perceber o sentido do que se faz.

Para indicar o que pode ser renovado,
aprimorado, abandonado, propiciando
conteúdos para o planejamento de ações
futuras.

Para fortalecer nossa atuação no mundo.
www.fonte.org.br
É possível definir avaliação?
“processo sistemático de identificação, esclarecimento e aplicação
de critérios, passíveis de serem defendidos publicamente, para
determinar o valor (mérito e relevância) de determinado objeto –
programa, projeto, material educacional e outros – avaliado em
relação aos critérios estabelecidos...”
Esta é uma gramática em construção. Importa saber qual conceito
faz sentido para você?
Fonte: Sanders, J.R. (chairs). The Program evaluation standards. 2nd. ed. The Joint Committee on
Standards for Educational Evaluation. Thousand oaks, California: Sage Publications, Inc; 1994
www.fonte.org.br
Avaliação
É conceito em construção e terá tantos sentidos quanto lhe atribuírem
aqueles que o constroem.
Possui três elementos essenciais:
A medição, relacionada ao ato objetivo (muitas vezes) quantitativo de
medir as coisas, as variações e as mudanças.
A descrição, que diz respeito ao ato de representar um objeto ou
fenômeno, caracterizando-o em sua integralidade e multiplicidade
(tendendo a operar pela linguagem qualitativa).
O julgamento, determina o mérito e a relevância de um objeto ou
fenômeno.
Para propiciar desenvolvimento, o exercício da avaliação pede que se
produzam aprendizagens.
Silva,
R.R.
www.fonte.org.br
Avaliações hoje...

cada sujeito interessado(a) tem suas questões e seus interesses.
a avaliação é um processo mediador da aproximação que os diferentes
interessados(as) fazem do objeto avaliado.

o diálogo, a ampliação da compreensão e a negociação de posições
compõem o eixo da avaliação.

os métodos qualitativos e quantitativos de investigação da realidade são
fundamentais para construir leituras mais abrangentes e complexas dos
objetos.

a formação de juízo de valor se dá no processo coletivo e demanda o
envolvimento ativo dos interessados(as).

a
aprendizagem ocorre orgânica ao processo de avaliação, é um meio e não
apenas um fim.
os processos de avaliação são ético-políticos, vão além de ferramenta
técnico-administrativa.

www.fonte.org.br
Quando avaliar?
diagnóstico
idéias
decisões
contexto
e
novas perguntas
elaboração
da
intervenção
sistematização
avaliação
implementação
gestão
somativa
monitoramento
www.fonte.org.br
linha de base
Tipos de avaliação
avaliação formativa
processos de avaliação orientados para melhorar o dia-a-dia
da gestão de um projeto ou programa, ou seja, seus
procedimentos, as relações entre as pessoas, a adequação
de aspectos estruturais e assim por diante.

Obs. Quando falamos em avaliação processual, falamos de uma variação de
avaliação formativa, oriunda do campo da educação. O monitoramento também
é um conceito associado ao campo da avaliação formativa.
avaliação somativa
processos de avaliação orientados a ajudar grupos a
escolherem pela continuidade ou não de um projeto ou
programa, a apoiarem sua reedição ou não. São processos
diretamente interessados tanto nas questões de mérito de
um projeto ou programa, quanto em sua relevância.

Fonte: STAKE RE. Standards-Based & Responsive Evaluation. Thousands Oaks: Sage; 2004. p. 17.
www.fonte.org.br
Tipos de avaliação
avaliação de resultados
trata-se de uma das variações das avaliações somativas
que tem o propósito de determinar que resultados foram
alcançados pelo projeto ou programa em questão.

 resultados esperados (objetivos do projeto).
 resultados não esperados (desdobramentos).
 impacto (são os resultados mais profundos, as mudanças
mais significativas no problema em questão).
www.fonte.org.br