Transcript Diferentes_Visoes_da_Avaliacao_-_cap_4-5-6-7

Diferentes Visões da Avaliação
Cap. 4 - Epistemologias objetivista X subjetivista
Avaliações utilitaristas X Intuicionistas-pluralistas
Métodos quanti X quali
Síntese das abordagens
1. Experimentação
– Desenho experimental, grupos controle, pré e pós-teste, distribuição aleatória nas
condições, testes estatísticos. (Fisher, 1923)
2. Mensuração
- medidas de efetividade
- construção de instrumentos e aplicação critérios
- registros e descrições
3. Análise Sistêmica
– Exame de inter-relações de séries de variáveis
– Análise de processos
– Apoio a decisões
4. Abordagens Interpretativas
– Interpretações descritivas
– Julgamentos holísticos de problemas comple xos
Objetivismo X Subjetivismo
Objetivismo
–
–
-
Replicabilidade dos resultados
Intersubjetividade
Dados empíricos
Generalização
Subjetivismo
- O saber é tácito
- Depende das percepções e experiência do avaliador
- Experiência para compreender os fenômenos
Avaliação Utilitarista X IntuicionistaPluralista
Utilitarista
- maximizar a felicidade na sociedade
- o maior bem é o que beneficia mais pessoas
- avaliação do impacto global de um programa sobre os beneficiários
- Uso de médias ou outras estimativas do impacto em grupos
- os mais interessados são gerentes e administradores de programas
públicos.
Intuicionista-Pluralista
- o valor do programa depende do impacto do programa em cada indivíduo
- epistemologia subjetivista
- os critérios de avaliação do que é bom e certo são os sentimentos e
apreensões individuais
- pluralidade de critérios e juízos
-avaliador descrevem diferentes valores e necessidades
Quanti-Quali
–
–
–
–
Quali
O pesquisador é o principal
instrumento de coleta e
análise de dados
Foco em dados reais que
ilustrem as ações do cotidiano
e seu significado sob o ponto
de vista dos pesquisados
Foco em processos sociais
Adota observação
participante e entrevistas,
entre outras
•
•
•
•
•
•
•
•
•
•
Quanti
Formulação e teste de hipóteses
Abordagens experimental e quaseexperimental
Registro de dados
Mensuração
Análises estatísticas
Rigor metodológico
Busca de relações de “causa e
efeito”
Valores: replicação e generalidade
Validade interna das inferências de
causalidade
Validade externa
Classificação das Abordagens de
Avaliação
1. Centrada em Objetivos
2. Centrada na Administração
3. Centrada no Consumidor
4. Centrada em Especialistas
5. Centrada no Adversário
6. Centrada no Participante
Cap. 5 – Centrada em Objetivos
Tyler (1942): a avaliação é um processo de determinação da medida em que os objetivos
de um programa foram alcançados.
Passos:
1. Estabelecer metas ou objetivos
2. Classificar objetivos
3. Definir objetivos em termos comportamentais
4. Escolher situações nas quais é possível demonstrar que os objetivos
foram atingidos
5. Criar ou selecionar técnicas de mensuração
6. Coletar dados relativos ao desempenho
7. Comparar os dados do desempenho com os objetivos formulados em
termos de comportamentos (conhecimentos, habilidades e atitudes).
•Os objetivos da avaliação são localizar discrepâncias entre desempenhos e objetivos e
corrigi-las.
• Abordagem muito adotada em educação e treinamento.
•Adoção de taxonomias de objetivos e métodos de descrição de objetivos educacionais
(Mager e Mager e Pipe).
O uso de abordagens centradas em objetivos
•
Início na década de 30 nos EUA e em outros países.
•
Refinada por Mager (1962): formulação de objetivos comportamentais com níveis desejados
de desempenho, critérios de avaliação para medir o alcance do objetivo.
•
Refinada por Bloom e Krathwohl (1956): Taxonomias de objetivos.
•
Problemas associados à abordagem:
Dificuldades dos profissionais para redigir objetivos, resistência à formulação de objetivos,
excesso de objetivos específicos e de critérios.
•
Níveis de desempenho não são avaliáveis apenas por meio de taxonomias, pois complexidade
é função também de características do público-alvo.
•
Objetivos podem “amarrar” o programa (quando os objetivos subestimam a capacidade de
geração de resultados) ou prejudicar o programa (quando os objetivos estão
superestimados).
•
Risco de aplicação de testes de “competência mínima”.
Abordagem de Mager e Pipe
REDAÇÃO DE OBJETIVOS EDUCACIONAIS
Especificar Componentes
CONDIÇÃO + VERBO + OBJETO DA AÇÃO + CRITÉRIO
Desempenho
Componentes essenciais
•Condição é omitida quando for óbvia.
•Critérios são omitidos quando os desempenhos são complexos.
Necessidades de capacitação
Objetivos instrucionais
Resultados de Aprendizagem
Conhecimentos, Habilidades e Atitudes
CONDIÇÃO + VERBO + OBJETO DA AÇÃO + CRITÉRIO
Desempenho
Taxonomias de Bloom e Colaboradores e de Simpson:
Avaliação
Síntese
Caracterização
Análise
Organização
Aplicação
Valorização
Compreensão
Conhecimento
Resposta
Receptividade
Domínio cognitivo
Domínio Afetivo
Domínio
Completo
Mecanização
Execução
acompanhada
Posicionamento
Percepção
Domínio psicomotor
Exemplos de Verbos: Domínio cognitivo
NÍVEL
Conhecimento
VERBOS
Arranjar
Ordenar
Listar
Compreensão
Classificar
Discutir
Selecionar
Localizar
Aplicar
Praticar
Dramatizar
Aplicação
Análise
Síntese
Avaliação
Analisar
Criticar
Testar
Planejar
Sintetizar
Construir
Avaliar
Predizer
Definir
Duplicar
Enumerar
Repetir
Reconhecer
Explicar
Identificar
Falar
Operar
Demonstrar
Empregar
Usar
Categorizar
Examinar
Diferenciar
Organizar
Formular
Administrar
Julgar
Nomear
Reproduzir
Relatar
Descrever
Revisar
Indicar
Traduzir
Escolher
Preparar
Ilustrar
Comparar
Questionar
Distinguir
Propor
Criar
Estabelecer
Argumentar
Estimar
São feitas descrições de necessidades de acordo com os níveis das
taxonomias de resultados de aprendizagem ou objetivos
educacionais. São avaliados impactos a partir de objetivos e
resultados de aprendizagem classificados de acordo com hierarquias
(complexidade)
Outro exemplo de Hierarquia de resultados
Exemplos de informações verbais
Enfermeiro da área cirúrgica
Arquiteto de interiores
Enfermeiro da área cirúrgica
Arquiteto de interiores
Sem recorrer a anotações, descreve a história clínica do paciente.
Nomeia os instrumentos e equipamentos necessários á extração de
um pâncreas.
Identifica os requisitos legais associados à iluminação de ambientes
de trabalho como escritórios.
Lista os fatores a serem considerados na escolha de cadeiras para o
cliente.
Discriminações
Distinguir diferentes sons provenientes do coração através de estetoscópio.
Distinguir diferentes variações de cores em tecidos para estofados em móveis
para escritório.
Enfermeiro da área cirúrgica
Conceitos
Identificar o nome dos instrumentos cirúrgicos utilizados durante a cirurgia.
Arquiteto de interiores
Classificar exemplos e não exemplos de mobiliário de um determinado estilo.
Enfermeiro da área cirúrgica
Regras
Interpretar ordens escritas pelo médico em gráficos sobre o estado do
paciente.
Arquiteto de interiores
Fornecer uma planta baixa de um escritório, determinando como muitos
trabalhadores podem acomodar-se nesse espaço físico.
Enfermeiro da área cirúrgica
Regras de Ordem Superior
Determinar se um paciente no período pós-operatório requer atenção imediata
do cirurgião.
Arquiteto de interiores
Elaborar um projeto de decoração para o escritório.
Exemplos de habilidades intelectuais.
Fonte: Gagné e Medsker (1996)
Outro exemplo de Hierarquia de resultados
Enfermeiro
cirúrgica
da
área Inventar um novo procedimento para aumentar a
eficiência dos serviços de enfermagem na sala de
operações.
Inventar um “jingle” com rimas para relembrar os
nomes de todos os músculos pertencentes aos
grupos musculares do abdômen e dos membros
inferiores.
Arquiteto de interiores Inventar uma distribuição original de móveis e
objetos em um ambiente de escritório que otimize
o aproveitamento do espaço físico, favoreça e
interação entre pessoas e, ao mesmo tempo,
garanta certa privacidade a cada ocupante.
Exemplos de estratégias cognitivas
Fonte: Gagné e Medsker (1996) e Abbad, 2006.
Ver exemplo de uso de taxonomia na construção de itens
Aplicações das abordagens de objetivos educacionais em avaliação de
programas
Aplicável em programas educacionais ou que envolvem capacitação de
pessoas como condição necessária à execução das atividades do programa :
1. Avaliação da qualidade das atividades, recursos, materiais de treinamento
(eficiência ) – avaliação formativa.
2. Avaliação da aprendizagem com base no alcance de objetivos (pré e pós
– teste e controle) ou de proficiência.
3. Construção de itens de avaliação de impacto da capacitação (atividades
educacionais ou de treinamento) sobre o desempenho do egresso (vida
profissional, carreira).
4. Análise das relações entre aprendizagem e transferência da
aprendizagem para o trabalho (atividades do programa).
5. Viabiliza a avaliação dos efeitos da transferência da aprendizagem sobre
outros níveis de resultados (valor social , valor final) .
Desafios associados à adoção de objetivos em avaliação de programas
1. Dificuldade de definir objetivos mensuráveis e realistas
2. Inexistência de objetivos precisos na documentação do programa
3. Necessidade de avaliar e ajustar objetivos (criadores, executores e
outros stakeholders com o programa em andamento.
4. Necessidade de avaliar os resultados associados aos objetivos de
acordo com regras (psicométricas) de mensuração e normas
técnicas de definição, construção e validação de medidas de
avaliação.
5. Escolha de avaliações apoiadas em métodos unicamente
qualitativos de análise e avaliação.
Avaliação de objetivos – método lógico
• Exame do o poder de persuasão do argumento ou
explicação de cada objetivo. Analisar a necessidade de
alcançar o objetivo.
• Análise das consequências de alcançar os objetivos em
termos de viabilidade (custo, aceitabilidade,
sustentabilidade política, etc) do objetivo. Pesquisar a
literatura para verificar resultados de tentativas
anteriores de alcançar objetivo similares.
• Verificar se há conflito entre os objetivos do programas
e valores, princípios morais e ideais da sociedade.
Avaliação de objetivos – método
empírico
• Coletar da dados para descrever os juízos de valor sobre os
objetivos.
• Conseguir especialistas, preparar audiências ou mesas
redondas para avaliar objetivos potenciais.
• Realizar estudos de conteúdo em arquivos (discursos,
minutas, editoriais, boletins informativos).
• Realizar estudo-piloto para verificar se é possível atingir a
meta e de que maneira isto é possível (projetos de
demonstração – avaliação formativa).
O paradigma de Metfessel e Michael - 1967
1.
Envolver os interessados como facilitadores da avaliação do programa.
2.
Formular um modelo coerente de objetivos específicos.
3.
Traduzir objetivos específicos de forma comunicável.
4.
Selecionar ou construir instrumentos para medir variáveis que
possibilitem a avaliação da efetividade do programa.
5.
Realizar observações periódicas (testes válidos de conteúdo, escalas e
outras medidas de comportamento).
6.
Analisar dados utilizando métodos apropriados.
7.
Interpretar dados utilizando modelos de níveis desejados de
desempenho.
8.
Fazer recomendações para implementação, modificação e revisão
posteriores de objetivos gerais e específicos.
O modelo de Provus
•
A avaliação acompanha os diversos estágios de um programa:
1.
Definição
–
O foco é determinar objetivos, processos, atividades e definir recursos
necessários ao alcance dos objetivos.
2.
Instalação
–
3.
Processo (produtos intermediários)
–
4.
Trata-se da coleta de dados par avaliação do progresso dos participantes e
alcance de objetivos intermediários ou facilitadores. Os desvios são
detectados com a finalidade de redefinir atividades ou revisá-las .
Produto
–
5.
A concepção do programa é utilizada para julgar a operacionalidade do
programa e a sua congruência com os objetivos. Se forem encontrados
desvios entre objetivos e a implementação, são sugeridos ajustes ou o
encerramento das atividades.
Trata-se de determinar se os objetivos terminais (resultados imediatos) e
objetivos últimos (resultados de longo prazo) foram atingidos.
Análise de custo-benefício (opcional)
–
Comparação de custo-benefício de programas equivalentes.
Avaliação livre de metas
• As metas também devem ser avaliadas.
• o avaliador dever:
– evitar o conhecimento prévio das metas.
– evitar que os objetivos estreitem o foco da
avaliação.
– Identificar objetivos e metas relevantes que não
estão expressas nos objetivos
– Rever a redação e ajustar os objetivos de acordo
com as idéias que originaram o programa.