Transcript Apresentação Nigel Pelham de Leighton Brooke - UFMG

A Avaliação Externa como
Instrumento de Gestão:
Novas metodologias, velhas
dúvidas
Nigel Brooke GAME/FAE/UFMG
III SEB
Campinas, 2 de março, 2011
PNE não fala do papel dos estados ou municípios na
avaliação da educação:
O Por ser inapropriado, em se tratando de um plano nacional? O
plano pressupõe um regime de colaboração entre a União, os
Estados, o Distrito Federal e os Municípios para a “consecução
das metas ...e a implementação das estratégias” (art. 7º)
Portanto não precisava falar dos governos subnacionais?
O Parece que não é isso – PNE atribui vários deveres
específicos aos Estados, Distrito Federal e Municípios: exemplos
O Aprovar leis para disciplinar a gestão democrática da educação
O Instalar conselhos escolares com representação de
professores, pais, alunos e comunidade
O Prever licenças para pós-graduação stricto sensu nos planos de
carreira dos profissionais da educação
O Prever metas de expansão das respectivas redes públicas de
educação infantil
O Nomear diretores com base em critérios técnicos e a
participação da comunidade
O Por não atribuir importância ao rendimento dos alunos
como medida de qualidade? Acho que não - PNE faz
várias menções da avaliação externa:
O Usar o IDEB para avaliar a qualidade do ensino, com base
O
O
O
O
O
em uma avaliação nacional do rendimento escolar
Aplicar exame periódico específico para aferir a
alfabetização das crianças.
Aprimorar os instrumentos de avaliação da qualidade do
ensino fundamental e médio
Usar o PISA como parâmetro externo
Aferir o grau de analfabetismo de jovens e adultos
Avaliar da qualidade da educação profissional técnica de
nível médio
O Por não existir consenso a respeito dos sistemas
subnacionais de avaliação.
O Questão controversa
Qual é a controvérsia?
O Avaliação externa pode ter efeitos colaterais negativos.
Ex.
O Ensinando para o teste
O Estreitamento do currículo
O Perda de colaboração
O O que provoca estes efeitos? Quando as autoridades
estabelecem consequências para os resultados das
avaliações que atingem os atores – alunos, professores,
escolas, gestores (imagem, oportunidades, remuneração)
O Este processo de atribuir consequências tem sido
chamado de responsabilização e quando as
consequências são sérias são chamadas de “high
stakes”
O Quanto mais altas os “high stakes” maior a probabilidade
de efeitos colaterais negativos
Não significa que não há ganhos para os sistemas de
responsabilização em termos de aprendizagem. A maioria
dos estudos mostram que os alunos aprendem mais, mas:
O Depende da duração
O Da modalidade da responsabilização
Os efeitos colaterais também são reais mas são mais
difíceis de serem observados.
O Também dependem da natureza da responsabilização
O Quem é responsabilizado
Urgência de estudar os sistemas estaduais de avaliação e
os diferentes sistemas de responsabilização
O Até poucos anos atrás, dúvidas a respeito do valor dos
sistemas estaduais de avaliação externa:
O Sub-utilização dos resultados (Sousa e Oliveira, 2007)
O Duplicação de esforços
O Custos elevados
O O panorama mudou:
O Aumento rápido no número de estados/municípios com
O
O
O
O
sistemas próprios. Aumentará ainda mais em 2011
Crescimento na importância atribuída aos resultados da escola
medidos por testes de desempenho
Incorporação dos sistemas de avaliação em planos estaduais
de desenvolvimento
Diversificação nos usos dos resultados pelos gestores. Novas
políticas de gestão a partir dos resultados.
Criação de políticas de responsabilização em quase todos os
estados com sistemas próprios de avaliação.
Sistemas Estaduais de Avaliação Educacional 1992-2010
Região
NO
Estado
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
AC
2009
2010
SEAPE
AM
SADEAM
PA
RR
RO
AP
TO
NE
MA
PAM
AEP
SAD?
AEP
SIMADE?
PROVA
PIAUÍ
PI
SPAECE
CE
SPAECE
ALFA
RN
PB
PE
SAEPE
AL
SAVEAL
SE
CO
BA
MT
MS
PAE
SAEMS
GO
SAEGO
DF
SE
MG
SIADE
SIMAVE
(PROEB)
AVA-MG
PROALFA
ES
PAEBES
RJ
SU
SP
PR
SAERJ
SARESP
AVA
SC
RS
SAERS
AEP - Avaliação Escolas Públicas Cesgranrio
AVA - Programa de Avaliação do Sistema
Educacional do Paraná
PAEBES - Programa de Avaliação da Educação
Básica do Espírito Santo
PAE - Projeto de Avaliação Externa
PAM – Projeto de Avaliação do Maranhão
PROVA PIAUÍ
SAD – Sistema de Avaliação de Desempenho
(dúvida se é nos mesmos moldes dos outros)
SADEAM – Sistema de Avaliação de
Desempenho Educacional do Amazonas
SAEGO – Sistema de Avaliação da Educação de
Goiás
SAEMS – Sistema de Avaliação da Educação
Básica do Mato Grosso do Sul
SAEPE – Sistema de Avaliação Educacional de
Pernambuco
SAERJ – Sistema de Avaliação da Educação do
Estado do Rio de Janeiro
SAERS – Sistema de Avaliação do Rendimento
Escolar do Rio Grande do Sul
SARESP – Sistema de Avaliação do Rendimento
Escolar do Estado de São Paulo
SAVEAL – Sistema de Avaliação de Alagoas
SEAPE – Sistema Estadual de Avaliação da
Aprendizagem Escolar
SIADE – Sistema de Avaliação de Desempenho
das Instituições Educacionais do Distrito
Federal
SIMADE – Sistema Maranhense de Avaliação de
Desempenho
SIMAVE – Sistema Mineiro de Avaliação
SPAECE – Sistema Permanente de Avaliação
da Educação Básica do Ceará
O Precisamos de estudos e de sistemas
classificatórios que possam dar conta desta
diversidade
O Ter maior clareza sobre os efeitos das diferentes
políticas
O E também dos efeitos colaterais
O Por tipo de política
O Por tipo de consequência (alunos, professores,
escolas – High Stakes v. Low Stakes )
Uso dos resultados pelas
Secretariais de Educação
(Política de gestão)
1 Monitoramento, pesquisa e
avaliação de programas.
2 Para informar decisões pedagógicas
locais (escola/turma/aluno)
3 Formação continuada de
professores
4 Divulgação
Consequências menores
(Low-Stakes)
Indicadores de des.
próprios (IDESP, IDEAM,
IDDF, IDEPE)
Boletim Escolar
Cursos/atividades.
Alinhamento curricular
Angariar apoios
5 Políticas de alocação de recursos
IDE-Alfa mais baixa (CE)
SP 1050 escolas
6 Para induzir mudanças sistêmicas
(reforma via testes)
Divulgação de
indicador/escola
Boas práticas
7 Como componente da avaliação
docente
Consequências
Maiores
(High-Stakes)
IQE (Ceará)
PIP (MG)
Chile: escolha de
escola (school
choice)
P-900
Escola Nota 10
(CE)
Sistemas de
Bonificação/
Acordo de
Resultados
ADI (MG)
Diretores (DF)
1. Monitoramento e Pesquisa
O Low stakes
O Produção de series históricas ao exemplo do SAEB;
O Uso de indicadores de desenvolvimento educacional estadual - IDESP,
IDEAM, IDDF, IDEPE; associação estreita com novas metodologias de
planejamento estratégico estadual (ex. estado para resultados MG), e a
fixação de metas; avaliação de programas ex. Plano de Desenvolvimento
da Educação (PDE) Ceará
O High stakes
O Exemplo histórico - o uso de testes padronizados para medir o impacto
das políticas públicas de combate à pobreza nos EEUU (ex. Head Start).
Verbas federais cortadas no caso de resultados insuficientes.
O Uso do Índice Municipal de Qualidade Educacional (taxa de aprovação +
média dos 2º e 5º anos) na distribuição dos 25% do ICMS pertencente
aos municípios (Ceará):
O 18% (dezoito por cento) em função do Índice Municipal de Qualidade
O 5% (cinco por cento) em função do Índice Municipal de Qualidade da
Saúde
O 2% (dois por cento) em função do Índice Municipal de Qualidade do Meio
Ambiente
2. Para informar decisões pedagógicas
locais (escola/turma/aluno)
O Low stakes
O Boletins / informativos escolares
O Dúvidas a respeito da eficácia desses materiais
(Bauer, 2006) Ravela (2010) mais otimista –
professores aproveitam materiais
O Dia D; semana de estudos; cadernos variados;
O High(er) Stakes
O PIP; escolas produzem planos para mostrar
apropriação e utilização dos resultados. Prazos e
cobranças
3. Formação continuada de professores
O Low Stakes
O Cursos/atividades de preparação dos professores para
a leitura/compreensão dos boletins e outros materiais.
Ex. Ceará – cursos para desenvolvimento de itens;
O Desenvolvimento currículos oficiais/alinhamento
O CBC – Minas Gerais
O Espírito Santo
O Pernambuco
O São Paulo
4. Divulgação pública
O Low stakes (genérica)
O Angariar apoios/estimular interesse ex. Boletim do
aluno, Belo Horizonte; Termo de compromisso, Espirito
Santo. (Sem comparações)
O Transparência/divulgação no site
O Eleitoral: Ceará, Minas Gerais
O High Stakes (comparativa)
O Chile. Livre escolha de Escola – impacto na matricula,
volume de financiamento por aluno
O Divulgação de ranqueamentos
5. Políticas de alocação de recursos
O Low Stakes
O Escolas com desempenho menor:
O Chile: P- 900
O Projeto “Aprender Mais” (PE) – reforço para escolas que
não atingem metas
O 15 escolas com IDE-Alfa mais baixa (CE) (reverso da Escola
Nota 10
O High Stakes
O Escolas com desempenho maior
O Escolas Referência (MG)
O Escola Nota 10 (CE)
6. Para induzir mudanças sistêmicas
(reforma via testes - test-based reform)
O Low stakes (?)
O Divulgação boas práticas das escolas com
melhores resultados (RS)
O High stakes
O Bonificação por desempenho com base em
indicador de desenvolvimento – SP; ES; PE;
CE; AM; DF
O Acordo de resultados - MG
7. Avaliação Docente
O High Stakes
O Uso pela Comissão de Avaliação como um dos
elemento de sistema de avaliação de
desempenho individual anual – MG. (30% nota
final de acordo com nota do Acordo de
Resultados)
O Como critério para recondução de diretores
após 2 anos de serviço (DF)
Responsabilização
O Por essa classificação, a responsabilização tem os
seguintes significados práticos:
O Tornar público as diferenças entre as escolas
O Alterar o volume de recursos para a educação municipal de
O
O
O
O
O
acordo com o desempenho das escolas (IQE - Ceará)
Alterar o volume de recursos financeiros e humano de
acordo com seu desempenho
Cobrar planejamento pedagógico de acordo com os
resultados (PIP - MG)
Premiar escolas de acordo com seus resultados (CE)
Pagar incentivos/bônus salarial à equipe de acordo com
resultados da escola
Determinar nota de avaliação de desempenho anual (ADI MG)