Transcript A AVALIAÇÃO COMO INSTRUMENTO DE GESTÃO: a
Slide 1
A AVALIAÇÃO COMO
INSTRUMENTO DE GESTÃO:
a experiência do Programa de EAD da UNAMA
Larissa Sato Dias
Universidade da Amazônia
[email protected]
Milton Cordeiro Farias Filho
Universidade da Amazônia
[email protected]
Slide 2
A avaliação como instrumento de gestão
Objetivos
Geral
Avaliar o programa de EAD da Unama, de
fevereiro/2004 a janeiro/2005, a fim de que
sejam criados instrumentos que sirvam de
base para a gestão da educação superior em
programas de EAD.
Específico
Discutir a avaliação como um dos
instrumentos centrais na gestão da educação
superior
Slide 3
A avaliação como instrumento de gestão
Características
Cursos superiores de formação específica
Gestão de Órgãos Públicos
Gestão em Turismo
Gestão Empresarial
Desenvolvimento de Sistemas e de
Software
Sistema semipresencial de ensino
60% EAD
40% Presencial
350 alunos – 50 por turma
Slide 4
A avaliação como instrumento de gestão
Municípios
Abaetetuba
População:
125.058 hab.
Distância de Belém: 150 km
Acesso: via terrestre e/ou fluvial
Barcarena
População: 68.604 hab.
Distância de Belém: 120 km
Acesso: via terrestre e/ou fluvial
Parauapebas
População: 81.427 hab.
Distância de Belém: 800 km
Acesso: via terrestre e aérea
Fonte: IBGE, 2003
Slide 5
A avaliação como instrumento de gestão
Infra-Estrutura
Salas de aula - momentos presenciais
Laboratório de informática com
Internet - aulas práticas presenciais e
EAD
SEAD - procedimentos administrativos
Sala de videoconferência – 2º
semestre 2004
Slide 6
A avaliação como instrumento de gestão
Metodologia
Regime modular
Guia de Estudos
Livro-texto
Professor-tutor
Monitor
Avaliação
Atividades à distância
Provas presenciais
Coordenador de curso
Slide 7
A avaliação como instrumento de gestão
Procedimentos Metodológicos
Metodologia Quantitativa
Universo da pesquisa: totalidade de alunos
matriculados
Período da coleta: março a maio/04
Questionário fechado
6 (seis) categorias ou partes
51 questões fechadas
Um questionário por aluno para cada disciplina
Total: 549 questionários
Slide 8
A avaliação como instrumento de gestão
Questionário – Parte I
Avaliação Pedagógica – Presencial
Avaliar a qualidade do momento presencial e
detectar os fatores que possam estar
interferindo positiva e negativamente no
processo ensino-aprendizagem deste
momento
Planejamento
Trabalho em sala de aula
Atitudes professor
Avaliação processo ensino-aprendizagem
Uso do laboratório de informática
Slide 9
A avaliação como instrumento de gestão
Questionário – Parte II
Avaliação Pedagógica – EAD
Avaliar se estes elementos estão auxiliando
no processo ensino-aprendizagem que
acontece quando o professor está fisicamente
longe do aluno
Guia de Estudos
Livro texto
Atividades e exercícios
Tutoria
Perfil dos alunos: pessoas que não tiveram
contato ou experiência anterior com EAD
Slide 10
A avaliação como instrumento de gestão
Questionário – Parte III
Coordenação de Curso
Avaliar o desempenho do gestor do curso e
seu relacionamento com a turma.
Auxiliar os coordenadores no direcionamento
de sua gestão acadêmica
Atendimento a necessidades / informações
Relacionamento / contato
Slide 11
A avaliação como instrumento de gestão
Questionário – Parte IV
Infra-Estrutura e Serviços
Avaliar se a infra-estrutura oferecida pela
instituição e o setor de apoio presencial,
implantado em cada município, atendem às
necessidades do aluno, contribuindo para
sua satisfação no curso
Laboratório de informática
Recursos didáticos disponíveis
Atendimento SEADs
Slide 12
A avaliação como instrumento de gestão
Questionário – Parte V
Auto-Avaliação
Levar o aluno a refletir sobre seu papel
enquanto sujeito ativo em seu processo de
aprendizagem
Motivação
Satisfação
Nível de aproveitamento
Importância: aluno - pensar sobre seu papel
no curso, expectativas e ansiedades,
instituição - acompanhar e verificar se o
rendimento está relacionado a fator
motivacional
Slide 13
A avaliação como instrumento de gestão
Questionário – Parte VI
Monitoria
Avaliar a ação do monitor no processo de
aprendizagem do aluno
Atendimento às dúvidas / solicitações
Relacionamento
Slide 14
A avaliação como instrumento de gestão
Resultados e Discussão
Questões
Caráter afirmativo
Respostas com escala de 1 a 5 pontos
Resultados expressos em %
Satisfação do Aluno – SA
Aceitação do programa, metodologia e forma
de execução
Proposta de avaliação direta c/ alunos
Âmbito + abrangente – entrevista e
observação participante
Slide 15
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 1 – % SA Abaetetuba-PA.
% de satisfação dos alunos
II
III
IV
V
VI
I
G. Turismo 80,05 78,02 89,86 29,17 80,07
*
G. Empres. 80,73 74,28 47,55 39,88 77,47 2,85
Cursos
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 16
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 2 – % SA Barcarena-PA.
% de satisfação dos alunos
II
III
IV
V
VI
Cursos
G. Órg. Púb.
I
76,85 69,20 56,78 49,22 68,14
*
G. Empres.
95,02 90,23 69,03 66,91 92,22
*
Des. Sist.
Soft.
66,09 60,45 63,72 63,80 59,46 51,63
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 17
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 3 – % SA Parauapebas-PA.
% de satisfação dos alunos
Cursos
I
II
III
IV
V
VI
G. Empres. 80,70 75,49 59,70 69,41 78,68
53,18
74,42 60,26 20,25 50,48 61,43
12,72
Des. Sist.
Soft.
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 18
A avaliação como instrumento de gestão
Resultados e Discussão
Avaliação Pedagógica Presencial (I) e EAD (II)
100
90
80
Abaetetuba - GT
70
Abaetetuba - GE
60
Barcarena - GOP
50
Barcarena - GE
40
Barcarena - DSS
30
Parauapebas - GE
Parauapebas - DSS
20
10
0
I
II
• SA bem elevada (60,26% a 95,02%) - experiência pioneira
• ↑ aula presencial, ↓ EAD
Slide 19
A avaliação como instrumento de gestão
Resultados e Discussão
Gestão Acadêmica (III) e Administrativa (IV)
90
80
70
Abaetetuba - GT
60
Abaetetuba - GE
50
Barcarena - GOP
Barcarena - GE
40
Barcarena - DSS
30
Parauapebas - GE
20
Parauapebas - DSS
10
0
III
IV
• Foco central de análise
• SA baixa (20,25% e 69,03%) - exceto GT
Slide 20
A avaliação como instrumento de gestão
Resultados e Discussão
Gestão Administrativa
Grande desafio do programa
SA entre 29,17% e 69,41%
Seleção de pessoal feita na sede do próprio
município
Abaetetuba - SA muito baixa (29,17% a
39,88%)
Fator de grande preocupação - revisão do
sistema e/ou critérios de seleção e condução
do processo de treinamento
Slide 21
A avaliação como instrumento de gestão
Resultados e Discussão
Auto-avaliação (V)
100
90
80
70
60
50
40
30
20
10
0
Abaetetuba - GT
Abaetetuba - GE
Barcarena - GOP
Barcarena - GE
Barcarena - DSS
Parauapebas - GE
Parauapebas - DSS
V
Cruzando I e II (60,26% a 95,02%) com V (59,46% a 92,22%)
- não há disparidades → indicativo gestão acadêmica e
administrativa: grande desafio para melhoria da SA
Slide 22
A avaliação como instrumento de gestão
Resultados e Discussão
Monitoria (VI)
60
50
40
Abaetetuba - GE
Barcarena - DSS
30
Parauapebas - GE
Parauapebas - DSS
20
10
0
VI
Monitoria não implantada em todos os municípios/cursos
Slide 23
A avaliação como instrumento de gestão
Resultados e Discussão
Monitoria - motivos da baixa SA:
02 meses para implantação
Alunos desconheciam figura e papel do
monitor
Dificuldades de comunicação alunosmonitores
● Alunos sem experiência com e-mail
● Deixaram questões em branco
● Atribuíram notas muito baixas
Slide 24
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
Apenas
um instrumento - índice de satisfação
parcialmente construído
Incorporação de novas técnicas e
procedimentos de coleta e análise dos dados
Necessidade e importância de instrumentos
de avaliação contínuos e abrangentes →
melhor direcionar ações pioneiras → problemas
enfrentados mais rapidamente → intervenção
de gestão mais envolvida.
Slide 25
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
SA diretamente ligada à eficiência e eficácia
da gestão do programa de EAD
Aceitação da avaliação como instrumento
eficiente de acompanhamento e planejamento
de ações
Qualidade dos programas relacionada à
capacidade de intervir em tempo real e com
instrumentos variados
Implantação: levar em conta ≠ locais, não se
tornar prisioneiro de sistema específico que
possa excluir clientes potenciais (Rumble, 2003)
Slide 26
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
Ampliação
dos instrumentos de avaliação
Qualidade da educação
● Satisfação do aluno
● Satisfação dos professores, técnicos, funcionários,
comunidade local
● Objeto de futuros estudos - medir grau de satisfação
Fazer da avaliação importante instrumento de
gestão na educação, mas não o único.
Slide 27
A avaliação como instrumento de gestão
Programa de Educação a Distância
Universidade da Amazônia
Larissa Sato Dias
[email protected]
Milton Cordeiro Farias Filho
[email protected]
Slide 28
A avaliação como instrumento de gestão
Cálculo
(Total
de pontos máximos - total de
pontos mínimos) para compensar a não
existência da nota zero.
Zero foi considerado para efeito de
somatória dos pontos; neste caso,
representado pela nota 1.
Para efeito real, a escala variou de 0 a
4, transportada da mesma forma para a
escala de percentual de 0 a 100%.
A AVALIAÇÃO COMO
INSTRUMENTO DE GESTÃO:
a experiência do Programa de EAD da UNAMA
Larissa Sato Dias
Universidade da Amazônia
[email protected]
Milton Cordeiro Farias Filho
Universidade da Amazônia
[email protected]
Slide 2
A avaliação como instrumento de gestão
Objetivos
Geral
Avaliar o programa de EAD da Unama, de
fevereiro/2004 a janeiro/2005, a fim de que
sejam criados instrumentos que sirvam de
base para a gestão da educação superior em
programas de EAD.
Específico
Discutir a avaliação como um dos
instrumentos centrais na gestão da educação
superior
Slide 3
A avaliação como instrumento de gestão
Características
Cursos superiores de formação específica
Gestão de Órgãos Públicos
Gestão em Turismo
Gestão Empresarial
Desenvolvimento de Sistemas e de
Software
Sistema semipresencial de ensino
60% EAD
40% Presencial
350 alunos – 50 por turma
Slide 4
A avaliação como instrumento de gestão
Municípios
Abaetetuba
População:
125.058 hab.
Distância de Belém: 150 km
Acesso: via terrestre e/ou fluvial
Barcarena
População: 68.604 hab.
Distância de Belém: 120 km
Acesso: via terrestre e/ou fluvial
Parauapebas
População: 81.427 hab.
Distância de Belém: 800 km
Acesso: via terrestre e aérea
Fonte: IBGE, 2003
Slide 5
A avaliação como instrumento de gestão
Infra-Estrutura
Salas de aula - momentos presenciais
Laboratório de informática com
Internet - aulas práticas presenciais e
EAD
SEAD - procedimentos administrativos
Sala de videoconferência – 2º
semestre 2004
Slide 6
A avaliação como instrumento de gestão
Metodologia
Regime modular
Guia de Estudos
Livro-texto
Professor-tutor
Monitor
Avaliação
Atividades à distância
Provas presenciais
Coordenador de curso
Slide 7
A avaliação como instrumento de gestão
Procedimentos Metodológicos
Metodologia Quantitativa
Universo da pesquisa: totalidade de alunos
matriculados
Período da coleta: março a maio/04
Questionário fechado
6 (seis) categorias ou partes
51 questões fechadas
Um questionário por aluno para cada disciplina
Total: 549 questionários
Slide 8
A avaliação como instrumento de gestão
Questionário – Parte I
Avaliação Pedagógica – Presencial
Avaliar a qualidade do momento presencial e
detectar os fatores que possam estar
interferindo positiva e negativamente no
processo ensino-aprendizagem deste
momento
Planejamento
Trabalho em sala de aula
Atitudes professor
Avaliação processo ensino-aprendizagem
Uso do laboratório de informática
Slide 9
A avaliação como instrumento de gestão
Questionário – Parte II
Avaliação Pedagógica – EAD
Avaliar se estes elementos estão auxiliando
no processo ensino-aprendizagem que
acontece quando o professor está fisicamente
longe do aluno
Guia de Estudos
Livro texto
Atividades e exercícios
Tutoria
Perfil dos alunos: pessoas que não tiveram
contato ou experiência anterior com EAD
Slide 10
A avaliação como instrumento de gestão
Questionário – Parte III
Coordenação de Curso
Avaliar o desempenho do gestor do curso e
seu relacionamento com a turma.
Auxiliar os coordenadores no direcionamento
de sua gestão acadêmica
Atendimento a necessidades / informações
Relacionamento / contato
Slide 11
A avaliação como instrumento de gestão
Questionário – Parte IV
Infra-Estrutura e Serviços
Avaliar se a infra-estrutura oferecida pela
instituição e o setor de apoio presencial,
implantado em cada município, atendem às
necessidades do aluno, contribuindo para
sua satisfação no curso
Laboratório de informática
Recursos didáticos disponíveis
Atendimento SEADs
Slide 12
A avaliação como instrumento de gestão
Questionário – Parte V
Auto-Avaliação
Levar o aluno a refletir sobre seu papel
enquanto sujeito ativo em seu processo de
aprendizagem
Motivação
Satisfação
Nível de aproveitamento
Importância: aluno - pensar sobre seu papel
no curso, expectativas e ansiedades,
instituição - acompanhar e verificar se o
rendimento está relacionado a fator
motivacional
Slide 13
A avaliação como instrumento de gestão
Questionário – Parte VI
Monitoria
Avaliar a ação do monitor no processo de
aprendizagem do aluno
Atendimento às dúvidas / solicitações
Relacionamento
Slide 14
A avaliação como instrumento de gestão
Resultados e Discussão
Questões
Caráter afirmativo
Respostas com escala de 1 a 5 pontos
Resultados expressos em %
Satisfação do Aluno – SA
Aceitação do programa, metodologia e forma
de execução
Proposta de avaliação direta c/ alunos
Âmbito + abrangente – entrevista e
observação participante
Slide 15
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 1 – % SA Abaetetuba-PA.
% de satisfação dos alunos
II
III
IV
V
VI
I
G. Turismo 80,05 78,02 89,86 29,17 80,07
*
G. Empres. 80,73 74,28 47,55 39,88 77,47 2,85
Cursos
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 16
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 2 – % SA Barcarena-PA.
% de satisfação dos alunos
II
III
IV
V
VI
Cursos
G. Órg. Púb.
I
76,85 69,20 56,78 49,22 68,14
*
G. Empres.
95,02 90,23 69,03 66,91 92,22
*
Des. Sist.
Soft.
66,09 60,45 63,72 63,80 59,46 51,63
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 17
A avaliação como instrumento de gestão
Resultados e Discussão
Tabela 3 – % SA Parauapebas-PA.
% de satisfação dos alunos
Cursos
I
II
III
IV
V
VI
G. Empres. 80,70 75,49 59,70 69,41 78,68
53,18
74,42 60,26 20,25 50,48 61,43
12,72
Des. Sist.
Soft.
Fonte: pesquisa de campo
* Monitoria não implantada
Slide 18
A avaliação como instrumento de gestão
Resultados e Discussão
Avaliação Pedagógica Presencial (I) e EAD (II)
100
90
80
Abaetetuba - GT
70
Abaetetuba - GE
60
Barcarena - GOP
50
Barcarena - GE
40
Barcarena - DSS
30
Parauapebas - GE
Parauapebas - DSS
20
10
0
I
II
• SA bem elevada (60,26% a 95,02%) - experiência pioneira
• ↑ aula presencial, ↓ EAD
Slide 19
A avaliação como instrumento de gestão
Resultados e Discussão
Gestão Acadêmica (III) e Administrativa (IV)
90
80
70
Abaetetuba - GT
60
Abaetetuba - GE
50
Barcarena - GOP
Barcarena - GE
40
Barcarena - DSS
30
Parauapebas - GE
20
Parauapebas - DSS
10
0
III
IV
• Foco central de análise
• SA baixa (20,25% e 69,03%) - exceto GT
Slide 20
A avaliação como instrumento de gestão
Resultados e Discussão
Gestão Administrativa
Grande desafio do programa
SA entre 29,17% e 69,41%
Seleção de pessoal feita na sede do próprio
município
Abaetetuba - SA muito baixa (29,17% a
39,88%)
Fator de grande preocupação - revisão do
sistema e/ou critérios de seleção e condução
do processo de treinamento
Slide 21
A avaliação como instrumento de gestão
Resultados e Discussão
Auto-avaliação (V)
100
90
80
70
60
50
40
30
20
10
0
Abaetetuba - GT
Abaetetuba - GE
Barcarena - GOP
Barcarena - GE
Barcarena - DSS
Parauapebas - GE
Parauapebas - DSS
V
Cruzando I e II (60,26% a 95,02%) com V (59,46% a 92,22%)
- não há disparidades → indicativo gestão acadêmica e
administrativa: grande desafio para melhoria da SA
Slide 22
A avaliação como instrumento de gestão
Resultados e Discussão
Monitoria (VI)
60
50
40
Abaetetuba - GE
Barcarena - DSS
30
Parauapebas - GE
Parauapebas - DSS
20
10
0
VI
Monitoria não implantada em todos os municípios/cursos
Slide 23
A avaliação como instrumento de gestão
Resultados e Discussão
Monitoria - motivos da baixa SA:
02 meses para implantação
Alunos desconheciam figura e papel do
monitor
Dificuldades de comunicação alunosmonitores
● Alunos sem experiência com e-mail
● Deixaram questões em branco
● Atribuíram notas muito baixas
Slide 24
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
Apenas
um instrumento - índice de satisfação
parcialmente construído
Incorporação de novas técnicas e
procedimentos de coleta e análise dos dados
Necessidade e importância de instrumentos
de avaliação contínuos e abrangentes →
melhor direcionar ações pioneiras → problemas
enfrentados mais rapidamente → intervenção
de gestão mais envolvida.
Slide 25
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
SA diretamente ligada à eficiência e eficácia
da gestão do programa de EAD
Aceitação da avaliação como instrumento
eficiente de acompanhamento e planejamento
de ações
Qualidade dos programas relacionada à
capacidade de intervir em tempo real e com
instrumentos variados
Implantação: levar em conta ≠ locais, não se
tornar prisioneiro de sistema específico que
possa excluir clientes potenciais (Rumble, 2003)
Slide 26
A avaliação como instrumento de gestão
Notas Conclusivas e Sugestões
Ampliação
dos instrumentos de avaliação
Qualidade da educação
● Satisfação do aluno
● Satisfação dos professores, técnicos, funcionários,
comunidade local
● Objeto de futuros estudos - medir grau de satisfação
Fazer da avaliação importante instrumento de
gestão na educação, mas não o único.
Slide 27
A avaliação como instrumento de gestão
Programa de Educação a Distância
Universidade da Amazônia
Larissa Sato Dias
[email protected]
Milton Cordeiro Farias Filho
[email protected]
Slide 28
A avaliação como instrumento de gestão
Cálculo
(Total
de pontos máximos - total de
pontos mínimos) para compensar a não
existência da nota zero.
Zero foi considerado para efeito de
somatória dos pontos; neste caso,
representado pela nota 1.
Para efeito real, a escala variou de 0 a
4, transportada da mesma forma para a
escala de percentual de 0 a 100%.