Transcript escolha estendida

Parâmetros úteis para a construção
de boas questões objetivas
Prof. Dr. Lucas F. de Oliveira
CECH – UCS
NINE – UFRGS
Vestibular e conhecimento

Exames vestibulares

Classificação dos candidatos
De acordo com o conhecimento demonstrado

Conhecimento costuma ser estudado


Pelas Neurociências


Investigação dos mecanismos
Pela Psicologia Cognitiva

Investigação das manifestações
Conhecimento e memória

Memória declarativa

Episódica




Eventos

Fatos


Rápida formação
Evocação consciente
Processo cognitivo serial


Para ações
Motora



Procedural

Semântica

Memória não-declarativa
Para movimentos
Lenta formação
Evocação muito eficiente
Processo cognitivo
paralelo
Conhecimento e tipos de memória

Memória declarativa e não-declarativa

A fronteira entre estes dois tipos


Está se tornando mais tênue
Um indivíduo competente

Pode operar com conhecimento semântico


De maneira não-declarativa
Paralela
Conhecimento

Taxonomia dos objetivos didáticos

Benjamin Bloom, 1956

Domínio cognitivo
 1) Conhecimento
 2) Compreensão
 3) Aplicação
 4, 5 e 6) Análise, Síntese e Avaliação

Os níveis iniciais dependem
 Da memória declarativa
Os avançados
 Da não-declarativa

Testagem e amostragem

Exames vestibulares

Devem medir o conhecimento dos alunos

Fazem isto através de uma amostragem


O escore medido com a amostragem


As questões
É diferente do conhecimento real do aluno
Quanto mais fidedigna a amostragem

Mais próximo o escore real é da realidade
Testagem com questões de múltipla escolha

Índices úteis

Índice P


Proporção de acertos
Índice de discriminação

Diferença de acerto entre


Indivíduos com melhor performance
E indivíduos com pior performance
Testagem com questões de múltipla escolha

Índice P



Se todos acertam = 1,0
Se baseado na sorte = 0,2
Valor desejável

Em torno de 0,6
Testagem com questões de múltipla escolha

Índice de discriminação


Varia entre -1,00 e +1,00
Se indivíduos de boa performance acertam questão

E os de má performance erram


Se os de boa erram

E os de má acertam



O índice é positivo
O índice é negativo
D > 0,4 é desejável
D < 0,2 é indesejável
Testagem com questões de múltipla escolha

Fator extra

Tempo por questão

Quanto mais questões


Melhor a amostragem
Maior a fidedignidade
Síntese deste bloco

Indivíduos compententes

Operam com um sistema de memória mais eficiente



O vestibular opera por amostragem


Memória não-declarativa
É importante explorar este componente
Que precisa ser fidedigna
As questões devem ter bom poder de discriminação
Famílias de questões objetivas
Referência útil

“Constructing Written
Test Questions for the
Basic and Clinical
Sciences”


Terceira Edição
(Revisada)
Comissão Nacional de
Examinadores Médicos

Autores


Susan M. Case
David B. Swanson
Famílias de questões objetivas

Família da melhor
resposta



“Assinale a resposta
correta”
“Associe as Colunas”
Escolha Estendida de
respostas (variante do
“Associe as Colunas”)

Família do verdadeiro
ou falso


“Qual das afirmações
acima são corretas?”
“Apenas I, II e IV estão
corretas”
Família do verdadeiro ou falso

Identifique as afirmações corretas sobre o
Canadá



I) O Canadá possui duas línguas oficiais, e o
francês é a mais falada das duas
II) O Canadá foi sede das últimas Olimpíadas de
Inverno, realizadas em Vancouver
III) A Rainha Elizabeth II é a chefe de estado do
Canadá
Família do verdadeiro ou falso

O candidato pode acertar

Sobre duas das afirmações
Mas o avaliador não sabe disso se ele errar a
questão

Há perda de informação


Sobre o conhecimento real do candidato
Família do verdadeiro ou falso

A família do verdadeiro ou falso


Requer a análise de todas as opções, uma a uma
Caracterizando uma operação serial


Usando o sistema de memória declarativa
Ou seja, o aluno competente


Capaz de utilizar um sistemas mais eficientes de
demonstração de conhecimento
É obrigado a operar com o sistema mais limitado
Família do verdadeiro ou falso

A família do verdadeiro ou falso

Requer mais tempo por questão


Pois opera de maneira serial
Ou seja, o número máximo de questões no teste


Precisa ser menor
Quanto menos questões

Pior a amostragem
Família do verdadeiro ou falso

A família do verdadeiro ou falso

Tende a produzir índices P menores


Usualmente por aumento de falsos negativos
Tende a produzir índices de discriminação
menores
Família do verdadeiro ou falso

Conclusão

Questões de verdadeiro ou falso


Devem ser evitadas
O uso de questões da

Família da melhor resposta



Produz melhor discriminação
Permite a aplicação de mais questões
Permite a resolução através do sistema de memória
não-declarativa
Questões de Melhor Resposta
melhor resposta única
Melhor Resposta, questão bem-feita

Este país é conhecido por ser um grande produtor de vinhos e
queijos, bem como também é o principal destino turístico do
planeta. Em um determinado momento da Segunda Guerra
Mundial, sua capital foi invadida e ocupada por completo. Que país
é este?







a) Alemanha
b) Itália
c) França
d) Noruega
e) Inglaterra
Todas respostas são da mesma categoria
Podem ser ordenadas de “muito errada” até “correta”

Ou seja, estão sobre o mesmo “eixo” conceitual
Características relevantes




Enunciado longo
Respostas curtas
Todas as respostas pertencem a mesma
categoria (Países, no exemplo anterior)
É possível responder a pergunta mesmo que
não se saiba as alternativas!

E esta tende a surgir de maneira espontânea

Indicando o uso de memória não-declarativa
Melhor Resposta, questão mal-feita

O que a mais importante característica da
França?





a) É uma grande produtora rural
b) É uma das mais antigas democracias do
planeta
c) Produz a maior parte da sua energia a partir de
hidroelétricas
d) É uma grande produtora de vinhos
e) Seu presidente é casado com uma conhecida
atriz austríaca
Problemas do exemplo anterior



O enunciado é curto
As respostas são longas
As respostas são sobre temas diferentes


Não estão sobre o mesmo “eixo”
Não é possível responder a pergunta sem
que se leia as alternativas

Ou seja, só pode ser respondido de maneira
serial
Coisas a evitar

Perguntas negativas


“Assinale a alternativa abaixo que NÃO
corresponde a uma das características da
França”
São mais confusas


Produzem mais falsos negativos
Têm menor poder de discriminação
Questões de Melhor Resposta
ASSOCIE AS COLUNAS
Associe as colunas




a) França
b) Itália
c) Inglaterra
d) Alemanha




( ) Era a principal potência européia no
início dos anos 40
( ) Sua capital foi invadida no início da
Segunda Guerra Mundial
( ) Seu líder na Segunda Guerra era
conhecido com Il Duce
( ) Sofreu constantes ataques da aviação
inimiga no início da guerra, mas conseguiu
resistir graças ao esforço intenso de seus
pilotos de caça
Associe as colunas

Enunciado genérico


Indicando para associar as colunas
Formato eficiente

Mas substituído pelo de

Escolha Estendida
Questões de Melhor Resposta
ESCOLHA ESTENDIDA
Escolha Estendida

Estrutura



Tema
Lista de Opções
Enunciados
Escolha Estendida

Tema: países envolvidos na
Segunda Guerra Mundial











a) França
b) Inglaterra
c) Itália
d) Alemanha
e) Japão
f) Noruega
g) Portugal
h) Espanha
i) União Soviética
j) Holanda
k) Estados Unidos

1) Este país entrou
na Guerra apenas
em 1941, após uma
das ilhas de seu
território ser atacada
inesperadamente.
Escolha Estendida

Tema: países envolvidos na
Segunda Guerra Mundial











a) França
b) Inglaterra
c) Itália
d) Alemanha
e) Japão
f) Noruega
g) Portugal
h) Espanha
i) União Soviética
j) Holanda
k) Estados Unidos

2) Este país tinha
dois outros
importantes aliados,
mas era
militarmente inferior
a estes. Sua
campanha na África
foi desastrosa. Foi o
primeiro dos três a
capitular.
Escolha Estendida

Tema: países envolvidos na
Segunda Guerra Mundial











a) França
b) Inglaterra
c) Itália
d) Alemanha
e) Japão
f) Noruega
g) Portugal
h) Espanha
i) União Soviética
j) Holanda
k) Estados Unidos

3) Este país foi
invadido no período
inicial da Guerra e
permaneceu ocupado
por vários anos. A parte
sul do país manteve
autonomia, mas com
um governo simpático e
submetido aos
invasores. Um governo
paralelo formou-se na
Inglaterra.
Características da Escolha Estendida

Opções curtas

E pertencentes à mesma categoria (países no exemplo acima)

Enunciados longos

É o formato padrão


Adotado por várias entidades de licenciamento profissional
O fato de usar mais do que cinco alternativas


Requer alterações nas folhas de resposta
Estudos recentes indicam que 8 alternativas é um número adequado
Escolha Estendida com múltiplas respostas

Tema: países envolvidos na
Segunda Guerra Mundial











a) França
b) Inglaterra
c) Itália
d) Alemanha
e) Japão
f) Noruega
g) Portugal
h) Espanha
i) União Soviética
j) Holanda
k) Estados Unidos

4) Este três países
aliaram-se no início da
Segunda Guerra
Mundial através de um
pacto de suporte
político, econômico e
militar com o objetivo
de estabelecer uma
nova ordem mundial.
Escolha Estendida com múltiplas respostas

Escolha estendida com múltiplas respostas

Tende a ser mais difícil
Síntese até o momento

Melhores formatos: Melhor Resposta Única e Escolha Estendida
 Formato aceitável: Associe as Colunas

Formatos não-recomendados: Verdadeiro ou Falso, Melhor
Resposta Única Negativa

Enunciados longos, respostas curtas

De preferência,

Ser possível responder sem ler as alternativas
Elaboração
Problemas que facilitam a
resolução
Problemas de redação que facilitam a
resolução

Dicas gramaticais


Uso de termos absolutos



A “chave” está melhor redigida
A maior parte das coisas é relativa
Alternativas com “sempre”, “nunca”, “todos” e “nenhum”
normalmente estão erradas
Resposta correta é mais longa que as outras

A “chave” é mais longa, melhor elaborada e mais
completa
Problema: dicas lógicas

A população da França é:






a) maior que a da Itália
b) menor que a da Itália
c) do mesmo tamanho que a da Itália
d) composta por apenas uma etnia
e) composta principalmente por jovens
As três primeiras alternativas já dão conta de
todas as opções
Problema: repetição de palavra do enunciado

Um homem afogou-se na praia. Este tipo de
acidente é chamado de:






a) atropelamento
b) enforcamento
c) afogamento
d) aliciamento
e) esmagamento
O enunciado já entrega a resposta
Problema: respostas convergentes

Estes dois países foram aliados durante a Segunda
Guerra Mundial. Que países são estes?






a) Inglaterra e Alemanha
b) Inglaterra e Itália
c) França e Alemanha
d) França e Itália
e) Alemanha e Itália
Os termos mais frequentes comumente são os
corretos
Elaboração
Problemas que dificultam a
resolução
Problemas de redação que dificultam a
resolução sem necessidade

Opções longas e complicadas
 Velocidade de leitura


Passa a ser um fator relevante
Inconsistência nos números
 Algumas alternativas com número (15, por
exemplo)
 Outras com faixa de números (de 10-14, por
exemplo)
Problemas de redação que dificultam a
resolução sem necessidade

Uso de termos vagos para indicar freqüência
 “Usualmente”, “comumente”,
“frequentemente”, “raramente”

O uso da opção “Nenhuma das anteriores”
 Transforma todas as alternativas anteriores
em miniquestões de Verdadeiro ou Falso
Problema: linguagem não-paralela nas
opções

A Alemanha teve boas chances de sair vitoriosa da Segunda Guerra
Mundial, pois suas táticas e equipamentos eram avançadíssimos para
a época. Entretanto, uma série de decisões estratégicas errôneas
resultou em sua derrota. Qual destas decisões erradas foi a mais
importante pela derrota?




a) A Alemanha abriu uma segunda frente de batalha ao atacar a União
Soviética
b) Muitas tropas foram comprometidas com a defesa da Itália
c) O fornecimento de material bélico para o Japão.
As opções deveriam ser



a) A abertura de uma frente de batalha contra a União Soviética
b) O comprometimento de tropas com a defesa da Itália
c) O fornecimento de material bélico para o Japão
Problema: escolha de marcadores mais
complexos que o necessário

Ordene os países com relação ao número de soldados mortos
durante a Segunda Guerra Mundial do maior para o menor.
 I) Alemanha
 II) Rússia
 III) Inglaterra
 IV) Suíça
 V) Holanda

Opções:
 a) I, II, III, IV, V
 b) II, I, III, V, IV
 c) V, IV, I, III, II
 d) IV, V, III, I, II

O correto seria usar, nas alternativas, o nome dos países
Linhas gerais
Linhas gerais

Elaborar a questão de maneira que

Seja possível respondê-la mesmo sem as opções

Usar enunciados longos, respostas curtas

Evitar informação supérflua

Evitar questões desnecessariamente complexas
Linhas gerais

Cuidar a gramática de todas as opções

Elaborar distratores plausíveis e de tamanho semelhante à
resposta correta

Evitar termos absolutos, como “nunca” e “sempre”

Evitar questões negativas


aquelas que tem “exceto” ou “não” no enunciado
se precisar utilizar uma questão deste tipo

as respostas devem ser muito curtas (uma palavra apenas
preferencialmente)