Transcript 9. přednáška

Didaktické testy a sociometrie
Didaktické testy
Vzdělávací proces = získávání nových vědomostí, dovedností a postojů.
Multifaktoriálně podmíněn, každý popis znamená určitou míru zjednodušení.
Jen vzdělávací proces, který probíhá v podmínkách řízeného školního
vyučování. Řízený proces, ve kterém fungují dvě základní složky: složka
řídící a složka řízená.
Řídící složka vysílá směrem k žákovi informace tzv. sdělovacím kanálem (zdroj
učitel, kniha, film, ..)
Řízená složka (žák) - složitý systém: příjem, zpracování informací, vznik tzv.
výstupních informací (zpětnovazební - různé typy a formy zkoušek).
Pokud se zpětné reakce neshodují se záměry řídící složky, mělo by dojít z její
strany ke korekci nebo regulaci. Také řízená složka, zná-li cíl a souhlasí s
ním, může realizaci záměrů pomáhat autokorekcí.
Vyučovací proces lze tedy chápat jako sled určitých kroků:
• sdělování nových poznatků
• kontrola množství a kvality osvojených vědomostí a dovedností, přičemž
obě fáze tvoří jeden celek
Současné zkoušení na ZŠ a SŠ
Současný systém hodnocení - ústní zkoušení. Dobře připravená a provedená
ústní zkouška má velký vliv na rozvoj vyjadřování a myšlení žáka. Přesto
má i určité nedostatky:
• chudá myšlenková struktura
– jen ověřování zapamatování probíraného učiva
– méně porozumění vztahům, schopnost aplikace, schopnost náročnějších
myšlenkových operací; spíše zjišťování kvantity než kvality.
•
•
velká časová náročnost
nedostatečně formulovaný cíl – projevuje se tím, že
– jednotlivé otázky se zaměřují na vzájemně nesouvisející skutečnosti
– Nehodnotí kvalitativně
•
malá objektivita
– nevyjadřuje jen výkon, ale celkový dojem, kterým žák při zkoušce působí
(splnění očekávání učitele)
– při utváření preferenčních postojů se u učitelů uplatňují např. chování žáka, jeho
zevnějšek, prospěch v ostatních předmětech
– neexistence pevných norem pro hodnocení, tudíž klasifikace u jednoho učitele
neodpovídá klasifikaci u kolegy a klasifikace tedy nemá absolutní platnost.
Současné zkoušení na ZŠ a SŠ
Přes uvedené nedostatky by nebylo správné ústní zkoušku zavrhovat.
Dobře vedené zkoušení má tato pozitiva:
• osobní kontakt
• bezprostřední reakce učitele
• je komplexnější, neboť lze plynule přecházet v učivu
• posiluje u žáků schopnost přemýšlet o učivu v širších souvislostech.
• rozvijí vyjadřovací schopnosti žáků a kultivuj e jejich projev
• Negativa ústního zkoušení mohou být vyvážena kvalitními
didaktickými testy.
Co je didaktický test?
• Chráska, M. Didaktické testy, 1999. s. 12: „didaktický test je „nástroj
systematického zjišťování (měření) výsledků výuky".
Klasifikační
hledisko
Měřená
charakteristika
výkonu
Dokonalost
přípravy testu a
jeho příslušenství
Druhy testů
úrovně
rychlosti
standardizované
kvazistandardizované
Povaha činnosti
testovaného
kognitivní
Míra specifičnosti
učení
zjišťovaného
testem
výsledků výuky
Interpretace
výkonu
rozlišující (relativního výkonu)
Časové zařazení
do výuky
Tematický rozsah
Míra objektivity
skórování
vstupní
psychomotorické
studijních předpokladů
ověřující (absolutního výkonu)
průběžné (formativní)
monotematické
objektivně
skórovatelné
nestandardizované
výstupní (sumativní)
Polytematické (souhrnné)
kvaziobjektivně
skórovatelné
subjektivně
skórovatelné
Klasifikační
hledisko
Druhy testů
Měřená
Jednoduché
učivo,
charakteristika
zvládají všichni, liší se
výkonu
rychlostí
Dokonalost
přípravy testu a
jeho příslušenství
úrovně
rychlosti
standardizované
kvazistandardizované
Povaha činnosti
testovaného
kognitivní
Míra specifičnosti
učení
zjišťovaného
testem
výsledků výuky
Interpretace
výkonu
rozlišující (relativního výkonu)
Časové zařazení
do výuky
Tematický rozsah
Míra objektivity
skórování
vstupní
nestandardizované
psychomotorické
studijních předpokladů
ověřující (absolutního výkonu)
průběžné (formativní)
monotematické
objektivně
skórovatelné
Většinou ve škole,
ukončujeme jen práci
nejpomalejších.
výstupní (sumativní)
Polytematické (souhrnné)
kvaziobjektivně
skórovatelné
subjektivně
skórovatelné
Klasifikační
hledisko
Druhy testů
Měřená
charakteristika
výkonu
Dokonalost
přípravy testu a
jeho příslušenství
rychlosti úrovně
standardizované
kvazistandardizované
Korespondují s
Vnitřní potenciál
Povaha činnosti
kognitivní
testovaného obsahem a způsobem
Míra specifičnosti
učení
zjišťovaného
testem
Interpretace
výkonu
Časové zařazení
do výuky
Tematický rozsah
Míra objektivity
skórování
nestandardizované
psychomotorické
testovaného…
výuky …
výsledků výuky
studijních předpokladů
rozlišující (relativního výkonu)
ověřující (absolutního výkonu)
vstupní
průběžné (formativní)
monotematické
objektivně
skórovatelné
výstupní (sumativní)
polytematické (souhrnné)
kvaziobjektivně
skórovatelné
subjektivně
skórovatelné
Klasifikační
hledisko
Druhy testů
Měřená
charakteristika
výkonu
Dokonalost
přípravy testu a
jeho příslušenství
Povaha činnosti
testovaného
rychlosti úrovně
standardizované
kvazistandardizované
kognitivní
psychomotorické
Míra specifičnosti
Např. přijímací
učení
výsledků výuky
zjišťovaného
zkoušky, ne pro
testem
zkoušení.
Interpretace
výkonu
Časové zařazení
do výuky
Tematický rozsah
Míra objektivity
skórování
Prověřují
vědomosti
studijních
předpokladů
rozlišující (relativního výkonu)
vstupní
ověřující (absolutního výkonu)
průběžné (formativní)
monotematické
objektivně
skórovatelné
nestandardizované
výstupní (sumativní)
polytematické (souhrnné)
kvaziobjektivně
skórovatelné
subjektivně
skórovatelné
Vlastnosti dobrého didaktického testu
validita
• Test je validní tehdy, pokud se jím zkouší (zjišťuje) to, co
má být zkoušeno.
• Validita se vždy vztahuje k nějakému konkrétnímu
použití testu, žádný test není validní pro všechny účely.
– Testy studijních výsledků: je obsah testu
reprezentativním vzorkem zkoušeného učiva?
– Testy studijních předpokladů: z kterých vědomostí či
dovedností je možno predikovat budoucí úspěšnost
ve studiu? Testy by tedy měly mít tzv. predikční
validitu, tj. schopnost předpovídat budoucí úspěšnost
v učení.
– další typy validity - konstruktová, kriteriální
• Posouzení stupně validity testu se nechává na
odborníkovi či skupině odborníků; výjimečně srovnáním
s již existujícím testem, jehož validita je nesporná.
Vlastnosti dobrého didaktického testu
reliabilita
Výsledek každého testu - dva faktory:
– pevná složka (skutečné vědomosti a dovednosti)
– náhodná složka (okamžitá kondice, vnější podmínky apod.) - při
zdánlivě stejných podmínkách se výsledky testování mohou i
podstatně lišit.
Test, který poskytuje výsledky jen minimálně ovlivněné náhodnými
vlivy, má vlastnost nazvanou reliabilita neboli spolehlivost (test za
stejných podmínek poskytuje stejné či velmi podobné výsledky).
Koeficient reliability: 0 – 1 (naprostá spolehlivost a přesnost)
Pro pedagogickou diagnostiku se většinou požaduje koeficient
minimálně 0,80. Reliabilita je odvislá od kvality testových úloh a
jejich počtu. U testů s malým počtem úloh (např. 10 a méně) je
koeficient reliability pouze kolem 0,60. Proto by měl dobrý didaktický
test obsahovat minimálně 10 testových úloh.
Tvorba didaktického testu
•
•
•
plánování testu
konstrukce testu
ověřování testu
Fáze plánování
•
•
pro ujasnění účelu testování se doporučuje rámcové
vymezení obsahu testu.
specifikace obsahu a úrovně úloh zkoušky – techniky:
•
specifikační tabulky
–
–
–
•
úroveň osvojení znalostí (nejen reprodukce)
počet úloh – vyšší než 10, 35 – 40 minut max., 0,5 – 1,5 minuty na
úlohu
struktura učiva + přiřazení váhy jednotlivým položkám
seznamu výukových cílů
–
–
–
–
pracnější, ale přesnější
učební látka, která má být testována, se převádí na seznam
výukových cílů, kterých chceme dosáhnout;
nebo se formuluje co největší počet konkrétních výukových cílů a to
tak, aby postihovaly skutečný obsah výuky;
každý výukový cíl musí být v testu zkoušen tolika úlohami, kolik
odpovídá jeho významu v učivu (podle počtu hodin, podle rozsahu
učebního textu apod.)
Fáze konstrukce didaktického testu
návrh testových úloh:
– otevřené (úlohy s tvorbou volné odpovědi)
• Snadné navrhování
• Nemožnost objektivního skórování
• Široká a stručná odpověď
– úlohy produkční a doplňovací
– uzavřené
• s nabízenou odpovědí
• s nucenou volbou odpovědí
Fáze konstrukce didaktického testu
návrh testových úloh:
– otevřené (úlohy s tvorbou volné odpovědi)
– uzavřené
• s nabízenou odpovědí
– dichotomické
– polynomické – rozvíjely se v souvislosti s programovaným učením a
větvenými programy.
Formy:
– jedna správná odpověď
– jedna nejpřesnější odpověď
– jedna nesprávná odpověď (musí mít vždy jednoznačně a důrazně
vyjádřený zápor)
– úlohy s vícenásobnou odpovědí nabízejí více správných voleb a žák
musí být zřetelně na takový typ úloh upozorněn v zadání úlohy
Problém s hodnocením!
• s nucenou volbou odpovědí
Fáze konstrukce didaktického testu
návrh testových úloh:
– otevřené (úlohy s tvorbou volné odpovědi)
– uzavřené
• s nabízenou odpovědí
• s nucenou volbou odpovědí
Obecné zásady
pro navrhování všech druhů testových úloh
1.
2.
3.
4.
5.
6.
7.
Vyhýbáme se úlohám kvizového charakteru. Bývají sice pro žáky zábavné,
ale k serióznímu měření výsledků vzdělávací činnosti se nehodí.
Snažíme se navrhovat navzájem nezávislé testové úlohy, tj. takové, u nichž
správné vyřešení jedné není vázáno na správné vyřešení jiné.
Dbáme na to, aby formulace zadání neobsahovala v sobě nápovědu správné
odpovědi.
V didaktických testech zásadně nepoužíváme tzv. chytáků, u nichž
nezkoušíme stupeň zvládnutí učiva, ale zcela jiné charakteristiky žáka, např.
postřeh, vtip apod. Př. Protože se chcete dobře vyspat, jdete si lehnout už ve
20 hod 30 min a budík si nařídíte až na 9 hod 15 min. Kolik hodin budete
spát?
Při hodnocení odpovědí je nejvhodnější užívat tzv. jednoduchého (binárního)
skórování úloh, kdy za správnou odpověď v kterékoli úloze připisujeme vždy
jen jeden bod. Složitější a pracnější je tzv. vážené skórování, kdy přiřazujeme
různé počty bodů úlohám podle jejich náročnosti. Doporučuje se u úloh, které
se výrazně liší časem, který je třeba k jejich vyřešení.
Testových úloh si v návrhu připravíme vždy více, než kolik jich bude v
konečné verzi. Při ověřování testu se totiž ukáže, že některé z nich jsou
nevhodné.
Pozornost věnujeme i grafické podobě testu.
Návrh prototypu didaktického testu
• bývá prospěšné vytvořené testové úlohy alespoň na několik dnů po
návrhu odložit a teprve potom se k nim kriticky vrátit
• nechat je posoudit další kompetentní osobou (osobami)
• z úloh, které obstály, sestavíme prototyp testu.
– Řazení úloh
– Čas
• U jednodušších otevřených úzkých úloh a u jednodušších úloh s výběrem
odpovědí počítáme s časem od 0,5 do 1,5 minuty na jednu úlohu.
• Konkrétnější časovou představu si uděláme až po prvním použití testu na
vzorku žáků.
• takový časový limit, aby 80-90% žáků stačilo testem projít.
– Případnému opisování předejdeme vypracováním dvou ekvivalentních
podob testu, nejlépe jednoduchým přeskupením úloh.
Fáze ověřování
a optimalizace didaktického testu
•
Definitivní představa o vlastnostech - až po jeho ověření na vzorku žáků.
Vytváříme-li test jen pro své potřeby, stačí ověření u těch žáků, které
vyučujeme nebo v paralelních ročnících. Jinak důkladnost ověření závisí na
počtu žáků, kteří test zpracují.
Analýza vlastností testových úloh
• Zaměřuje se zejména na obtížnost úloh, na jejich citlivost a na tzv.
nenormované odpovědi.
• Obtížnost úloh posoudíme podle toho, kolik žáků úlohu správně vyřeší. Při
analýze se počítá buď hodnota obtížnosti Q nebo index obtížnosti P.
• Hodnota obtížnosti (Q) udává procento žáků ve vzorku, kteří danou
úlohu zodpověděli nesprávně nebo ji vynechali.
• Index obtížnosti (P) je procento žáků ve skupině, kteří danou úlohu
zodpověděli správně.
– nn je počet žáků, kteří odpověděli nesprávně nebo neodpověděli, n je celkový
počet žáků
– ns je počet žáků, kteří odpověděli v dané úloze správně; n je celkový počet žáků
nn
Q  100
n
ns
P  100
n
Vlastnosti nevhodných testových úloh:
1.
2.
3.
4.
5.
Úloha je příliš obtížná nebo příliš snadná (hodnota
obtížnosti Q je buď větší než 80 nebo menší než 20).
Úloha málo rozlišuje mezi žáky s dobrými a špatnými
vlastnostmi (např. koeficient citlivosti d je u středně
obtížných úloh menší než 0,25 apod.).
V testové úloze je příliš mnoho vynechaných odpovědí
(u otevřených úloh např. více než 30-40%, u
uzavřených úloh více než 20%).
Počet vedlejších chyb v úloze převažuje nad
počtem hlavních chyb (u úloh otevřených).
Žáci nevybírají ze všech nabídnutých distraktorů v
úloze (u úloh s výběrem odpovědí).
Sociometrie
= specifické výzkumné postupy ke
zjišťování, popisu a analýze směru a
intenzity mezilidských vztahů v malých
sociální skupinách
Malá sociální skupina – lidé spojeni určitými
společnými cíli, znají se, komunikují spolu,
vytvářejí společné normy
Struktura sociální skupiny
– Formální vztahy
– Neformální vztahy
Sociometrický test
• Pozitivní volby ve skupině (sympatie,
preference, atrakce) - častěji
• Negativní volby (odmítání, repulse)
• Volba partnerů pro určité situace – všichni
členové skupiny – písemně, obrázky
• Otázky – podle cíle výzkumu
Zjišťování vztahů
S kým ve skupině bys
nejraději zpracovával
projekt?
Kdo jsou tvoji největší
kamarádi?
S kým bys chtěl
kamarádit?
Které spolužáky nemáš
rád?
S kým bys nechtěl jet
na výlet?
S kým bys nechtěl být
ubytován na lyžařském
výcviku?
Pravidla
1. Stanovit hranice sociální skupiny
2. Neomezený počet výběrů – nedodržuje
se
3. Jednoznačně určit kritérium výběru (k
čemu si vybírají partnera)
Sociometrická matice
A
A
B
C
D
E
F
G
H
+
-
B
C
D
E
F
G
H
X
X
X
X
X
X
X
X
+
-
Sociometrická matice - neuspořádaná
A
B
C
D
E
A
X
+
-
-
B
+
X
-
C
-
+
X
D
+
-
-
E
+
+
X
+
F
+
-
+
X
G
+
+
H
-
+
+
5
5
1
0
3
4
-
2
2
3
1
0
1
+
X
F
G
+
-
+
2
2
+
3
1
4
1
1
4
4
0
+
3
1
X
3
0
X
2
1
2
2
22
1
0
+
+
-
-
+
H
+
+
+
10
Sociometrická matice - neuspořádaná
A
B
C
D
E
A
X
+
-
-
B
+
X
-
C
-
+
X
D
+
-
-
E
+
+
X
+
F
+
-
+
X
G
+
+
H
-
+
+
5
5
1
0
3
4
-
2
2
3
1
0
1
+
X
F
G
+
-
+
2
2
+
3
1
4
1
1
4
4
0
+
3
1
X
3
0
X
2
1
2
2
22
1
0
+
+
-
-
+
H
+
+
+
10
Sociometrická matice - neuspořádaná
A
B
C
D
E
A
X
+
-
-
B
+
X
-
C
-
+
X
D
+
-
-
E
+
+
X
+
F
+
-
+
X
G
+
+
H
-
+
+
5
5
1
0
3
4
-
2
2
3
1
0
1
+
X
F
G
+
-
+
2
2
+
3
1
4
1
1
4
4
0
+
3
1
X
3
0
X
2
1
2
2
22
1
0
+
+
-
-
+
H
+
+
+
10
Sociometrická matice - neuspořádaná
C
G
C
X
+
G
+
X
D
H
E
F
B
A
+
-
D
H
E
F
B
A
+
-
X
X
X
X
X
X
22
10
Sociometrická matice - neuspořádaná
C
G
C
X
+
G
+
X
D
-
-
D
H
E
+
X
F
B
A
+
-
+
+
-
4
1
+
+
3
0
-
+
1
4
+
-
2
1
-
H
X
+
E
+
X
+
+
+
4
0
+
X
-
+
3
1
+
+
X
+
3
1
+
+
X
2
2
22
F
+
B
-
A
-
+
1
2
0
2
3
4
5
5
-
3
1
1
0
0
1
2
2
-
10
Sociogramy
lhostejnost
sympatie, lhostejnost
Sociogramy
vzájemná sympatie
antipatie, lhostejnost
Sociogramy
vzájemná antipatie
antipatie, sympatie
Kruhový sociogram – kladné volby
C
G
A B C D E
D
A
H
B
F
E
-
F
G H
+
-
+
2
2
+
3
1
4
1
1
4
4
0
+
3
1
X
3
0
2
1
A X
+
-
B
+
X
-
C
-
+
X
D
+
-
-
E
+
+
X
+
F
+
-
+
X
G
+
+
H
-
+
+
5
5
1
0
3
4
2
2
-
2
2
3
1
0
1
1
0
+
X
+
+
-
-
+
+
+
+
X