Transcript Pedagogický experiment

Pedagogický experiment
Experiment
je špeciálna situácia na testovanie hypotéz
 ako jediná z výskumných metód vie
dokázať kauzálne dôsledky

Iné výskumné metódy – skúmajú len
vzájomné vzťahy javov, nemôžeme s
istotou potvrdiť, že tieto vzťahy sú
kauzálne.
Pedagogický experiment


je dôsledkom presadenia sa behaviorálnej
výskumnej paradigmy, ktorá vyrástla na
pozitivistickom pozadí čerpajúc inšpiráciu
z experimentálnych výskumov v prírodných
vedách.
klasik metodológie behaviorálneho pedagogického
výskumu R. M. Travers (1969) – výklad
pedagogického experimentu je bohato ilustrovaný
príkladmi a menami známych prírodovedcov
(Faraday, Mendelejev, Cavendish, Boyle,
Magleigh, Galileo, Priesley, Einstein, ...).
Pedagogický experiment
na zistenie efektívnosti edukačného
pôsobenia (vzdelávacieho programu,
intervencie, tréningu, učebnice a pod.).
 pozorovanie, dotazník, interview... tieto
výskumné metódy slúžia na opis
edukačnej reality, prípadne aj na opis jej
zmeny, ale nie na zistenie jej efektívnosti.
 je nevyhnutnou výskumnou metódou pri
zavádzaní edukačných zmien, inovácií a
uskutočňovaní transformácií alebo
reforiem

Pedagogický experiment
je komplexná výskumná metóda
 Používa aj iné výskumné metódy na
získanie údajov o subjektoch experimentu
– test, dotazník, pozorovanie, škálovanie,
sociometria atď. – na zistenie
charakteristiky subjektov – a to pred i po
skončení experimentu.
 Pri takomto výskume sa používa skupina
výskumných metód, ktoré sú rámcované
experimentom.

Kauzalita
jav A → dôsledok D
Nový liek → vyliečenie (vyliečenie nastalo
vplyvom lieku)
 Športový tréning → rekord (rekord nastal
vplyvom športového tréningu)
 Zvýšenie motivácie žiaka učiť sa → lepšie
učebné výsledky (lepšie učebné výsledky
vznikli vplyvom zvýšenia motivácie)

Smer kauzality
Jav musí predchádzať jeho dôsledkom.
 Jav A musí existovať pred dôsledkom D.

"Intenzívne sledovanie akčných televíznych
filmov zvyšuje frekvenciu agresívneho
správania adolescentov.„
Skúška kauzality – „obrátený test“. Musíte
výrok prepolarizovať (obrátiť).
Nezávisle a závisle premenná

nezávisle premenná – spôsobuje daný
efekt.

závisle premenná – sa vplyvom
nezávisle premennej zmení – jej kvalita,
hodnota a pod. závisí od nezávisle
premennej

Výskumník manipuluje s nezávisle
premennou a zisťuje, aký to má dôsledok
na závisle premennú.
Príklad
nezávisle premenná
→
závisle premenná
nový liek
→
vyliečenie
športový tréning
→
rekord
zvýšenie motivácie žiaka
učiť sa
→
lepšie učebné výsledky
Hypotéza

je očakávanie o vplyve nezávisle
premennej na závisle premennú.

„Ak použijete A, dosiahnete lepšie
výsledky, ako keď použijete B.“

Má zmysluplné teoretické zdôvodnenie!
Manipulácia s nezávisle premennou
organizačné zásahy týkajúce sa nezávisle
premennej, ktoré výskumníkovi umožňujú
sledovať kauzálne pôsobenie na závisle
premennú.
 niekoľko úrovní nezávisle premennej –
situácie alebo podmienky, ktorých efekt sa
vzájomne porovnáva.

Dve skupiny subjektov
Experimentálna skupina
 Kontrolná skupina

umožňujú manipuláciu s premennou v
kontrolovaných podmienkach
 účinnosť, efektivita, frekvencia, kvalita a iné
vlastnosti, ktoré sa viažu na nezávisle
premennú, sa vyjadrujú v druhom stupni
prídavného mena alebo príslovky

Efekt nezávisle premennej

A
A
A
A
je
je
je
je
účinnejšie ako B
efektívnejšie ako B
frekventovanejšie ako B
kvalitnejšie ako B
Iná
A
A
A
A
polarita vzťahu:
je menej účinné ako B
je menej efektívne ako B
j menej frekventované ako B
je menej kvalitné ako B
Rovnocenné skupiny
Rovnocenné v ukazovateľoch, ktoré môžu
ovplyvniť závisle premennú.
 Na začiatku experimentu – približne
rovnaké skupiny subjektov.
 Na konci experimentu – nerovnaké
skupiny subjektov.
 Hodnoty experimentálnej a kontrolnej
skupiny budú nerovnaké v závisle
premennej vplyvom experimentálneho
pôsobenia.

Spôsob zostavenia rovnocenných skupín

Náhodný výber
Kváziexperiment
Nenáhodný výber subjektov
podľa kľúčových charakteristík, ktoré
môžu ovplyvniť závisle premennú. Napr.
vek, ročník štúdia, pohlavie, IQ, prospech,
motivácia, záujmy, doterajšie vedomosti,
bydlisko, charakteristiky domova a pod.
 čo najviac podobných kľúčových
charakteristík.
 výber subjektov sa uskutočňuje na
začiatku experimentu.

Vstupné meranie – pretest


akékoľvek meranie, ktorým skontrolujete, do akej
miery sú obidve skupiny podobné v kľúčových
charakteristikách. Napr. test, škálovanie,
dotazník, štruktúrované pozorovanie, sociogram a
pod.
V pedagogickom experimente sa pracuje s celými
triedami, a nie s novo zostavenými skupinami len
pre účel experimentu.
Meranie závislej premennej – posttest
zisťuje vplyv nezávisle premennej na
závisle premennú.
 Otázka znie: bola experimentálna skupina
lepšia ako kontrolná v postteste?

Vyjadrenie výsledku experimentu s
náhodne vybratými subjektmi
Úlohou výskumníka je zistiť, či je medzi
experimentálnou a kontrolnou skupinou v
postteste štatisticky významný rozdiel.
 Rozdiel v prospech experimentálnej
skupiny znamená, že pôsobenie nezávisle
premennej v tejto skupine bolo silnejšie
ako u kontrolnej skupiny.

Príklad
Zmena postojov rodičov k integrácii postihnutých detí do tried, kde sú intaktné
deti.
Experimentálna skupina absolvovala návštevy škôl, kde takáto integrácia detí už
existuje. Návštevy boli doplnené vysvetľovaním a besedou s deťmi a učiteľmi.
Kontrolná skupina absolvovala prednášky o zmysluplnosti integrácie pre postihnuté i
pre intaktné deti.
Experimentálna a kontrolná skupina rodičov bola pred výskumom vybratá náhodným
spôsobom (žrebovaním) spomedzi všetkých rodičov žiakov danej školy. Na konci
experimentu vyplnili obidve skupiny škálovaný postojový dotazník.
Rozdiel medzi obidvomi skupinami bol malý (AP = 0,14) a na základe štatistického Utestu Mann-Whitneyho. Vypočítaná hodnota p je ďaleko od požadovanej hodnoty
štatistickej významnosti, ktorá má byť 0,05. Hypotéza, že pôsobenie pomocou
návštevy školy, vysvetľovania a besedy bude mať pozitívnejší vplyv na zmenu
postojov rodičov k integrácii ich detí ako pôsobenie prostredníctvom prednášok, sa
nepotvrdila.
Exp.
skupina
Kontr.
skupina
N
AP posttest
168
2,49
169
2,30
rozdiel AP
exp. – kontr. skupina
U-test
Mann-Whitneyho
p
0,19
12845
0,1308
Vyjadrenie výsledku experimentu s
nenáhodne vybratými subjektmi

zistiť, či je rozdiel medzi pretestom a
posttestom u experimentálnej skupiny je
štatisticky významne väčší ako u
kontrolnej skupiny.
Príklad
Efektívnosť dvoch programov na rozvoj verbálnych zručností žiakov.
Experimentálna skupina – program A
Kontrolná skupina – program B.
Na začiatku experimentu žiaci písali pretest.
Rozdiel v preteste medzi experimentálnou a kontrolnou skupinou nebol štatisticky
významný.
Na konci experimentu žiaci písali posttest.
Porovnanie rozdielu medzi pretestom a posttestom u obidvoch skupín.
Experimentálna skupina sa zlepšila v teste o 3 body, kontrolná skupina sa zhoršila o
pol boda.
Výskumník overil rozdiely štatistickým testom Wilcoxona.
Hodnota p je u experimentálnej skupiny nižšia, ako je požadovaná hodnota štatistickej
významnosti (aspoň 0,05). Na druhej strane, vypočítaná hodnota p u kontrolnej
skupiny je vyššia, ako je požadovaná minimálna hodnota štatistickej významnosti
0,05. Keďže experimentálna skupina sa zlepšila viac ako kontrolná skupina, pôsobenie
programu A bolo efektívnejšie ako B.
N
AP pretest
AP posttest
Rozdiel
pretest-posttest
p
Exp. skupina
150
67,7
70,7
3,0
0,0001
Kontr. skupina
150
69,9
69,5
-0,4
0,3069
Testy štatistických hypotéz (testy
štatistickej významnosti)
Pri hodnotení vzťahov medzi premennými sa
premenné často delia na závislé (vysvetľované Y) a nezávislé (vysvetľujúce - X), čo sa dá zapísať:
Y = f(X1, X2, ..., Xn).
Výrazy závislý a nezávislý pochádzajú z oblasti
experimentálneho výskumu. Tieto výrazy sa však
používajú aj v korelačných výskumoch, v ktorých
nezávislými premennými nemanipulujeme, iba na
základe ich hodnoty každú štatistickú jednotku
zaraďujeme do jednej skupiny. Napríklad ak pri
výskume porovnávame počet bielych krviniek
u mužov a žien, pohlavie bude nezávislá
premenná a počet bielych krviniek závislá
premenná.
Testy štatistických hypotéz
Štatistická hypotéza je tvrdenie týkajúce sa
základného súboru.
V prípade parametrických testov je hypotéza
tvrdenie o neznámej hodnote parametra
základného súboru.
Formulácia nulovej hypotézy

Konečným cieľom väčšiny štatistických
testov je zhodnotenie vzťahu medzi
premennými. Nulová hypotéza potom
vyjadruje nezávislosť premenných.
Napríklad nulová hypotéza t-testu
vyjadruje rovnosť priemerov dvoch
základných súborov. Rozdiel zistený vo
vzorke sa považuje za náhodný (je
dôsledkom náhodného výberu).
Formulácia alternatívnej hypotézy (Ha)



Väčšinou chceme dokázať pravdivosť alternatívnej
hypotézy, ktorá najčastejšie vyjadruje štatistickú závislosť
premenných. Pravdivosť alternatívnej hypotézy sa dokazuje
vždy iba nepriamo a to tak, že ukážeme, že nulová
hypotéza je nepravdepodobná a alternatívna (jediná
zostávajúca), je teda pravdepodobná.
Alternatívna hypotéza má napr. tvar: priemery
základných súborov sa nerovnajú. Rozdiel nameraný
vo vzorke je teda štatisticky významný.
Ak však chceme napr. zistiť, či sa po podaní lieku znížil
priemerný krvný tlak pacientov (možnosť zvýšenia tlaku po
podaní lieku úplne vylučujeme), alternatívna hypotéza bude
mať tvar: priemer 1 je väčší ako priemer 2. Takéto
jednostranné hypotézy sa používajú zriedkavo a s veľkou
opatrnosťou.
Stanovenie hladiny významnosti (α)

Hladina významnosti je pravdepodobnosť
chyby I. druhu, ktorú urobíme, ak
zamietneme nulovú hypotézu, ktorá
v skutočnosti platí. Teda ak prídeme
k záveru, že medzi premennými existuje
vzťah, pričom medzi nimi vzťah nie je. Alfa
sa tradične stanovuje na 5 % (= 0,05)
alebo 1 % (= 0,01).
Výpočet testovacej štatistiky
a pravdepodobnosti

Zo vzorky sa vypočíta testovacia štatistika, ktorá má za
predpokladu pravdivosti nulovej hypotézy príslušné
rozdelenie pravdepodobnosti (F, Chi-kvadrát, t). P-hodnota
(P-Value, Probability Level) predstavuje
pravdepodobnosť, že testovacia štatistika za predpokladu
pravdivosti nulovej hypotézy dosiahne prinajmenšom tak
extrémnu hodnotu, ako je hodnota vypočítaná zo vzorky. Phodnota je pravdepodobnosť, že vzťah zistený z našich
údajov je iba dôsledkom nešťastnej vzorky a ak by sme
vybrali ďalšiu náhodnú vzorku, nemuseli by sme nájsť nič.
P-hodnota je najnižšia hodnota hladiny významnosti, ktorá
vedie k zamietnutiu nulovej hypotézy. P-hodnota je
odhadovaná pravdepodobnosť zamietnutia pravdivej
nulovej hypotézy. Čím menšia je P, tým viac sme
presvedčení, že nulová hypotéza nie je pravdivá a mala by
byť zamietnutá.
Rozhodnutie



Ak P < α, nulová hypotéza sa voči príslušnej alternatívnej
hypotéze zamietne. Znamená to, že rozdiel nameraný vo
vzorke je príliš veľký na to aby bol iba náhodný. Medzi
premennými teda existuje vzťah.
Ak P ≥ α, nulovú hypotézu nemožno zamietnuť. Znamená
to, že rozdiel nameraný vo vzorke môže byť iba náhodný.
Často sa v takomto prípade nesprávne hovorí, že nulová
hypotéza sa prijíma. Správny je výrok, že nemáme
dostatočné dôkazy na to, aby sme nulovú hypotézu
zamietli. Teda nemáme dostatok dôkazov na to, aby sme
tvrdili, že medzi premennými existuje vzťah.
V praxi sa veľmi často hladina významnosti nestanovuje
vopred, teda P-hodnota sa interpretuje samostatne.
Väčšina autorov uvádza P < 0,05 ako štatisticky významný
a P < 0,01 ako štatisticky vysoko významný vzťah.
Výsledky
Rozhodnutie
Skutočnosť
H0 nezamietnutá
H0 zamietnutá
H0 pravdivá
Správne rozhodnutie
(p = 1−α)
Chyba I. druhu
(p = α)
H0 nepravdivá
Chyba II. Druhu
(p = β)
Správne rozhodnutie
(p = 1−β)
H0: Nulová hypotéza
p: Pravdepodobnosť nastatia danej situácie
α: Significance level (hladina významnosti)
1−α: Confidence level (spoľahlivosť)
1−β: Power (sila testu)
Krátkodobé a dlhodobé efekty
experimentu

Efekt nezávisle premennej


bezprostredne po skončení experimentu.
s odstupom niekoľkých týždňov alebo
mesiacov – retencia experimentálneho
efektu.
Aktivita kontrolnej skupiny

kontrolná skupina by mala plnohodnotne
fungovať. Musí konať určitú aktivitu, ktorá
je paralelná, ale nie totožná s aktivitou
experimentálnej skupiny. Prirodzene,
nečinnosť kontrolnej skupiny je menšie zlo
ako neexistencia kontrolnej skupiny. V
takomto prípade nemôžete výkon
experimentálnej skupiny porovnať s ničím.
Trvanie experimentu

Toto je otázka, na ktorú si experimentátor
nájsť odpoveď sám. Záleží na tom, aký
zložitý je skúmaný jav a ako dlho trvá,
než sa prejaví zmena oproti vstupným
charakteristikám subjektov. Postoje k
etnickej skupine sa pravdepodobne nedajú
zmeniť tak rýchlo (ak sa vôbec dajú) ako
navýšenie vedomostí z konkrétneho učiva.
Nežiaduce premenné
história,
 efekt merania,
 reaktivita subjektov,
 mortalita a
 diferencovaný výber subjektov.

Laboratórny experiement

Laboratórny experiment je taký experiment, pri ktorom sú
podmienky veľmi prísne kontrolované – počnúc teplotou
miestnosti a končiac povedzme intonáciou reči
experimentátora. Ide obyčajne o individuálne pôsobenie,
subjekt sedí v izolovanej miestnosti. Týmto spôsobom
experimentujú napríklad psychológovia s faktormi, ktoré
vplývajú na pozornosť subjektov. Zvukotesná miestnosť
zaručuje, že subjekt bude vnímať len zvukový stimul, ktorý
mu vyšle experimentátor. Nebude ovplyvnený ničím iným.
Laboratórny experiment vznikol vo vedách, ako je chémia a
fyzika. V pedagogike nenašiel uplatnenie. Je to preto, lebo
je príliš vzdialený prirodzenému prostrediu človeka a
abstrahuje od jeho sociálnych a kultúrnych daností.
Môžeme povedať, že laboratórny experiment má síce
vysokú vnútornú validitu, ale má nízku externú validitu –
jeho závery možno len ťažko zovšeobecniť na bežné životné
situácie.