Transcript ppt

1. Evalvacijska študija: Učbenik kot
dejavnik uspešnosti kurikularne
prenove
izvajalec: Pedagoški inštitut
2. Aplikativna raziskava:Optimalizacija
spoznavne (učne) vsebine didaktičnega besedila
• Izvajalca: ISH-Fakulteta za podiplomski
humanistični študij, Pedagoški inštitut
Vpliv učbenika
• Učbeniki močneje vplivajo na pedagoški
proces kot učni načrti.
• Slovenski učenec /dijak do konca srednje šole
bolj ali manj temeljito obdela 25.000 – 30.000
učbeniških strani.
Evropsko združenje raziskovalcev
učbenikov (IARTEM)
• Dve glavni raziskovalni strategiji:
1. ekspertno presojevalna (sodbe o domnevnih
lastnostih učbeniških sporočil)
2. eksperimentalna in kvazi-eksperimentalna
Evalvacijska študija Učbenik kot
dejavnik uspešnosti …
• Vzorec: 6 učbenikov biologije in 6 učbenikov
zemljepisa
• Predmeti analize: besedila (lastnosti besedil,
organizacija spoznavne vsebine itd.),
ilustracije, grafična podoba, didaktični aparat
• Sodelavci: raziskovalci, učitelji
Izhodišča analize
• Študija je bila oprta na spoznanja, pridobljena
v doslej izvedenih (tujih) raziskavah, ki so
obravnavale povezave med zgradbo verbalnih
in vizualnih sporočil v učbenikih ter učno
učinkovitostjo učbenikov. Opravljena je bila
izčrpna kritična analiza in ovrednotenje
večjega dela raziskav.
Predmeti analize. 1. predmet: optimalno število
vseh besed in novih besed za različne starosti
• Optimalno število besed na eni strani
učbenika:
4. razred: 150 – 180
5. razred: 200 – 230
6. razred: 250 - 300 (Gerard in Roegier, 1993)
Optimalno število novih besed: 7-8
Uporabljeni postopek določanja novih
besed v izbranih učbenikih
• 18 učiteljev je označevalo besede, ki so po
njihovem mnenju za večino učencev nove.
• Besede smo obravnavali kot nove, če jih je kot
nove označila večina učiteljev.
• Rezultat: Učitelji so v izbranih učbenikih za
zadnja dva razreda OŠ na posamezni strani v
povprečju prepoznali manj kot 7-8 besed, ki
naj bi bile nove za učence.
Spoznavna dostopnost novih besed in
pojmov
•
1.
2.
3.
Indikatorji spoznavne dostopnosti
skladenjska (ne)poudarjenost nove besede
grafična poudarjenost nove besede
stopnja pojasnjenosti (opredeljenosti) nove
besede
Spoznavna dostopnost novih besed in
pojmov
Rezultat:
• velike razlike med učbeniki
• Od 36 – 91 % besed, ki so jih učitelji
prepoznali kot nove, je skladenjsko ali
grafično poudarjenih.
• Od 51 – 98 % pojasnjenih novih besed.
Berljivost besedil
• Obrazec berljivosti:
• Stopnja berljivosti = 206,84 – 0,85 W – 1,02 S
Vzorec je 100 besed.
S - povprečno število besed v povedi.
W- skupno število zlogov v 100 besedah
Rezultati se pretežno gibljejo med 0 in 100; 0 – zelo
zahtevno besedilo; 100 – zelo 'lahko' besedilo.
(Mimogrede: Optimalno dolga poved, namenjena 13 15-letnikom, ima 10 - 20 besed.)
Berljivost besedil - rezultati
• Rezultati: izjemno velike, nenadzorovane
razlike med učbeniki za isto starostno obdobje
(7. in 8. razred): 21 in 20, torej 40 točk razlike!
- Tolikšne razlike v berljivosti so raziskave (na pr.
Mikk, 2000) v povprečju prepoznale med
dvema povsem različnima vrstama učbenikov,
med berili za 2. razred OŠ in učbeniki
zgodovine za 6. razred!!!
Prisotnost spodbujevalcev
spoznavnega interesa v učbenikih
• Spodbujevalci:
1. navodila za samostojno dejavnost,
2. opisi problemov,
3. Opisi okoliščin, dogodkov, dejanj
4. Z zanimivostjo besedila je pozitivno povezano število
glagolov, negativno pa število samostalnikov z
abstraktnim pomenom.
5. Opisi konkretnega: namesto “Luther je bil
problematičen otrok” raje: “Luthra so učitelji zaradi
trmoglavosti oštevali vsak dan.”
6. Najmočnejši spodbujevalec: osebne besede
Prisotnost spodbujevalcev
spoznavnega interesa v učbenikih
•
•
•
•
•
•
•
•
•
•
Močna povezava med zanimivostjo in osebnimi osebami.
obrazci besedilne zanimivosti. Oglejmo si enega od njih:
število osebnih besed x 100 x 3,3635 = X
celotno število besed
število osebnih povedi x 100 x 0,314 = Y
celotno število povedi
Rezultat dobimo, ko seštejemo X in Y.
Osebne besede in osebne povedi
•
•
•
•
•
•
•
1.
2.
3.
Osebne besede so:
- lastna (krstna) imena oseb
- priimki (če se nanašajo na posamezno osebo)
- osebni zaimki, ki se nanašajo na osebe (ne na živali ali stvari)
- pridevniki ali svojilni zaimki, ki se nanašajo na osebe
- občna imena, ki se nanašajo na osebe in imajo tako moško
kot žensko obliko (kralj-kraljica, igralec-igralka, sestra-brat)
Osebne povedi so:
povedi, ki vključujejo premi govor
povedi, ki vsebujejo vprašanje, navodilo, zahtevo, prošnjo
vzklične povedi
Osebne besede: lestvica
• starost učencev
•
•
•
•
•
•
•
5
6
7
8-9
10 - 12
13 - 16
17 in več
optimalen odstotek
os. besed v besedilu
19
14
10
6
4
3
2
Osebne besede: rezultat
• Nobeden od izbranih učbenikov se niti ne
približa optimalnemu deležu osebnih besed in
povedi (3-4% na stran)
Koherentnost
• Skladnost in urejenost pomenov in pomenskih predstav, ki jih
vsebuje razlagalno besedilo. Ta razsežnost razlagalnega
besedila je najmočneje povezana z njegovo spoznavno (učno)
učinkovitostjo.
• Izvori pomenskih okvar:
1. v semantiki povedi in semantiki medpovednih struktur
2. v sintaksi povedi
3. v argumentaciji (na povedni in medpovedni ravni)
• Učinkovanje nekega tekstnega izvora nekoherentnosti ima v
tekstu zmerom omejen doseg. Ugotavljali smo, koliko povedi
je na izbranih straneh zajel učinek nekoherentnosti.
Zgledi nekoherentnosti
• Opis nastanka Ljubljane pred 2000 leti:
»Na stiku Ljubljanskega polja in barja je nastalo
glavno mesto Republike Slovenije – Ljubljana«.
• »V Ljubljani se je oblikoval t.i. prometni križ – v
Ljubljano ali iz nje se stekajo pomembne
prometne poti. V Ljubljanski kotlini so se zato
razvila pomembna naselja, saj je njihove
prebivalce privabila možnost zaposlitve.«
Dodaten zgled (zunaj vzorca)
• (Učbenik zgodovine):
Rimska oblast na naših tleh (naslov)
“Za vlade Avgusta so Rimljani že vladali celotnemu
slovenskemu ozemlju.”
“V tem /rimskem/ času je naš prostor doživljal
državljanske vojne.”
“Tedaj /v 3. stoletju/ je slovenski prostor doživel
pokristjanjenje.”
“Že v 4. stoletju smo imeli tudi dve škofiji.”
Koherentnost- rezultat za 12 učbenikov
• Povprečni obseg besedil v izbranih učbenikih, ki jih
zajame učinek besedilne nekoherentnosti, se giblje
med 25 in 50 %. Rezultat je zaskrbljujoč!!!
• V enem od učbenikov je polovica od analiziranih strani
takšnih, da na njih učinek nekoherentnosti zajema več
kot 50 % besedila.
• Med dvanajstimi analiziranimi učbeniškimi besedili je
enajst takšnih, ki vsebujejo nesprejemljivo velike dele
nekoherentnega - pojmovno, miselno,
argumentacijsko neurejenega – besedila!!!
Didaktični aparat
• Norma: Navodila za samostojno dejavnost
učencev se morajo nanašati na opazljivo (ne
zgolj mentalno) dejavnost učencev.
• Rezultat: Skoraj brez izjeme se navodila v
izbranih učbenikih nanašajo zgolj na mentalno
dejavnost učencev (na pr. “Razmisli o vzrokih
za preseljevanje v mesta.”)
Vprašanja za učenčevo lastno
preverjanje, koliko zna
• Rezultat: Teh vprašanj praviloma ni. Redka
tovrstna vprašanja se nanašajo le na
spominsko znanje.
Povzetek rezultatov analize ilustracij
1. Piktografske ilustracije močno prevladujejo; ideografske
ilustracije so redke (kar je problematično).
2. Ilustracije so praviloma opremljene z razlagami.
Nekatere ilustracije delujejo kot distraktorji
(odvračevalci pozornosti).
3. Razmerje med risbo in fotografijo se ne približa normam
za posamezna starostne dobe.
4. Idealno je, če se besedilno in vizualno sporočilo
prekrivata v 1/3 spoznavne vsebine. Izbrani učbeniki so
daleč od te norme.
2. Raziskava “Optimalizacija spoznavne
(učne) vsebine didaktični besedil”
• Kvazi-eksperiment
• Vzorec: 240 učencev 9. razreda; vsak učenec je
bil hkrati član eksperimentalne in kontrolne
skupine.
• Učenci brali izvirne in revidirane odlomke.
• Rezultate branja (s poudarkom na
razumevanju) smo merili s preizkusom znanja,
ki ima ustrezne (preverjene) merske
karakteristike.
Besedilna revizija (izboljševanje)
• Revidirali (izboljševali) smo 4 besedilne
odlomke iz potrjenih učbenikov geografije (9.
razred, geografija Slovenije); obseg vsakega
odlomka: približno 300 besed
1. Gričevja in ravnine (Panonski svet)
2. Poselitev Slovenije
3. Industrija
4. Kmetijstvo
Osnova za revidiranje
• Na kaj smo se oprli pri ‘izboljševanju’
besedilnih odlomkov?
1. Na vse , kar smo ‘merili’ v evalvacijski študiji,
vključno s testom cloze in formulo berljivosti.
2. Na niz dodatnih ugotovitev o tem, kako
zgradba besedil vpliva na uspešnost učenja.
• Katerih ugotovitev?
‘Algoritmi’ za revizijo: optimalizacija
stopnje abstraktnosti besedila
• Primer: Visoka negativna povezanost med
povprečno abstraktnostjo samostalnikov in
razumevanjem besedila: 0.53 (Mikk, 1980) oz.
0.66 (Kukemelk in Mikk, 1993)
• Abstraktnost visoko pozitivno korelira s številom
samostalnikov, ki se končujejo z ‘- anje’, ‘- ost’, izem, -stvo, -tje, ipd. (učinek nominalizacije)
• Zgled iz slovenskega učbenika: “Dojemanja in
opredeljevanja odklonskosti so skoraj v vseh
primerih družbeno pogojena.”
Optimalizacija stopnje abstraktnosti
besedila
• Nepotrebna abstraktnost, ki jo povzroči
žargon. Primer matematične naloge za 9-letne
učence: “Koliko nočitev beleži hotel?”
• Zakaj ne: “Koliko turistov prespi v hotelu?”
Težavnost besedišča
• Razpršenost: Število različnih besed v besedilih ne bi smelo
presegati 70 % vsote vseh besed (nekatere besede naj bi torej
bile uporabljene večkrat).
• Slab zgled:
• “Med merjenjem obsega kroga s pomočjo vrvice je mogoče
ugotoviti, da dolžino premera lahko nanesemo nanj malo več
kot trikrat, iz česar izhaja razmerje:
• obseg
= 3,14…”
• Premer
Število različnih besed
24
Število vseh besed
26
• Število različnih besed predstavlja 92 % vsote vseh besed.
Težavnost besedišča
• “Z vrvico izmeri obseg kroga, z ravnilom izmeri premer
istega kroga. Ugotovil boš, da premer kroga lahko naneseš
na njegov obseg malo več kot trikrat. Zato lahko napišeš:
•
• obseg kroga
= 3,14…”
• premer kroga
•
• Število različnih besed
21
• Število vseh besed
32
• Število različnih besed predstavlja malo več kot 65 % vsote
vseh besed.
Razpršenost novega besedišča
• Ena od norm: Nove besede morajo biti
enakomerno razpršene po besedilu. Vsaj štiri
besede levo in desno od nove besede morajo
biti znane besede.
Kohezivnost
• Besedilna povezanost (kohezivnost) nastaja z
(zlasti argumentacijskimi) vezniki,
medmetnimi stavki, nepopolnimi stavki,
elipsami, anaforami, kataforami, primerjavami,
ponovljenimi ključnimi besedami itd.
• Med argumentacijske veznike štejemo: saj,
kajti, torej, sicer, pa, vendar pa, nadalje,
pravzaprav, skratka itd.
Poskus prepoznanje argumentacije v
izbranih odlomkih
• Na izbrane odlomke smo skušali nanesti
najpreprostejši (Toulminov) model
argumentiranja. Sestavine:
1. Trditev
2. Osnova (Dejstva , podatki itd.)
3. Utemeljitev (zveza med trditvijo in osnovo)
4. Opora
5. Omejitev trditve
6. Opis pogojev zavrnitve
Poskus prepoznanje argumentacije v
izbranih odlomkih - rezultat
• V nobenem od štirih izbranih odlomkov ni bilo
mogoče prepoznati osnovnih sestavin
argumentacije. Razlog:
Besedila so v argumentacijskem smislu
povsem neurejena.
Rezultati na preizkusu znanja - razlika med
učinkom izvirnega in revidiranega
besedilom (primer)
Industrija
M
SD
N
Izvirno bes.
9,44
3,06 111
revidirano bes. 13,99
3,65 113
_________________________________
M=arit. sredina, SD=standardna deviacija
N=število učencev
Rezultati-povzetek
• Učenci, ki so brali revidirane (izboljšane)
odlomke, so v vseh primerih dosegli na
preizkusu znanja statistično pomembno
znatno višje rezultate.
• Koliko višje?
Nadzor učne ocene
• Koliko % variance v dosežki pojasni ocena?
• Primer: Z učno oceno učencev pri predmetu
geografija v primeru besedila ‘industrija’
pojasnimo 41 % variance v njihovih dosežkih
pri preizkusu tega znanja (R2 = 0,42; Adj. R2 =
0,41).
Kolikšno izboljšanje razumevanja smo
dosegli z revizijo razlagalnih besedil?
• Ponazoritev:
- Učence smo naknadno statistično razdelili v
dve skupini:
1. Učenci z zaključno oceno iz geografije v
preteklem letu 2 ali 3 (30 % vseh učencev).
2. Učenci z zaključno oceno 5 iz geografije v
preteklem letu drugi strani v tiste, ki so imeli
oceno 5 (40% vseh učencev).
Kolikšno povečanje razumevanja smo
dosegli z izboljšanjem razlagalnih besedil?
• Ponazoritev: Skupina učencev z ocenama
2 in 3 iz geografije, ki je brala izboljšane
odlomke, je na preizkusu znanja dosegla
približno enake rezultate kot skupina
učencev z oceno 5 iz geografije, ki pa je
brala neizboljšane odlomke iz potrjenih
učbenikov.
Predlogi za izboljšanje učbeniške
politike
• Izdelati serijo vzorčnih učbenikov, ki bodo
postavili nove standarde kvalitete.
• Usposobiti kadre, ki bodo delovali v razvojnih
oddelkih založb.
• Usposobiti učitelje , da bodo razlikovali med
dobrim in slabim učbenikom.
• S pomočjo ‘algoritmov’, ki smo jih razvili,
sproti evalvirati nove generacije učbenikov in
usmerjati razvoj .