Transcript 1. A mérések folyamata

A mérések folyamata, határidők,
mérési azonosító, tanulói kérdőívek és
az új skála
Kérdések
1. Miért kell olyan sokat várni az eredményekre a
mérés után?
2. Hogyan készül a tanulói képességpont és miért
nem lehet az iskolában kiszámolni?
3. Kellenek nekünk a Tanulói kérdőívek?
1. kérdés:
Miért kell olyan sokat várni az eredményekre a
mérés után?
Nézzük meg, mi minden kell egy kompetenciaméréshez!
Egy OKM mérés előkészítésének,
lebonyolításának és feldolgozásának fázisai
N+1.
évben
Az
N.
évben
N-1.
évben
Azfőmérés
N-2.
évben
Az
adatfájlok
és Próbamérés
elemzések
A
előkészítése
Feladatírás
elkészítése, visszajelzés
előkészítése
jan.
febr.
márc.
ápr.
A kompetenciamérés
adatfelvétele május
utolsó szerdáján
A mérés
gondozása
A főmérés és
és aazpróbamérés
adatok
feldolgozása
Próbamérés
adatainak
feldolgozása Feladatírás
Az adatfájlok
és
A főmérés
előkészítése
elemzések elkészítése
máj.
okt.
jún.
júl.
aug.
szept.
Az N. évi kompetenciamérés
Alapdokumentum: tartalmi keretek
http://www.oktatas.hu/pub_bin/dload/kozoktatas/meresek/orszmer2014/AzOKMtartalmikeretei.pdf
nov.
dec.
Egy OKM mérés előkészítésének,
lebonyolításának és feldolgozásának fázisai
Az N-2. évben
Feladatírás
Az N-1. évben
Feladatírás
Próbamérés
előkészítése
Próbamérés és a próbamérés adatainak
feldolgozása
A főmérés előkészítése
Az N. évben
A főmérés előkészítése
A főmérés és az adatok feldolgozása
Az adatfájlok és
elemzések elkészítése
N+1. évben
Az adatfájlok és elemzések
elkészítése, visszajelzés
jan.
febr.
márc.
ápr.
A mérés gondozása
máj.
jún.
júl.
aug.
szept.
Az N. évi kompetenciamérés
A kompetenciamérés
adatfelvétele május
utolsó szerdáján
okt.
nov.
dec.
Az előkészületekről…
• Feladatírás (javítás, szerkesztés, lektorálás)
folyamatosan
• Tesztfüzetek összeállítása, a próbamérés előkészítése
• Próbamérés (következő évi főmérésé!)
április
az OKM főmérés előtti három
hét
• Visszaérkező anyagok ellenőrzése, kódolás és rögzítés,
adattisztítás
június-szeptember
• A próbamérés adatainak feldolgozása, statisztikai paraméterek
kiszámítása
szeptember-október
• Iskolai adatok begyűjtése
december közepe
Az előkészületekről…
• A főmérés feladatainak kiválasztása, véleményeztetése
szakmai lektorokkal
december vége
• A tesztfüzetek összeállítása, szerkesztése, nyelvi
lektorálása, nyomdai példányok leadása
• Háttérkérdőívek aktualizálása
január vége
január/március vége
• Adminisztráció, minőségbiztosítás előkészítése
május közepe
• Csomagolás, felmérési anyag kiszállítása
május közepe
A főmérés és az adatok feldolgozása
• A főmérés lebonyolítása és ellenőrzése
• A mérés utáni iskolai adminisztráció
május utolsó szerdája
a mérés utáni pár nap
• A felmérési anyagok visszaszállítása, kicsomagolás
• Kódolás
június végéig
augusztus első hetéig
– 6 hét, 300 kódoló, 300.000 tesztfüzet, 15 millió feladat
• Adatrögzítés (100 millió karakter)
augusztus végéig
• Adattisztítás
szeptember
• A furcsa adatokkal rendelkező osztályok vizsgálata
szeptember
• A főmérés végleges adatfájljainak előállítása
október-november
• A FIT-jelentésekhez, a Tanulói jelentésekhez és a FIT elemző
szoftverhez szükséges adatok előkészítése
november-december
Az adatfájlok és elemzések elkészítése,
visszajelzés
• A FIT-jelentések, a Tanulói jelentések és a FIT elemző szoftver
fejlesztése (új elemek, javítások)
november-január
• A FIT-jelentések pdf-jeinek előállítása és feltöltése a honlapra
január-február
• Az adatok feltöltése a Tanulói jelentésekhez és a FIT elemző
szoftverbe
február
• A Feladatok és jellemzőik kötetek elkészítése
január-február
• Az Országos jelentés elkészítése
január-február
• A FIT-jelentések és a Tanulói jelentések megjelenése, a
FIT elemző szoftverben az új eredmények elérhetővé
tétele
február 28.
2. kérdés:
Hogyan készül a tanulói képességpont és miért
nem lehet az iskolában kiszámolni?
A tanuló képességpontja
Nem összpontszám!
Nem százalékos megoldottság!
Valószínűségelméleti modellből
származó paraméter!
Egypontos feladat megoldási valószínűsége
- nehézsége
Minél jobb képességű a tanuló,
annál nagyobb valószínűséggel ér el 1
Egy nagyobb
pontot.
meredekségű
feladat
0,5
0,23
1250
1300
1350
1373
A 0,5-ös valószínűségnél van az 1 pontos
feladat nehézségi paramétere.
1400
1450
1500
Ebben a pontban értelmezzük
a meredekséget is.
1550
A 2012. évi 8. évfolyamos matematika
teszten elért 60%-os eredménnyel…
…különböző képességpontokat kaphatnak a tanulók.
1743
1725
1720
1733
1730
1740
1740
1754
1750
1763
1760
A matematika
képességskála
A képességpont attól is függ, hogy HOGYAN érte el a
60%-ot, MELYIK feladatokat oldotta meg!
Nehezebb feladatokért magasabb képességpont jár.
A skála rögzítése
Évfolyamfüggetlen és mérési évtől független skála
Bármely évekből és évfolyamokról vett két képességpontot
össze lehet hasonlítani a közös skálán!
Közössé váltak a képességszintek meghatározásai is.
Az évfolyamok összekötését a közös feladatok biztosítják, a
mérési évek összekötését pedig a CORE teszt, ami:
- titkos, változatlan
- reprezentatív mintába válogatott osztályok írják meg.
A közös skála és a mérési azonosító segítségével
nyomon követhető a tanulók fejlődése négy éven át!
A mérési azonosító 2008-as bevezetése után 2012-ben lett
először teljes az adatsor az akkori 10. évfolyamosokra.
A skála rögzítése
Évfolyamfüggetlen és mérési évtől független skála
3. kérdés:
Kellenek nekünk a Tanulói kérdőívek?
Mi a Tanulói kérdőív célja?
Olyan háttér-információk gyűjtése, amelyek segítik a teszteken
elért eredmények értelmezését, árnyalását.
Legfontosabb hozadékuk a jelentések szempontjából a
hátránykompenzáló hatás számításának lehetősége, ami
egy fontos önértékelési szempont. (CSH-index)
A komplex modellben más adatokat is figyelembe veszünk, így
az azonosított hatásoktól független képességfejlődést
vizsgálhatjuk tanulói szintre lebontva.
Időről időre felül kell vizsgálni, hogy mely tényezők hatnak a
leginkább, ezért a többi kérdés is fontos, hogy szükség esetén
bevonhassunk új adatokat. A kutatásokban is értékesek a
begyűjtött információk.
Kiknek van CSH-indexe?
• A tanulók 80%-ának (súlyozás nélkül 73%)
• A telephelyek 64%-ának
Miért nincs CSH-indexe a telephelynek?
Arány
• Kevesebb, mint 10 tanulónak van CSH-indexe
17,5%
• Kevesebb, mint a tanulók 2/3-a rendelkezik
CSH-indexszel
18,1%
• A CSH-indexszel rendelkező tanulók eredménye
jelentősen eltér az összes tanuló eredményétől
0,2%
A komplex modell
különbsége a
A tanuló A két érték A
kulturális
vett
korábbi modellben figyelembe
háttér
eredményetényezőktől független
(könyvek része
az eredménynek.
száma)
Nem
Az iskola típusa
és a
településtípus
AAtanuló
A tanuló
vele egy osztályban
becsült
A család anyagi
tényleges
és telephelyen
helyzete
eredménye
tanulók szüleinek
eredménye
A szülők iskolai
végzettsége
(vagyontárgyak
végzettsége
száma)
A vele egy
osztályban és
telephelyen
tanulók korábbi
eredménye
A komplex modell
A tényleges
eredmény jobb, mint
a modell alapján
becsült.
A tényleges
eredmény gyengébb,
mint a modell alapján
becsült.