Transcript Jak analizować wyniki egzaminów zewnętrznych?

„Jak analizować wyniki egzaminów
zewnętrznych?
Wykorzystanie wniosków z analiz
do podniesienia jakości nauczania w szkole.”
SZKOLENIE DLA DYREKTORÓW GIMNAZJÓW I SZKÓŁ PONADGIMNAZJALNYCH
KONIN, 06.11.2012 R.
1
Zagadnienia:
•
•
•
•
•
•
O egzaminach zewnętrznych,
Wskaźniki statystyczne,
Na co zwrócić uwagę?
EWD,
Propozycja działań,
Podsumowanie.
2
 O egzaminach
Pierwszym egzaminem zewnętrznym jest sprawdzian po
klasie szóstej szkoły podstawowej.
Cechami charakterystycznymi tego egzaminu są:
• obiektywizm,
• powszechność,
• obowiązkowość,
• jednolitość,
• nie ma możliwości jego niezdania.
Ma on charakter diagnozujący.
3
Drugim egzaminem zewnętrznym w naszym systemie
oświatowym jest egzamin gimnazjalny.
Charakteryzuje się on tymi samymi cechami
co sprawdzian, ale różni się od niego tym,
że ma wyraźnie charakter preorientujący.
Preorientacja jest bardzo istotnym założeniem
tego egzaminu, gdyż powinien pomóc uczniowi
w wyborze kierunku dalszego kształcenia.
4
Trzeci z egzaminów zewnętrznych – egzamin maturalny.
To jest zupełnie inny egzamin niż dwa wcześniejsze.
Jego cechami charakterystycznymi są (również)
obiektywizm, jednolitość i powszechność,
ale już nie obowiązkowość.
Jego wynik nie ma żadnego wpływu na ukończenie szkoły.
Wynik decyduje o dostaniu się absolwenta
na konkretny kierunek studiów wyższych w wybranej
uczelni.
Dlatego właśnie ma on charakter różnicujący.
5
Egzamin potwierdzający kwalifikacje zawodowe
zwany egzaminem zawodowym jest formą oceny poziomu
opanowania wiadomości i umiejętności z zakresu danego
zawodu, ustalonych w standardach wymagań będących
podstawą przeprowadzania egzaminu potwierdzającego
kwalifikacje zawodowe.
Egzamin zawodowy przeprowadzany jest dla
absolwentów:
- zasadniczych szkół zawodowych
- techników
- techników uzupełniających
- szkół policealnych
6
Pomimo różnic dzielących poszczególne egzaminy
jeden element wspólny:
Wyniki uzyskiwane przez uczniów podczas
egzaminów zewnętrznych stanowią podstawę
do oceny efektywności pracy nauczycieli i całej
szkoły.
Z tego właśnie względu w wymaganiach ewaluacyjnych
został umieszczony zapis o obowiązkowym
przeprowadzaniu analizy wyników egzaminów
zewnętrznych, w różnym zakresie.
7
By w pełni wykorzystać informacje
o wynikach egzaminu zewnętrznego,
na podstawie ich analiz trzeba starać się
ustalić, które szkolne działania
dydaktyczno-organizacyjne
oraz w jaki sposób wpłynęły
na osiągnięcia uczniów.
8
 Analiza ogólnego wyniku szkoły w zestawieniu
z wynikami uzyskanymi przez uczniów
za pojedyncze zadania oraz czynności.
Spojrzenie ogólne daje nam możliwość
dostrzeżenia pewnych prawidłowości,
przyjrzenie się szczegółom może wskazać
konkretne problemy oraz sugerować sposoby
ich rozwiązania.
W analizie wyników obie perspektywy są niezwykle
istotne i wzajemnie się uzupełniają.
9
Analiza powinna być przeprowadzona w kilku
płaszczyznach:
• ilościowej (ile?)
• jakościowej (co to znaczy?)
• perspektywicznej (jak będzie dalej?)
• retrospektywnej (jak było?)
• efektywnej, w tym operacyjnej (co zrobić?)
10
Uzyskane informacje (wielopłaszczyznowe)
pozwolą w obiektywny sposób ocenić efekty
pracy i to nie tylko w ostatnim roku,
ale w całym mijającym cyklu edukacyjnym.
Egzamin zewnętrzny jest zwieńczeniem
wysiłków ponoszonych przez cały okres
kształcenia na danym etapie.
11
Ogólny obraz tego, jak szkoła wypadła podczas
egzaminu, buduje się zwykle na podstawie dwóch
wartości:
1) średniego wyniku szkoły z egzaminu
2) pozycji, jaką ten wynik zajmuje na skali
staninowej.
Powstały w ten sposób obraz powinien być
wzbogacony o rozkład wyników uczniów w szkole.
Jest to ważny element, który mówi nam więcej niż
średnia czy stanin.
12
Egzamin zewnętrzny jest dla organów
prowadzących i nadzorujących szkołę ważnym
wskaźnikiem jej pracy.
Szkoła oceniana jest zwykle na podstawie wyników
egzaminu.
OP i ON posługują się głównie średnim wynikiem
szkoły i jego pozycją na skali standardowej
dziewiątki – i na tym poprzestają.
Nie zawsze tego rodzaju analizy są przeprowadzane
poprawnie.
Staniny i uśrednione wyniki są często nadużywane,
a ich interpretacja jest zbyt rozległa.
13
Szkoły powinny jednak dokonywać tego typu analiz
z kilku powodów:
1) pozwala to ująć pracę szkoły w szerszej perspektywie,
2) możemy spojrzeć na szkołę w sposób, w jaki czynią to
obserwatorzy z zewnętrz – np. z perspektywy organu
prowadzącego lub nadzorującego,
3) poprawne wykonanie tego typu analiz daje nam
wymierne i nie dające się podważyć argumenty
w sytuacji, gdy nasza szkoła podlega ocenie.
14
Przygotowując samodzielnie tego typu
analizy każda szkoła może prowadzić
dyskusję merytoryczną, zauważyć
nadinterpretację analiz innych
podmiotów – przedstawić ogólny
i zarazem obiektywny obraz szkoły
ze swojej perspektywy.
15
SZKOŁA
Średni wynik szkoły powinien być wstępem
do pracy nad interpretacją wyników
egzaminacyjnych.
Pozwala spojrzeć ogólnie na pracę szkoły
i umiejscowić jej wynik względem innych
szkół.
Dzięki temu możemy zauważyć pewne
kierunki zmian w wynikach egzaminu.
16
www.oke.poznan.pl
- wyniki
- raporty
- staniny
- tendencje rozwojowe
17
Najwięcej informacji o pracy uczniów i szkoły
możemy zdobyć, przyglądając się wynikom
poszczególnych uczniów za kolejne zadania
lub czynności.
Wtedy widać wyraźnie, które elementy w pracy dydaktycznej szkoły są zadowalające,
a które należałoby poprawić.
W przypadku dużej liczby uczniów nie możemy wprost tego zrobić, gdyż szczegółowych
informacji jest zbyt wiele.
W takim przypadku korzystamy z pomocy uniwersalnych narzędzi statystycznych.
Pozwalają one, za pomocą kilku liczb, przedstawić w syntetycznej formie informacje
o osiągnięciach uczniów.
Jednak zarazem należy pamiętać, że są to pewnego rodzaju przekształcenia wyników,
nie zawierają w sobie całej informacji szerokiej, którą mają wyniki egzaminów
poszczególnych uczniów w szkole.
18
Należy zawsze określić granicę liczby uczniów, dla
których uzasadnione jest stosowanie narzędzi
statystycznych.
Za granicę tę zazwyczaj przyjmuje się nie mniej niż 10 uczniów, choć
najlepiej tego typu działania można podejmować dla grup liczących
co najmniej 30 uczniów.
W grupach większych niż 10, ale mniejszych niż 30 uczniów można
stosować narzędzia statystyczne. Pamiętać jednak należy, że ich
wyniki mogą być obarczone sporym błędem. Przy takiej liczbie
uczniów najlepiej zastosować najdokładniejszą metodę analizy
wyników, czyli dokładne przyjrzenie się wykonaniu zadań przez
pojedynczego ucznia.
19
Porównując średnie wyniki należy pamiętać o
możliwościach i ograniczeniach parametru
statystycznego, jakim jest średnia arytmetyczna.
Pozwala nam ona na ogólne spojrzenie na wynik, jednak sposób jej liczenia jest
niezwykle wrażliwy na wartości skrajne (w przypadku egzaminów na bardzo
niskie lub bardzo wysokie wyniki), zwłaszcza w przypadku niewielkiej liczby
uczniów.
Wystarczy, by w szkole, w której niewielu uczniów pisało egzamin, kilka osób
uzyskało skrajne wyniki, by średnia dawała nam zniekształcony obraz.
Dlatego ważne jest, by oprócz
średniej brać także
pod uwagę rozkład wyników uczniów w szkole,
który najprościej jest przedstawić w formie
graficznej, na przykład na wykresie.
20
21
22
23
24
25
26
 Podstawowe parametry statystyczne
i kolejność działań
Każdy z nauczycieli, który przystępuje do analizy danych
zawierających wyniki egzaminacyjne powinien dokładnie
zapoznać się z podstawowymi wskaźnikami statystycznymi.
Najważniejsze z nich to: wynik średni, wynik środkowy
(mediana), wynik minimalny, wynik maksymalny, modalna
(inaczej dominanta), miara rozrzutu, może być nią np. rozstęp
oraz przedział wyników typowych.
27
Kolejność działań związanych z analizą egzaminów zewnętrznych:
1)zanalizować wyniki egzaminacyjne dla każdej
części egzaminu odrębnie.
2) uporządkować wyniki od wyniku najwyższego
do najniższego i zestawić wyniki w klasy
ilościowe, a następnie wykonać wykresy
rozkładu wyników.
3) obliczyć średnie wyniki i porównać z wynikami
uczniów w kraju, województwie, powiecie,
gminie i mieście.
28
Traktujemy je jako punkt odniesienia dla wyników szkoły,
gdyż są one średnim wynikiem wszystkich uczniów
piszących egzamin w danej szkole.
Szacujemy, czy wyniki szkoły są większe, mniejsze czy
porównywalne z wynikiem większych jednostek
terytorialnych.
Za wynik porównywalny uznajemy wynik w granicach
o jeden punkt większy lub mniejszy od wyniku szkoły.
Zastanawiamy się nad istniejącymi różnicami
oraz ich wielkością.
29
W taki sam sposób dokonujemy analizy
porównawczej między wynikami poszczególnych
klas a szkołą, oraz poddajemy dalszej analizie
wyniki poszczególnych uczniów.
Jeśli badana w szkole populacja jest liczna, można
dokonać powyższych zestawień w podziale na
chłopców i dziewczęta, uczniów dojeżdżających
i miejscowych itp. porównując wyniki grup.
Porównania mogą być bardzo interesujące.
30
 Skala staninowa
Wynik szkoły można także porównać z wynikami wszystkich
pozostałych szkół, w których w danym roku przeprowadzono
egzamin.
Jeśli interesuje nas pozycja szkoły względem innych szkół,
możemy posłużyć się skalą staninową, stanowiącą pewne
przekształcenie surowych wyników wszystkich egzaminowanych
szkół i uczniów.
Pozycja wyniku szkoły na skali staninowej informuje
nas, jaki procent szkół uzyskał lepszy wynik, jaki
gorszy, a jaki porównywalny z naszą szkołą.
31
SKALA STANINOWA
Wynik
wyższy
uzyskało
stanin
96% 89% 77% 60% 40% 23% 11%
1
2
3
4
5
6
7
4%
0%
8
9
opis
najdydakty- niższy
czny
bardzo niski
niski
niżej
średni
średni
wyżej
średni
wysoki bardzo najwysoki wyższy
procent
4%
wyników
7%
12%
17%
20%
17%
12%
Wynik
niższy
uzyskało
4%
11% 23% 40% 60% 77% 89% 96%
0%
7%
4%
32
Pozycja wyniku na skali staninowej może okazać się
niezwykle pożytecznym narzędziem do porównywania
wyników szkół, należy jednak stosować je z rozmysłem
i na jego podstawie ostrożnie formułować wnioski.
Przede wszystkim należy pamiętać o tym, że wskaźnik
ten nie daje tyle informacji o szkole, co analiza rozkładu
wyników w szkole.
Pozwala nam jedynie umiejscowić pozycję szkoły
względem innych szkół, ale w sposób dość ogólny.
Jako taki nadaje się właśnie do ogólnych porównań.
33
Skala staninowa dla szkół jest konstruowana co roku po
egzaminie zewnętrznym na podstawie średnich wyników
wszystkich szkół, w których był on przeprowadzany.
Jest to względna miara pozycyjna – znaczy to, że stanin szkoły
może się zmieniać w kolejnych latach nie dlatego,
że zdecydowanie zmienił się z roku na rok poziom nauczania
w tej szkole, ale dlatego, że inne szkoły znacząco zmieniły
swoje wyniki.
Należy o niej myśleć jako o bardzo ogólnej etykiecie, która
w sposób bardzo generalny opisuje szkołę względem
pozostałych szkół w Polsce.
34
Każdego roku zbiór wyników egzaminów zewnętrznych
w Polsce jest podstawą utworzenia skali staninowej dla
uczniów.
Metoda liczenia jest taka sama jak w przypadku skali
dla szkół.
Skala staninowa szkolna i uczniowska są różnymi skalami.
Używane obecnie w Polsce skale staninowe dla uczniów
i szkół są opracowane na podstawie wyników egzaminu
opartego na wersji standardowej arkusza.
35
Normalizacja wyników w skali standardowej dziewiątki
Stopień
skali
(Stanin)
25
1
Procent
20
15
10
w%
4
Opis dydaktyczny
skali
najniższy
2
7
bardzo niski
3
12
niski
4
17
niżej średni
5
20
średni
6
17
wyżej średni
7
12
wysoki
5
0
1 2 3 4 5 6 7 8 9
Staniny - stopnie skali standardowej
dziewiątki
Uczniowie
8
7
bardzo wysoki
9
4
najwyższy
Zagrożeni
niskimi
osiągnięciami
Uczniowie
o średnim
potencjale
Uczniowie
o wysokim
potencjale
36
W skali staninowej dla ucznia bierzemy pod uwagę
zbiór wyników wszystkich uczniów w Polsce, którzy
pisali egzamin w danym roku.
Możemy porównać wynik pojedynczego ucznia
w szkole z wynikami wszystkich uczniów w całej
Polsce, określić, jaki procent uczniów uzyskał
wynik gorszy, lepszy lub porównywalny z jego
wynikiem.
37
38
 Analiza łatwości zadań
Łatwość jest istotnym wskaźnikiem i liczy się ją w bardzo prosty
sposób. Obliczamy łatwość każdego standardu (wg starej podstawy
programowej) lub wymagania (wg nowej podstawy programowej)
lub zadania dla całej szkoły, posługując się danymi pozyskanymi
z OKE.
Liczymy sumę punktów, jakie uczniowie uzyskali w poszczególnych
obszarach i dzielimy przez iloczyn maksymalnego wyniku
punktowego w obszarze i liczby uczniów.
W podobny sposób obliczamy łatwość całego arkusza testowego.
Możemy również obliczyć łatwość zadań, obszarów, całego testu dla
poszczególnych klas.
39
Z raportu OKE lub CKE pozyskujemy dane na temat łatwości
standardów i testu w całej badanej populacji uczniów
i porównujemy te wartości z wartościami obliczonymi dla naszej
szkoły.
Analizujemy dane z tabeli, odpowiadając na pytania:
W których standardach, wymaganiach, zadaniach szkoła uzyskała
wynik satysfakcjonujący (0,70 lub więcej)?
W których tzw. niezbędne minimum (0,50)?
W których wynik był poniżej poziomu 0,50?
Czy łatwość całego testu dla uczniów szkoły jest wyższa czy niższa
niż dla wszystkich piszących?
Uczniowie której klasy wypadli najlepiej, a której najsłabiej na
egzaminie?
40
 Edukacyjna Wartość Dodana
41
Edukacyjna wartość dodana
jako jedna z miar jakości nauczania
Szkoła
Zasoby na wejściu
Jakość nauczania
Poziom
końcowy
wiedzy
Edukacyjna wartość dodana jest przyrostem wiedzy
i umiejętności uczniów w wyniku danego procesu
edukacyjnego
42
Główne cele wprowadzania EWD
•
Zmniejszenie roli surowych wyników egzaminów jako jedynej miary
jakości nauczania.
•
Diagnozowanie jakości nauczania celem nieustannej pracy nad
poprawą efektywności nauczania.
•
Zachęcanie szkół do konkurencji jakością nauczania.
•
Docenienie pracy nauczycieli pracujących w środowiskach
o niekorzystnych cechach społeczno-ekonomicznych.
43
Jak liczona jest EWD w polskim modelu?
1. Na podstawie wyniku ucznia na sprawdzianie
szacujemy za pomocą metody regresji wynik
przewidywany na egzaminie gimnazjalnym.
2. Obliczamy różnicę punktów – tzw. resztę – między
faktycznym wynikiem ucznia na egzaminie a jego
wynikiem przewidywanym.
3. Obliczamy średnią reszt, czyli EWD dla szkoły (gminy,
powiatu, województwa).
4. Szacujemy przedział ufności dla EWD (jego długość
zależy od liczby uczniów i od zróżnicowania wyników
w szkole).
44
Komunikowanie EWD w odniesieniu do skali staninowej.
Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD?
Wyniki egzaminów w skali standardowej dziewiątki
EWD
1
9
8
7
2
3
4
B
C
„Dobra efektywność”
mimo
niskiej pozycji w rankingach
B
Szkoły wspierające
6
5
6
7
8
9
D
H„Wysoce efektywne” szkoły
potwierdzone
dwoma
F miarami
E
Szkoły sukcesu
I
5
4
A
3
2
1
J
Szkoły „nieefektywne”
Szkoły wymagające
A pomocy
C
G
Szkoły, które
„spoczęły na laurach”
D
Szkoły zmarnowanych
szans
45
www.ewd.edu.pl
46
Chłodnym okiem na EWD
• Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów
• Jedna ale nie jedyna miara jakości pracy szkoły
w kontekście roli szkoły w rozwoju ucznia
• Wymaga uczciwości na każdym egzaminie
• Wymaga poznania potencjału ucznia na wejściu
• EWD mierzy to na co szkoła ma wpływ.
Czy szkoła jest wystarczająco efektywna, pracując z uczniami
określonym potencjale?
o
47
I co dalej?
Jak wykorzystać analizy?
48
„RECEPTA”
TWORZENIE PLANU
PODNIESIENIA JAKOŚCI KSZTAŁCENIA
W SZKOLE
(czyli skuteczniejszego przygotowania uczniów
do egzaminów zewnętrznych)
49
NAUCZYCIELE PRZEDMIOTÓW
1. Sporządzić (ściągnąć z OKE) zestawienie wyników uczniów z egzaminu –
z każdego przedmiotu i poziomu - w formie tabeli (najlepiej w Excelu);
2. Obliczyć łatwość (p) każdego zadania (do 2 miejsc po przecinku)
p=
suma punktów w pionie (w kolumnie)
-------------------------------------------------------liczba punktów za zadanie * ilość uczniów
3. Ściągnąć z OKE (lub raportu) kartoteki testów, nanieść współczynniki łatwości
do zadań;
4. Zinterpretować łatwość (bardzo trudne: 0,00-0,19, trudne: 0,20-0,49,
umiarkowanie trudne: 0,50-0,69, łatwe: 0,70-0,89, bardzo łatwe: 0,90-1,00);
5. Wyszukać „punkty mocne”, czyli zadania i umiejętności, dla których p > 0,90;
6. Wyszukać „punkty słabe”, czyli zadania i umiejętności, dla których p<0,70;
50
INTERPRETACJA WYNIKÓW EGZAMINU ………………..
(w zakresie …………………………………………………………….)
przedmiot
UMIEJĘTNOŚCI OPANOWANE W STOPNIU NIEZADOWALAJĄCYM
STANDARD/
WYMAGANIE
UMIEJĘTNOŚCI UCZNIÓW/
CELE SZCZEGÓŁOWE
ZAD.
ŁATWOŚĆ
INTERPRETACJA
WIADOMOŚCI I
ROZUMIENIE/
…………….
KORZYSTANIE Z
INFORMACJI/
………………..
TWORZENIE
INFORMACJI/
……………….
51
7. Określić, które z tych punktów słabych są „krytyczne” –
najsłabsze, niezbędne do kształcenia uczniów;
8. Przeanalizować kontekst – co powoduje, że tak jest, na co
możemy mieć wpływ, co nam pomoże, co przeszkadza.
Punkty krytyczne
systemu kształcenia
(UMIEJĘTNOŚCI
UCZNIÓW)
Czynniki sprzyjające
(zasoby)
Czynniki
ograniczające
(przeszkody)
9. Zaplanować zadania naprawcze (konkretne, realne i mierzalne);
52
ZESPOŁY PRZEDMIOTOWE
10. Przedyskutować problem w zespołach
przedmiotowych (szczególnie w aspekcie działań
wspólnych);
53
ZESPÓŁ DO TWORZENIA PLANU PODNIESIENIA
JAKOŚCI KSZTAŁCENIA W SZKOLE
11. Powołać szkolny zespół do opracowania ww. planu.
Zespół zbierze wypracowane w zespołach plany cząstkowe
w całość.
Zespół dokona analizy tendencji rozwojowych szkoły oraz
wskaźników EWD (w okresie 3 lat i dłuższym)
Do zespołu włączyć nauczycieli wf, pedagogów szkolnych itp.,
którzy będą mieli za zadanie wzbogacić plan w działania
wychowawcze i prozdrowotne. Wskazane jest aby w pracy
zespołu uczestniczył dyrektor lub wicedyrektor.
12. Zespół przedstawi wstępny plan całej radzie pedagogicznej,
dyskusja, korekta, zatwierdzenie.
54
PROJEKT DOSKONALENIA PROCESU DYDAKTYCZNO-WYCHOWAWCZEGO
W ZAKRESIE PRZYGOTOWANIA UCZNIÓW DO EGZAMINÓW ZEWNĘTRZNYCH
w …………………………………..
Obszar
(standardów)
wymagań
Zadania
naprawcze
(dotyczące
umiejętności)
Uczniowie
(adresaci)
Sposoby
realizacji
(działania
dydaktyczno –
wychowawczoorganizacyjne)
Termin
realizacji
Osoby
odpowiedzialne
za realizację
Monitoring
i ewaluacja
(sposób/czas)
1
2
3
4
5
6
7
KROKI NASTĘPNE: Realizacja planu, monitoring, ewaluacja, ulepszenie, realizacja……
Małymi kroczkami, krok po kroku….
55
 PODSUMOWANIE
Informacje płynące z systemu egzaminów
zewnętrznych pozwalają wnioskować o:
1. POZIOMIE OSIĄGNIĘĆ UCZNIÓW – współczynniki
łatwości zadań dla uczniów, wyniki poszczególnych
uczniów, średnie wyniki klas, szkoły (sukcesy,
porażki – uczniów  poszczególnych nauczycieli)
2. EFEKTYWNOŚCI NAUCZANIA W SZKOLE – pozycja
na skali staninowej, EWD
56
„Trzeba skończyć z tą modą na
twierdzenia, że szkoła uczniem stoi.
Dobra szkoła powinna stać
nauczycielem, który dobrze nauczy
nawet najsłabszych!
Na Zachodzie renomę szkoły tworzą
wykładowcy.”
(autor nieznany)
57
58
59
Opracowano na podstawie:
- materiałów udostępnionych przez OKE Poznań, OKE Kraków
i CKE Warszawa
- materiałów ze szkoleń autorskich
Dziękuję za uwagę
Ewa Gryczman
Doradca MODN w Koninie
60
MIEJSKI OŚRODEK DOSKONALENIA NAUCZYCIELI
w KONINIE
ul. Przemysłowa 3d, 62-510 Konin
tel/fax. 632433352 lub 632112756
[email protected]
www.modn.konin.pl
61