Wykorzystanie wskaźników EWD w planowaniu rozwoju szkoły Opracowanie na podstawie materiałów IBE.
Download ReportTranscript Wykorzystanie wskaźników EWD w planowaniu rozwoju szkoły Opracowanie na podstawie materiałów IBE.
Wykorzystanie wskaźników EWD w planowaniu rozwoju szkoły Opracowanie na podstawie materiałów IBE Wprowadzony w 2002 roku jednolity system egzaminów szkolnych pozwala spojrzeć nauczycielom, uczniom, rodzicom oraz organom prowadzącym na wyniki nauczania w nowej, o wiele szerszej niż dotąd, perspektywie. Przeprowadzane w taki sposób w skali kraju egzaminy szkolne pełnią wiele funkcji, z których najważniejsze są: • • • wyznaczanie stopnia spełniania przez uczniów wymagań programowych; ewaluacja pracy szkół; monitorowanie procesów edukacyjnych. • Porównywalność wyników w skali całej Polski umożliwia analizę osiągnięć szkolnych z punktu widzenia kraju, województwa czy gminy. • Obraz pracy szkoły widziany przez pryzmat wyników końcowych nauczania jest jednak niepełny, gdyż nie uwzględnia potencjału ucznia przychodzącego do szkoły. Bardziej istotny wydaje się postęp, jaki robią uczniowie przez kilka lat nauki w danej placówce. • Metoda edukacyjnej wartości dodanej (EWD) pozwala w sposób poprawny statystycznie zmierzyć wkład szkoły w ten postęp, dzięki czemu staje się ważnym instrumentem wykorzystywanym do analizy wyników nauczania oraz ewaluacji pracy szkół. EWD pozwala dyrektorom i nauczycielom dokonać wnikliwej analizy wyników egzaminacyjnych, a w efekcie: sformułować wnioski do planów rozwoju szkoły; określić mocne i słabe strony nauczania w szkole; zweryfikować skuteczność podejmowanych działań; określić zakres koniecznych modyfikacji; wskazać czynniki determinujące w istotny sposób ostateczny wynik ucznia na egzaminie zewnętrznym; upewnić się, że szkoła organizuje procesy edukacyjne w sposób uwzględniający potrzeby i możliwości rozwojowe uczniów. Z metody EWD szeroko korzysta nadzór pedagogiczny podczas ewaluacji zewnętrznej szkół, dokonując obiektywnej oceny postępów uczniów dane szkoły w cyklu nauczania. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody edukacyjnej wartości dodanej. Beneficjentami skutecznej autoewaluacji stają się więc uczniowie, którzy mają szansę uczyć się w skuteczniej nauczających szkołach. Co to są metody EWD? Metody EWD to metody statystyczne (najczęściej wykorzystywane są modele regresji), które pozwalają na podstawie zasobów na wejściu (np. wynik na egzaminie poprzedniego etapu kształcenia, informacja o zasobach materialnych szkoły, środowisku, nakładach na szkołę) oraz na wyjściu (np. wynik na egzaminie końcowym dla danego etapu kształcenia), oszacować efektywność nauczania, czyli wkład danej szkoły w końcowy wynik egzaminacyjny. W tym sensie EWD jest egzaminacyjnym wskaźnikiem efektywności nauczania w danej szkole. • Prace nad metodą edukacyjnej wartości dodanej rozpoczęto w Polsce w 2005. • Opracowano metodologię szacowania wskaźników EWD, sposób prezentacji wyników, narzędzia analizy, materiały pomocnicze dla nauczycieli i dyrektorów. • Szkołom udostępniono narzędzie analityczne w postaci kalkulatora EWD, który umożliwia wykonywanie analiz na zdefiniowanych przez użytkownika grupach uczniowskich. • Badania prowadzone w szkołach wykazały, że nie wszystkie z nich potrafią wykorzystać wskaźniki EWD do analizowania wyników egzaminacyjnych czy oceny efektywności nauczania. • Często wielu dyrektorów i nauczycieli nie widzi potrzeby uwzględniania tych wskaźników przy prowadzeniu ewaluacji wewnętrznej w szkole. • Z właściwie interpretowanych wskaźników można uzyskać informacje przydatne w analizie spełniania wymagań państwa wobec szkół. Stosowanie przez szkoły wskaźników EWD do oceny efektywności nauczania w 2012 roku i wcześniej Źródło: A. Jasińska, G. Humenny, L. Humenny: Wykorzystanie przez szkoły metody edukacyjnej wartości dodanej. Wyniki badania ilościowego. Raport IBE, 2013 Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę stan na 31.05.2014 r. Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości posiadają wiedzę potoczną o metodzie EWD; wiedzą jak są prezentowane trzyletnie wskaźniki EWD; Poziom 1. wiedzą jakie położenie elipsy jest „korzystne” dla szkoły; umiejętności /sposób organizacji pracy z danymi potrafią znaleźć elipsę swojej szkoły korzystając z wyszukiwarki na stronie projektu EWD; postawy obawiają się rozliczania szkoły/ nauczyciela z efektów kształcenia; mają negatywny stosunek do egzaminów zewnętrznych; uważają EWD za wymysł naukowców, nieprzydatny w pracy szkoły; Źródło: E. Kędracka, K. Matuszczak, A. Rappe, E. Stożek, Badanie na temat wykorzystania metody edukacyjnej wartości dodanej (EWD) przez szkoły ponadgimnazjalne. Raport IBE, 2013 Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości Poziom 2. stan na 31.05.2014 r. wiedzą jak odczytać trzyletnie wskaźniki EWD; rozumieją względność wskaźników EWD; rozumieją dynamikę trzyletnich wskaźników; wiedzą jak porównywać szkoły ze względu na trzyletni wskaźnik EWD; umiejętności /sposób organizacji pracy z danymi potrafią interpretować trzyletnie wskaźniki EWD; sprawnie posługują się wyszukiwarką/ porównywarką na stronie projektu EWD; dokonują porównań trzyletnich wskaźników pomiędzy szkołami, śledzą dynamikę zmian w czasie; wskaźniki analizuje jedna, dwie osoby bez współpracy z radą pedagogiczną, często tylko dyrektor szkoły; w raportach nie przedstawiają wniosków z analiz wyników egzaminacyjnych; postawy w sposób formalny realizują zapisy rozporządzeń i prawa oświatowego; działają rutynowo, boją się zmian; Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości Poziom 3. (c.d.n.) stan na 31.05.2014 r. wiedzą, czym różnią się jednoroczne wskaźniki EWD od trzyletnich; znają podstawowe pojęcia statystyczne używane w analizach wyników egzaminacyjnych z wykorzystaniem EWD (np. rozkład wyników, odchylenie standardowe, przedział ufności); umiejętności /sposób organizacji pracy z danymi posługują się kalkulatorem EWD, wykonują różnorodne analizy w podziale na grupy „wbudowane” w kalkulator (np. klasy, potencjał edukacyjny, płeć); potrafią interpretować wykresy uzyskiwane w kalkulatorze EWD; analizy powstają w zespołach przedmiotowych, dotyczą tylko ostatniej sesji egzaminacyjnej, są prezentowane na radzie pedagogicznej; postawy są otwarci na wykorzystywanie EWD w szkole; chcą pogłębiać wiedzę o sposobach wykorzystania EWD i doskonalić umiejętności obsługi narzędzi analitycznych, uczestniczą w szkoleniach; Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości Poziom 3. (c.d.) stan na 31.05.2014 r. umiejętności /sposób organizacji pracy z danymi znają podstawowe typy wykresów wykorzystywanych w kalkulatorze EWD; wiedzą, jakie czynniki niezależne od szkoły wpływają na wyniki egzaminów zewnętrznych, a jakie zależne od szkoły mogą wpływać na EWD; wykorzystują wskaźniki EWD w promocji szkoły; przeprowadzają diagnozę na wejściu, wykorzystując do tego również wyniki egzaminu zewnętrznego niższego etapu kształcenia; wiedzą, że EWD nie zależy od uprzednich osiągnięć uczniów; w raportach z analizy wyników egzaminacyjnych formułowane są wnioski z analiz; postawy rozmawiają między sobą o swojej pracy; modyfikują swój styl pracy; Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Poziom 4. stan na 31.05.2014 r. Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości wiedza o metodzie EWD jest powszechna wśród członków rady pedagogicznej; wiedzą, jakie czynniki efektywności nauczania są specyficzne dla ich szkoły; (c.d.n.) mają świadomość własnego warsztatu pracy; rozróżniają pojęcia efektywność nauczania i efekty kształcenia; umiejętności /sposób organizacji pracy z danymi swobodnie posługują się kalkulatorem EWD, potrafią wykonywać analizy w podziale na grupy, specyficzne dla danej szkoły (inne niż wbudowane w kalkulator); uzupełniają analizy wskaźników EWD analizami innych danych dostępnych w szkole (np. łatwości zadań, frekwencja); planują inne badania w szkole; identyfikują obszary do zmiany i podejmują działania; postawy widzą potrzebę wykorzystywania metody EWD do analizy wyników egzaminacyjnych w szkole; współpracują w celu lepszego zrozumienia czynników wpływających na efektywność nauczania (np. obserwacje koleżeńskie); są gotowi na wprowadzenie zmian we własnej pracy, których źródłem są analizy EWD; czują się odpowiedzialni za efekty kształcenia Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Poziom 4. (c.d.) stan na 31.05.2014 r. Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi analizy wykonywane są w zespołach przedmiotowych i dotyczą kilku kolejnych lat; wnioski z analiz dyskutowane są w radzie pedagogicznej, a rekomendacje do dalszej pracy są wypracowywane wspólnie; raporty z analiz wyników egzaminacyjnych zawierają rekomendacje do dalszej pracy wraz ze wskazaniami kto jest odpowiedzialny za poszczególne działania i w jaki sposób oceniany będzie stopień realizacji rekomendacji; potrafią rozmawiać o wskaźnikach edukacyjnych z różnymi partnerami szkoły (np. rodzice, organ prowadzący, organ nadzoru pedagogicznego) świadomie planują swoją pracę z uczniami, również w kontekście zakładanych celów do osiągnięcia; postawy Poziomy wykorzystania EWD przez szkoły, Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Poziom 5. stan na 31.05.2014 r. Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości rozumieją celowość wykorzystywania EWD w ewaluacji wewnętrznej; rozumieją, że analiza wyników egzaminacyjnych z wykorzystaniem EWD jest jednym z procesów w szkole, który powinien być zorganizowany i zarządzany; wiedza o wskaźnikach EWD jest aktualizowana; umiejętności /sposób organizacji pracy z danymi gromadzą różnorodne dane o uczniach i ich osiągnięciach, zarówno na poziomie klas, jak i szkoły, wykorzystując do tego bazy danych; postawy analizy wyników egzaminacyjnych z wykorzystaniem wskaźników EWD są prowadzone celowo: dostarczają szkole informacji o skutkach podejmowanych przez nią działań, są włączane do procesu ewaluacji wewnętrznej; są przekonani o użyteczności wskaźników edukacyjnych, traktują EWD jako źródło informacji o efektywności nauczania i jedną z ważnych informacji o tym, jak pracuje szkoła; myślą o szkole w kategoriach rozwoju, a nie rankingu; raport z analizy wyników egzaminacyjnych jest częścią raportu ewaluacyjnego i jest raportem o procesach przebiegających w szkole; cechuje ich wysoka refleksyjność dotycząca własnej pracy jako elementu systemu szkolnego; chętnie dzielą się swoją wiedzą i doświadczeniem z innymi szkołami; EWD - (edukacyjna wartość dodana) – jest przyrostem wiedzy i umiejętności ucznia w wyniku danego procesu dydaktycznego. Wynik uzyskany przez ucznia np. na sprawdzianie w kl. VI - przyjmuje się jako ogólną miarę potencjału edukacyjnego ucznia (uprzednie osiągnięcia edukacyjne). Miara ta jest używana jako prognostyk wyniku na wyższym etapie edukacyjnym, czyli na egzaminie gimnazjalnym. Wartość dodana dla ucznia jest różnicą pomiędzy oczekiwanym a rzeczywistym wynikiem gimnazjalnym. Wartość dodana dla szkoły jest średnią wartością EWD dla uczniów szkoły. Analogicznie wynik egzaminu gimnazjalnego można traktować jako prognostyk wyniku egzaminu maturalnego. UWAGA! Nie znaczy to, że wprowadzając wyniki egzaminu gimnazjalnego do kalkulatora EWD można przewidzieć wynik konkretnego ucznia na maturze! ;) Do niedawna CKE podawała w swoich statystykach średni wynik egzaminacyjny uczniów danej szkoły. Jednak zdaniem ekspertów takie „surowe" nieprzetworzone dane nie były miarodajne dla oceny pracy szkoły. Bez wątpienia łatwiej jest osiągnąć dobry wynik egzaminacyjny nauczycielowi, który pracuje z młodzieżą o dużym kapitale wiedzy już na starcie, niż jego koledze, który ma pracować z uczniami o dużych brakach. Wskaźnik EWD uwzględnia taką sytuację koncentrując się bardziej na uchwyceniu przyrostu wiedzy z perspektywy egzaminu niż tylko na jego suchych wynikach. Porównywanie wyników różnych testów jest niemożliwe. Trudno ocenić, czy dany wynik jest wysoki, czy też niski. Niemożliwe jest szybkie oszacowanie, jaki procent populacji posiada wynik wyższy lub niższy od aktualnie analizowanego. Niemożliwe jest porównanie ze sobą wyników uczniów piszących dwie wersje testu. Naukowcy wyliczając wskaźniki nie posługują się sumą punktów z testu, lecz znając odpowiedzi na poszczególne pytania skalują wyniki uczniów (modelem IRT) Procedura standaryzacji przeprowadzana jest oddzielnie dla uczniów liceów ogólnokształcących i techników w każdym z czterech opisywanych wskaźnikami obszarów nauczania. Należy podkreślić, że wskaźniki egzaminacyjne, zarówno wyniku końcowego jak i EWD, są szacowane oddzielnie dla różnych populacji (np. liceów ogólnokształcących i techników). Oznacza to, że wskaźniki dla liceów i techników nie są porównywalne. Wyniki przedstawiane są na skali o średniej równej 100 i odchyleniu standardowym równym 15 Dzięki własnościom rozkładu normalnego wynik przedstawiony na standaryzowanej skali ma ustaloną interpretację ilościową, czyli można powiedzieć, jak dany wynik wygląda na tle populacji odniesienia. Na wykresie przedstawiono wartości procentowe dla wybranych punktów skali. I tak wynik 130 oznacza, że tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, natomiast rezultat 85 wskazuje, że blisko 16% uzyskało wynik niższy. Wyskalowane wyniki maturalne służą zarówno do prezentacji średniego rezultatu maturalnego dla danego liceum ogólnokształcącego lub technikum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku wskaźnika EWD skala ma swój środek w punkcie 0. Na przykład wynik EWD szkoły równy 5 pkt oznacza, że wynik w danym obszarze nauczania przeciętnego ucznia tej szkoły na maturze był o 5 punktów wyższy (w skali standardowej, czyli o 1/3 odchylenia standardowego wyższy), niż by to wynikało z jego rezultatu na egzaminie gimnazjalnym. Średni wynik egzaminacyjny i EWD, czyli wskaźnik efektywności nauczania, to miary komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z nich z osobna. Konsekwencją tego, że uwzględniamy zarówno wynik maturalny jak i wskaźnik EWD, jest prezentacją wyniku szkoły w dwuwymiarowym układzie współrzędnych. Ze względu na niepewność statystyczną szacowania wskaźników położenie szkoły przedstawiane jest za pomocą elipsy. Wielkość elipsy graficznie przedstawia stopień tej niepewności. Im więcej wyników egzaminacyjnych uwzględnia się w obliczeniach, tym mniejsza niepewność i mniejsza tym samym elipsa. Średni wynik egzaminacyjny szkoły, jak i wskaźnik EWD można traktować jako wskaźniki ewaluacyjne. Posługując się wskaźnikami egzaminacyjnymi w ewaluacji zakładamy, że egzaminy zewnętrzne istotnie przenoszą informacje o procesach zachodzących w szkole. Wskaźniki egzaminacyjne nie przenoszą informacji o wszystkich obszarach pracy szkoły, dotyczą przede wszystkim rzeczywistości egzaminacyjnej, ale jest ona na tyle bogata, że na tej podstawie można wnioskować o wielu procesach zachodzących w szkole. Poniższa tabela zestawia informacje o dwóch powszechnie stosowanych wskaźnikach egzaminacyjnych: średnim wyniku egzaminacyjnym oraz wskaźnikach edukacyjnej wartości dodanej. Takie ważne cechy wskaźników wykorzystywanych w ewaluacji [por. Górniak, Keler, s. 176177] jak dostępność, aktualność, porównywalność, statystyczna poprawność są w większym stopniu właściwe wskaźnikom EWD. Średni wynik egzaminacyjny Wskaźniki EWD 1 pokazuje poziom osiągnięć uczniów w zakresie sprawdzanym egzaminem zewnętrznym pokazuje efektywność nauczania w zakresie sprawdzanym egzaminem zewnętrznym 2 średnie wyniki szkół publikowane są lokalnie przez okręgowe komisje egzaminacyjne trzyletnie wskaźniki EWD publikowane są dla wszystkich gimnazjów w jednej aplikacji internetowej 3 wysoki/niski wynik egzaminacyjny może być zarówno efektem pracy szkoły, jak i konsekwencją potencjału uczniowskiego w szkole daje informację zwrotną o wkładzie szkoły w wynik egzaminacyjny niezależnie od potencjału uczniowskiego w szkole 4 bezpośrednie porównywanie ze sobą szkół ze względu na średni wynik (nie uwzględniając liczebności i zróżnicowania wyników) prowadzi do przekłamań porównywanie wyników między latami jest możliwe jedynie poprzez porównanie pozycji szkoły na skali staninowej porównywanie ze sobą szkół jest możliwe poprzez komunikowanie wskaźników EWD wraz z przedziałami ufności 5 trzyletnie wskaźniki EWD komunikowane są na skali standardowej setki, co daje możliwość bardziej precyzyjnego śledzenia zmian wskaźników w czasie wskaźniki jednoroczne do obliczenia konieczna aplikacja Kalkulator EWD-100 dostępne tylko dla dyrektorów szkół (lub za ich pośrednictwem) – wymagają uzyskania wyników egzaminacyjnych z OKE obliczane na podstawie wyników jednego rocznika absolwentów, np. 2012 r, 2013 r. wskaźniki trzyletnie dostępne na stronie projektu gimnazjum: http://gimnazjum.ewd.edu.pl liceum, technikum: http://matura.ewd.edu.pl powszechnie dostępne Wyliczane na podstawie wyników trzech kolejnych roczników absolwentów, np. 2010-2012, 2011-2013 dla bardzo małych szkół nie mogą mogą zostać opublikowane także dla być sensownie wyliczone bardzo małych szkół (więcej uczniów) wskaźniki jednoroczne mogą podlegać dużym wahaniom z roku na rok wskaźniki trzyletnie dosyć stabilne pozwalają przyjrzeć się szczegółom pozwalają na bardziej ogólną ocenę pracy szkoły, ewaluacja pracy szkoły, ewaluacja zewnętrzna wewnątrzszkolna możliwość prowadzenia wielu rodzajów analiz w Kalkulatorze EWD-100 analizy głównie w ramach jednej szkoły tylko ściśle określony zestaw wskaźników udostępniany na stronie internetowej łatwe porównanie między szkołami Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 1. Szkoła lub placówka realizuje koncepcję pracy ukierunkowaną na rozwój uczniów; trzyletnie wskaźniki Ocena adekwatności uzyskanych wyników do EWD –porównanie z innymi szkołami o podobnych zamierzonych; 2. Procesy edukacyjne są zorganizowane w sposób sprzyjający uczeniu się; Planowanie z uwzględnieniem analizy wyników egzaminów z poprzedniego etapu kształcenia. Planowanie z uwzględnieniem rozpoznanych czynników efektywności dla danej szkoły. cechach; w przypadku szkoły maturalnej –wybieralność przedmiotów; potencjał edukacyjny na wejściu coroczne analizy z użyciem jednorocznych wskaźników EWD dla grup uczniowskich, w tym oddziałów klasowych Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 3. Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej; Egzamin zewnętrzny jako kryterium poziomu osiągnięć uczniów. Monitorowanie efektów kształcenia. Ocena skuteczności podejmowanych działań. trzyletnie wskaźniki egzaminacyjne dynamika trzyletnich wskaźników EWD 6. Szkoła lub placówka wspomaga rozwój uczniów uwzględniając ich indywidualną sytuację; Monitorowanie skuteczności podejmowanych działań w stosunku do określonych grup uczniowskich analizy jednorocznej EWD dla grup uczniowskich, także w podziale na płeć i dysleksję itp. analizy jednorocznej EWD ze względu na potencjał na wejściu; Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 7. Nauczyciele współpracują w planowaniu i realizowaniu procesów edukacyjnych; EWD jest zaproszeniem do refleksji nad efektywnością kształcenia. Analiza wyników jest działaniem zespołowym i ma szanse przełożyć się na działania w szkole, jeśli wnioski i rekomendacje są akceptowane przez wszystkich nauczycieli. trzyletnie i jednoroczne wskaźniki EWD 10. Wykorzystywane są zasoby szkoły oraz środowiska lokalnego na rzecz wzajemnego rozwoju Monitorowanie losów absolwentów szkół podstawowych na podstawie ich wyników/EWD w gimnazjum. Współpraca w gminie szkół podstawowych i gimnazjów. jednoroczne wskaźniki EWD wg szkoły podstawowej, którą ukończył uczeń gimnazjum; jednoroczne wskaźniki EWD w grupie uczniów dojeżdżających; trzyletnie wskaźniki EWD – porównanie z innymi szkołami w gminie; Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 11. Szkoła lub placówka organizując procesy edukacyjne uwzględnia wnioski z analizy wyników (…) egzaminacyjnych oraz innych badań zewnętrznych i wewnętrznych; Szkoła prowadzi analizę wyników egzaminacyjnych ukierunkowaną na identyfikację mocnych i słabych stron, rozpoznanie czynników efektywności (EWD), doskonalenie warsztatu pracy nauczycieli trzyletnie i jednoroczne wskaźniki EWD 12. Zarządzanie szkołą lub placówką służy jej rozwojowi; Obserwacje z analiz EWD są impulsem do prowadzenia ewaluacji wewnętrznej. Proces analizy wyników jest w szkole zarządzany. Decyzje podejmowane są z uwzględnieniem wyników egzaminacyjnych i badań wewnętrznych. trzyletnie i jednoroczne wskaźniki EWD Przykłady wskaźników trzyletnich: Przykłady wskaźników trzyletnich: Przykłady wskaźników trzyletnich: Przykłady wskaźników trzyletnich: Przykłady wskaźników trzyletnich: Analizy wskaźników jednorocznych: Mając do dyspozycji Kalkulator EWD 100 oraz dostęp do wyników egzaminacyjnych z OKE (takie możliwości posiada dyrektor) można przygotować dane do analiz jednorocznych wskaźników EWD. Właściwa interpretacja uzyskanych informacji pozwoli na racjonalizację wniosków niezbędnych do planowania i modyfikowania działań związanych z doskonaleniem procesów edukacyjnych oraz podniesieniem efektywności pracy szkoły. Kalkulator EWD 100 jest rozszerzeniem i bezpośrednim następcą Kalkulatora EWD Plus. Podstawowe zmiany: zastosowanie skali 100/15, zarówno w przypadku wyników na sprawdzianie, jak i wyników egzaminu gimnazjalnego; Konsekwencją zastosowania skali 100/15 jest możliwość porównania wyników między latami oraz uwzględnienia w modelach uczniów o wydłużonym toku kształcenia; w module maturalnym również zastosowano skalę 100/15, na której przedstawiono wyniki egzaminu gimnazjalnego w części matematycznoprzyrodniczej oraz wyniki z matematyki maturalnej (poziom podstawowy). Skala 100/15. Wyniki i analizy są przedstawiane na standardowej skali, o średnim wyniku 100 i odchyleniu standardowym 15. Obsługa nowej formuły egzaminu gimnazjalnego. W Kalkulatorze EWD 100 można wyliczyć wskaźniki, odpowiadające czterem arkuszom gimnazjalnym: GH-P, GH-H, GM-M, GM-P oraz wskaźniki złożone dla części humanistycznej (GH) oraz matematyczno-przyrodniczej (GMP). Złożone wskaźniki pozwalają porównywać wyniki z wcześniejszymi rocznikami (2009, 2010 i 2011). Nowa struktura danych. Dane importowane do Kalkulatora są dzielone na szkoły, roczniki i klasy; dzięki temu można przeprowadzać bardziej elastyczny podział na grupy uczniowskie (grupowanie, filtry, dodatkowe cechy zdefiniowane przez użytkownika). Model jednorocznej EWD uwzględniający uczniów drugorocznych. W kalkulatorze zaimplementowane są modele jednorocznej EWD dla gimnazjów na skali 100/15 za lata 2009, 2010, 2011, 2012, 2013 uwzględniające uczniów drugorocznych. Porównywanie między latami. Kalkulator pozwala na porównywanie danych między różnymi latami, z jednej bądź kilku szkół. Nowe rodzaje wykresów. Oprócz analiz znanych z poprzedniego Kalkulatora, dostępne są nowe wykresy: Rozkład wyników, Rozkład wyników przewidywanych oraz Rozkład potencjałów, a od wersji 1.2 także Średnie wyniki oraz Krzywe przewidywanego wyniku Od wersji 1.1 - moduł maturalny. Możliwe jest analizowanie wyników maturalnych z matematyki (poziom podstawowy). Zaimplementowane są modele jednorocznej EWD na skali 100/15 za lata 2010, 2011, 2012 uwzględniające uczniów drugorocznych. Modele gimnazjalne dla roku 2013 Możliwość eksportu danych do pliku .csv Możliwość tworzenia nowych analiz z już istniejących analiz Możliwość doimportowania danych do już istniejącego projektu Pomoc kontekstowa w postaci odnośników do stron informacyjnych dotyczących poszczególnych analiz Możliwość przeciągnięcia analizy z aplikacji bezpośrednio do otwartego dokumentu typu Word albo PowerPoint Aplikacja pomaga weryfikować poprawność importu Kombinacja przycisków Ctrl+S zapisuje projekt Automatyczny zapis projektu wraz z możliwością odzyskania pracy przy nagłym zamknięciu się aplikacji Nowy wykres krzywych przewidywanego wyniku Nowy wykres średnich wyników przedstawionych w przedziałach ufności Możliwość rysowania różnych krzywych przewidywanego wyniku na wykresie rozrzutu Możliwość zmiany skali wykresu korzystając z kombinacji przycisku Ctrl i kółka myszy Przybliżanie wykresów jest możliwe za pomocą kółka myszy lub poprzez wciśnięcie lewego przycisku Ctrl wraz z zaznaczeniem części wykresu Możliwość wybrania skróconych opisów serii danych w analizach Możliwość włączania/wyłączania filtrów dodanych do analizy Możliwość edycji stworzonych filtrów Możliwość łączenia filtrów zależnością „lub” Możliwość zmiany kolejności wskaźników w tabeli Dodanie wskaźnika MMA-P procentowego w tabeli Możliwość ręcznego wykonania aktualizacji Możliwość otwarcia projektu z listy „Ostatnio otwarte projekty” w dowolnym momencie korzystania z aplikacji Modele maturalne dla roku 2013 Kalkulator EWD SP jest przeznaczony do wykonywania analiz wyników sprawdzianu po VI klasie szkoły podstawowej z wykorzystaniem wskaźników edukacyjnej wartości dodanej (EWD). Wskaźniki EWD dla szkoły podstawowej zostały zbudowane na wynikach Ogólnopolskiego Badania Umiejętności Trzecioklasistów (OBUT) oraz wynikach sprawdzianu. Analiza wyników sprawdzianu przeprowadzana jest poprzez tworzenie wykresów różnego typu dla różnych grup uczniowskich. Poniżej zostały podane podstawowe informacje o dostępnych w kalkulatorze wykresach. Wyniki przewidywane Porównanie rozkładu wyników przewidywanych z modelu EWD oraz rozkładu wyników faktycznie uzyskanych przez uczniów na sprawdzianie pozwala oszacować wskaźnik EWD. Różnica średniej w rozkładzie wyników rzeczywistych i średniej w rozkładzie wyników przewidywanych jest równa wskaźnikowi EWD dla rozpatrywanej grupy uczniów. Wskaźniki EWD Podstawowy wykres wykorzystywany przy analizach z wykorzystaniem wskaźników EWD. EWD dla danej grupy uczniów jest prezentowane wraz z przedziałem ufności, który obrazuje niepewność pomiarową. W kalkulatorze EWD SP zastosowano 90% przedziały ufności. Przedziały ufności pozwalają na statystycznie poprawne porównywanie EWD dla grup uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są rozłączne. Średnie wyniki Średnie wyniki sprawdzianu i testu OBUT prezentowane są z 90% przedziałami ufności. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie średnich wyników dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na średnie wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne. Uprzednie osiągnięcia Uprzednie osiągnięcia to wyniki uczniów na poprzednim etapie kształcenia. W kalkulatorze EWD SP uprzednie osiągnięcia to wyniki na teście OBUT. Wyniki z poprzedniego etapu kształcenia są dobrym prognostykiem wyników na egzaminie końcowym, zatem jest miarą potencjału edukacyjnego na wejściu. Osiągnięcia niskie – wyniki poniżej 88,75 na skali 100/15; osiągnięcia wysokie – wyniki powyżej 111,25 na skali 100/15. Osiągnięcia średnie – wyniki w przedziale od 88,75 do 111,25 na standardowej skali 100/15. Wykres skumulowany kolumnowy pozwala określić procentowy udział uczniów o określonym przedziale wyników „na wejściu” w analizowanej grupie uczniowskiej. Rozkład wyników Rozkład wyników testu (sprawdzian, OBUT) wyrażonych na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego. Wykres rozrzutu Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku na teście OBUT (wyrażona na skali 100/15) oraz na sprawdzianie po VI klasie (wyrażona na skali 100/15). Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest również linia przewidywanego wyniku dla danego roku (dla chłopców bez dysleksji). Odległość punktu (wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie. Rozkład reszt Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy uczniów. Krzywe przewidywanego wyniku Podstawową krzywą wyznaczaną w modelu EWD jest krzywa dla chłopców bez dysleksji (odpowiada to zerowym wartościom zmiennych kontrolnych płeć i dysleksja). Jednak po uwzględnieniu tych zmiennych otrzymujemy nowe krzywe przewidywanych wyników – dla chłopców z dysleksją, dla dziewcząt bez dysleksji, dla dziewcząt z dysleksją. Panel analiz „Krzywe przewidywanego wyniku” pozwala śledzić wzajemne położenie krzywych w danym roku oraz w wybranych latach. Dane przechowywane są w kalkulatorze w określonej strukturze: podstawową jednostką jest szkoła, która dzieli się na roczniki, a te z kolei na klasy. Analizy można wykonywać na każdym z tych zbiorów osobno. Można też łączyć między sobą klasy, roczniki. Można również wyodrębnić różne grupy uczniów według ich cech. Cechami ucznia są: kod ucznia płeć dysleksja potencjał na wejściu (określany na podstawie wyniku na egzaminie poprzedniego etapu kształcenia) oraz cechy zadane przez użytkownika. Wyniki analizujemy tworząc wykresy i/lub tabele, które w Kalkulatorze nazywamy Analizami. Analizy, razem z danymi są częścią pojedynczego projektu Kalkulatora. Aby narysować wykres/zbudować tabelę, należy wybrać z górnego menu opcję Dodaj analizę. Wykres rozrzutu pozwala na jednym wykresie zobaczyć wynik ucznia na egzaminie poprzedniego etapu kształcenia i na egzaminie końcowym. Krzywa przewidywanego wyniku, wyrysowana dla całej populacji zdających, odpowiada określonemu rocznikowi. Pomoc on line: http://www.youtube.com/watch?v=6QsblssvqEM&list=PLBTJQXcbB Fqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=1 Wskaźniki EWD wraz z przedziałami ufności pozwalają porównać ze względu na EWD różne grupy uczniów. Podział na grupy można wykonać poprzez grupowanie oraz filtry. Pomoc on line: http://www.youtube.com/watch?v=XUYI8MG1vXw&list=PLBTJ QXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=2 Średnie wyniki egzaminacyjne wraz z przedziałami ufności pozwalają statystycznie poprawnie porównywać średnie wyniki dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na średnie wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne. Pomoc on line: http://www.youtube.com/watch?v=VE87fRcnwvE&list=PLBTJQXcbBFqb5OZ8 js1ewVWtLtRnzVPHN&feature=share&index=5 Rozkłady potencjałów pozwalają porównywać między sobą grupy uczniów ze względu na potencjał uczniowski na wejściu ustalony na podstawie wyników na egzaminie poprzedniego etapu kształcenia. potencjał niski (poniżej 88,75 punktów), potencjał średni (od 88,75 do 111,25 punktów), potencjał wysoki (powyżej 111,25 punktów). Pomoc on line: http://www.youtube.com/watch?v=4WJ6Xp5O51o&list=PLBTJQXcb BFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=6 Rozkład wyników przewidywanych i rzeczywiście uzyskanych jest inną formą ilustracji pojęcia edukacyjnej wartości dodanej i pokazuje o ile punktów szkole udało się „przesunąć” przeciętnego ucznia w stosunku do wyniku przewidywanego. Pomoc on line: http://www.youtube.com/watch?v=6OliMZE1a2U&list=PLBTJQX cbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=7 Rozkłady reszt pozwalają m.in. porównać zróżnicowanie reszt w szkole z rozkładem krajowym. Pomoc on line: http://www.youtube.com/watch?v=wKoaY1l4Qg&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=s hare&index=3 Tabele udostępniają wiele wskaźników liczbowych, dotyczących zarówno EWD jak i wyników egzaminacyjnych. Pomoc on line: http://www.youtube.com/watch?v=Nc99jAJHoJ0&feature= share&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN &index=4 Tabele udostępniają wiele wskaźników liczbowych, dotyczących zarówno EWD jak i wyników egzaminacyjnych. Krzywe przewidywanego wyniku - ten panel pozwala śledzić wzajemne położenie krzywych w danym roku oraz w wybranych latach. Dodawanie nowej cechy: Pomoc on line: http://www.youtube.com/watch?v=eU97yfZf7OY&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature= share&index=9 Grupowanie i filtrowanie: Pomoc on line: http://www.youtube.com/watch?v=En81o8B4Lm4&feature=share&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPH N&index=8 Po skończonej pracy, można zapisać swój projekt jako plik *.ewdx. Jest to specjalny format plików Kalkulatora. Otwierając pliki *.ewdx w Kalkulatorze można w dowolnym czasie wrócić do swoich danych i analiz. Szkoły podstawowe W tym roku po raz pierwszy został opracowany model EWD dla II etapu edukacyjnego dla szkół podstawowych, biorących udział w badaniu OBUT w 2011 roku. Model został zaimplementowany do kalkulatora EWD SP. Kalkulator EWD SP wraz z filmami instruktażowymi i broszurą szkoleniową jest dostępny na stronie internetowej od 30.08. 2014 r. Gimnazja Model jednorocznej EWD dla gimnazjów został zaimplementowany w wersji 1.2.6 kalkulatora EWD 100 i opublikowany 25.08.2014 r. Obecna wersja kalkulatora EWD 100 (1.2.8), dostępna na stronie internetowej zawiera ponadto możliwość wykonywania analiz na wynikach sprawdzianu z lat 2012-2014, czyli dla obecnych uczniów klas I, II i III gimnazjów (roczniki gimnazjalne 2015, 2016, 2017 odpowiednio). Gimnazja (c.d.) Trzyletnie wskaźniki EWD 2012-2014 dla gimnazjów zostały opublikowane 17.10.2014, w nowej szacie graficznej i są dostępne dla ponad 6 tys. gimnazjów w Polsce na stronie internetowej. Obok wskaźnika humanistycznego i matematycznoprzyrodniczego, które są publikowane od okresu trzyletniego 2006-2008, w tym roku, po trzech latach funkcjonowania egzaminu gimnazjalnego w nowej formule, zostały opublikowane również trzyletnie przedmiotowe wskaźniki EWD: z j. polskiego, historii i WOS, z przedmiotów przyrodniczych i matematyki. Licea ogólnokształcące i technika Model jednorocznej EWD dla maturalnej matematyki został w tym roku gruntownie zmodyfikowany. Model obejmuje teraz zarówno wyniki uczniów z matematyki podstawowej, jak i z matematyki rozszerzonej. Jednoroczny wskaźnik EWD matematyczny jest teraz informacją o efektywności nauczania matematyki, a nie tylko matematyki podstawowej, jak to było poprzednio. Licea ogólnokształcące i technika Odpowiednie modyfikacje modeli, także dla lat poprzednich, wprowadzono do kalkulatora EWD 100, w wersji 1.2.8, która jest dostępna na stronie internetowej od 27 listopada 2014. Trzyletnie wskaźniki EWD 2012-2014 dla liceów ogólnokształcących i techników zostały opublikowane 2 grudnia 2014, w nowej szacie graficznej. Wskaźniki dla ponad 4 tysięcy liceów ogólnokształcących i techników, są dostępne na stronie internetowej. Strona Instytutu Badań Edukacyjnych – badania i publikacje zespołu projektowego EWD http://ewd.edu.pl EWD-I Trzyletnie wskaźniki EWD http://www.youtube.com/watch?v=oXJG5YjYo5c&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXCfr C-h&feature=share EWD-II Jednoroczne wskaźniki EWD http://www.youtube.com/watch?v=yUuWNKTDKLo&feature=share&list=PLBTJQXcbBFqbmJnk LZYuDMIMeXXCfrC-h&index=1 EWD-III Refleksja nauczycielska http://www.youtube.com/watch?v=NKV14e_MUT0&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXC frC-h&feature=share&index=2 EWD-IV Gdzie szukać informacji? http://www.youtube.com/watch?v=IY7SXjqykjQ&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXCfrC -h&feature=share&index=3 Screencasty autorzy: Zespół EWD -10 filmów o łącznym czasie wyświetlania 41 minut (5 674 wyświetlenia); http://ewd.edu.pl/lista-filmow https://www.youtube.com/playlist?list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN Bibliografia: 1. Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie wyników egzaminów zewnętrznych. pod red. Dolaty R., wyd. CKE, Warszawa 2007 2. Dolata R., Hawrot A., Humenny G., Jasińska A., Koniewski M., Majkut P., Żółtak T.: Trafność metody edukacyjnej wartości dodanej dla gimnazjów, IBE, Warszawa 2013 http://ewd.edu.pl//badaniagimnazja/Trafnosc_EWD_gim.pdf 3. Jasińska A., Humenny G., Humenny L.: Wykorzystanie przez szkoły metody edukacyjnej wartości dodanej. Wyniki badania ilościowego”. Raport IBE, Warszawa 2013 http://ewd.edu.pl/wykorzystanie_ewd/wykorzystanie_CATI.pdf 4. Kędracka E., Matuszczak K., Rappe A., Stożek E.: Badanie na temat wykorzystania edukacyjnej wartości dodanej (EWD) przez szkoły ponadgimnazjalne, Raport IBE, Warszawa 2013 http://ewd.edu.pl/wykorzystanie_ewd/Wykorzystanie_ponadgimnazjalne.pdf Bibliografia: 5. Kędracka E.: Efekty uczenia się – w centrum uwagi w: MERITUM, Warszawa; http://meritum.mscdn.pl/meritum/moduly/egzempl/18/18_2_abc.pdf 6. MacBeath J., Schratz M., Meuret D., Jakobsen L.: Czy nasza szkoła jest dobra?, WSiP., Warszawa 2003 7. Senge P.M.: Piąta dyscyplina. Teoria i praktyka organizacji uczących się, Dom Wydawniczy ABC, Warszawa 1998 (wyd. II 2000) 8. Szmigel M. K., Planowanie rozwoju szkoły z wykorzystaniem trzyletnich wskaźników egzaminacyjnych; XVI Konferencja Diagnostyki Edukacyjnej, Toruń 2010, http://www.ptde.org/file.php/1/Archiwum/XVI_KDE/szmigel.pdf Dziękuję za uwagę