Transcript Якість освіти

ФОРМУВАННЯ ВИБІРКИ ПРИ
ПРОВЕДЕННІ МОНІТОРИНГОВИХ
ДОСЛІДЖЕНЬ ДЛЯ ОЦІНКИ ЯКОСТІ
ОСВІТИ
Раков Сергій1, Мазорчук Марія2, Бондаренко Олена2
1Головний
редактор журналу “Вісник. Тестування і моніторинг в освіті”
2 Національний аерокосмічний університет ім. М.Є. Жуковського
«Харківський авіаційний інститут»
Поняття «якість» та «якість
освіти»
• З позиції Світового інституту стандартів, якість - це
сукупність характеристик об'єкту, які відносяться до
його здатності задовольняти встановлені потреби
особистості, спільноти, держави.
• Якість освіти – це ступень відповідності досягнутого
заданого рівня підготовки учня, що пов'язано з
формуванням визначених знань, умінь та навичок.
• Ми можемо оцінити лише результативність та
ефективність процесу навчання, але не можемо
отримати абсолютні показники якості освіти, оскільки
на процес навчання впливають безліч зовнішніх та
внутрішніх чинників.
Якість освіти
Якість освіти
Якість об'єктів освіти
Якість суб'єктів освіти
Якість процесів освіти
(організаційного та ресурсного
забезпечення)
Одержання достовірного показника якості освіти залежить від методики
проведення дослідження та дотримання певних правил, що суттєво може
вплинути на кінцевий результат та подальші дії.
Моніторинг якості освіти – це комплекс наукових, технічних, технологічних,
організаційних та інших засобів, які забезпечують систематичний контроль
(стеження) за станом та тенденціями розвитку освітніх процесів на
регіональному рівні, рівні країни та світу.
Моніторинг якості освіти в України здійснюється згідно Постанови
Кабінету Міністрів України від 14 грудня 2011 р. N 1283 «Про затвердження
Порядку проведення моніторингу та оцінки якості освіти»
Проблема формування
вибіркової сукупності
• При проведенні моніторингових досліджень
часто застосовують вибіркові методи.
• В умовах певних вимог щодо організації,
адміністрування та фінансуванні
моніторингового дослідження використання
випадкової вибірки може приводити до
великих похибок оцінювань або
неприпустимо великих витрат дослідження.
• Основним принципом формування вибірки
моніторингового дослідження є забезпечення
рівної ймовірності попадання учнів у
вибірку.
Мета та завдання дослідження
Мета – розробка методу формування вибіркової
популяції при проведенні моніторингових досліджень
для оцінки якості підготовки учнів початкової школи в
Україні з мінімальними витратами при заданій похибці
оцінювання.
Завдання:
• Проаналізувати існуючи методи формування вибірки та
світовий досвід в проведенні моніторингових досліджень
якості освіти.
• Розробити методику формування вибіркової сукупності для
оцінки якості підготовки учнів початкової школи в Україні.
• Оцінити похибки та витрати на проведення моніторингового
дослідження.
• Розробити інформаційну систему для визначення обсягу
вибірки та відбору об'єктів, які повинні попасти у вибірку.
Основні визначення
• Генеральна сукупність (генеральна популяція) - це
сукупність всіх елементів, що складають об'єкт
дослідження.
• Вибіркова сукупність (вибірка) - це частина
генеральної сукупності, що відображає ті чи інші її
властивості, які важливі з точки зору мети і завдань
дослідження.
• Вибірка повинна бути репрезентативною –
відображати властивості генеральної сукупності!
• Поняття «генеральної» та «вибіркової» сукупності відносні. Вони визначаються метою дослідження!
Аналіз методів формування вибірок
моніторингового дослідження
Основні способи формування вибірок:
1. Власне випадкова вибірка – добір елементів
до якої здійснюється за допомогою таблиць
чи генератора випадкових чисел.
2. Систематична (механічна) вибірка - всі елементи генеральної
сукупності упорядковуються у певний спосіб, після чого вибираються
параметри систематичної вибірки (кількість елементів, початковий
елемент і крок вибірки):
n (розмір систематичної вибірки) - обирається із міркувань
забезпечення заданої похибки дослідження;
k (крок систематичної вибірки) обчислюється як неповна частка від
ділення обсягу генеральної сукупності на розмір вибірки
a 1 (початковий елемент систематичної вибірки) - визначають як
випадкове число з першого інтервалу генеральної сукупності.
Аналіз методів формування вибірок
моніторингового дослідження
Основні способи формування вибірок:
1. Стратифікована (розшарована, районована) – генеральну
сукупність попередньо за певною ознакою поділяють на ℎ страт
(ℎ = 1,2, … , 𝐿) і у кожній страті відбирають 𝑛ℎ одиниць за різними
способами (випадково, рівномірно, пропорційне обсягу страт чи
за інших певних умов).
2. Серійна (гніздова) – одиницею основи вибірки є серія одиниць,
які пов’язані або територіально (райони, селища), або
організаційно (тип навчального закладу); дібрану серію
розглядають як одне ціле, обстеженню підлягають усі без винятку
елементи серії.
Аналіз методів формування вибірок
моніторингового дослідження
Основні способи формування вибірок:
Для формування
репрезентативної вибірки
доцільно застосовувати
багатоступеневий
(багатофазний,
комбінований) добір,
який полягає у тому, що на
кожній ступені має місце своя
основа вибірки і спосіб добору
або для різних ознак з єдиної
основи формуються вибірки
різного обсягу.
Аналіз методів формування вибірок
моніторингового дослідження
TIMSS and PIRLS стратифікований двофазний кластерний метод
формування вибірки
1 ФАЗА: формування вибірки
шкіл
ПЕРШИЙ КРОК:
обчислення інтервалу
вибірки
ДРУГИЙ КРОК: генерування
випадкового початку вибірки
ТРЕТІЙ КРОК: визначення
наступної ШКОЛИ у вибірці
(повторювати, поки усі
школи не були відібрані для
вибірки)
ЧЕТВЕРТИЙ КРОК:
визначення резервних шкіл
2 ФАЗА: вибірка класів з
кожної добраної школи
Метод формування вибіркової
популяції для проведення
моніторингового дослідження в Україні
серед учнів 4-х класів
Для проведення моніторингового дослідження якості освіти
початкової
школи
серед
українських
шкіл
пропонується
використовувати багатоступеневу вибірку з двома ступенями
формування вибірки.
Сукупність 𝑁 усіх учнів країни
ділимо за територіальним принципом,
тобто за областями (𝐿 = 26).
З кожної з 𝐿-ї страти (кожної області) у
вибірку добираємо однакову кількість
шкіл (за випадковим систематичним
способом відбору). За основу
систематичної вибірки беремо кількість
учнів 𝑁ℎ𝑚 , які навчаються у школі, де
𝑚 = 1,2, … , 𝑀,
𝑀 – кількість шкіл у страті (𝑀 ≈ 800).
26
𝑁=
𝑁ℎ .
ℎ=1
𝑀
𝑁ℎ𝑚
𝑁ℎ =
Обсяг вибірки визначається при заданому рівні
стандартної похибки вибірки 5% та рівня
надійності 95%
𝑁 ≈400000 учнів=
=20000 шкіл
𝑁ℎ ≈16000 учнів=
=800 шкіл
𝑚=1
𝑛ℎ
𝑁ℎ𝑚 ≈400 учнів=
=20 шкіл
Перша
ступень
відбору
Метод формування вибіркової популяції
для проведення моніторингового
дослідження в Україні серед учнів 4-х
класів
Загальний обсяг вибірки буде дорівнювати
𝑛 ≈400 учнів*26 областей = 10400 учнів
Друга
ступень
відбору
ВІДБІР КЛАСІВ З КОЖНОЇ ШКОЛИ. Для
відбору слід застосовувати такий механізм,
який буде відокремлений від будь-яких осіб
і особистих рішень (інакше буде
спотворено головний принцип рівної 𝑁ℎ𝑚
ймовірності попадання у вибірку будьякого учня (найімовірніше це буде
найкращий клас у школі)). Доцільно
використовувати стратифікований відбір
на основі аналізу даних про вчителів,
програми підготовки чи інших
факторів.
𝑛ℎ𝑚
Оцінка точності вибіркових оцінок
1) Стандартна похибка вибірки 𝑠𝑥 (𝜎𝑝 ) – відображає порядок величини
можливого відхилення оцінок від значення параметрів генеральній
сукупності.
Для визначення стандартної похибки вибірки 𝑠ℎ за усіма ℎ областями
(ℎ = 1,2, … , 𝐿, де 𝐿 = 26), використовують формулу для розшарованої
вибірки з рівномірним розміщенням (кількість шкіл 𝑛з кожної області
береться однакова):
𝑠𝑥 =
𝐿
𝑛
𝑁ℎ 2 2
𝐿
𝑠ℎ
ℎ=1 𝑁
1−
𝑛
𝐿𝑁ℎ
,
де 𝑠ℎ – стандартна середнє квадратичне значення головної ознаки
кожного шара (області) – у нашому випадку головною ознакою є
кількість учнів, що навчаються у 4-му класі; 𝑁ℎ - обсяг генеральної
популяції учнів 4-го класу у кожній області. Якщо відома стандартна
похибка вибірки 𝑠𝑥 для усіх областей, то можна визначити обсяг
вибіркової популяції для кожної області, виразив 𝑛 з формули.
Оцінка точності вибіркових оцінок
2) Гранична похибка вибірки 𝑒𝑥 (𝑒𝑝 ) – це максимальне можливе
відхилення від значення параметрів генеральній сукупності для
взятого рівня ймовірності.
3) Відносна стандартна похибка 𝑉𝑥 – відображає порядок можливого
відхилення оцінок від величини відповідного параметра.
4) Відносна гранична похибка вибірки 𝑒𝑥𝑟 – відображає, на скільки
відсотків оцінки можуть максимально відхиляються від значення
параметрів генеральній сукупності при заданому значенні довірчої
ймовірності.
Визначення обсягу вибірки на основі показників точності вибіркових
оцінок є механічною процедурою, оскільки усі показники точності
базуються на розрахунку стандартної похибки вибірки!
Оцінка точності вибіркових оцінок
Якщо при формуванні вибірки застосовують кілька
ступенів поділу сукупності на шари, то для розрахунку
стандартної похибки слід застосовувати формулу, яка
враховує похибки на усіх ступенях:
𝑠𝑥 =
2
2
𝑠
𝑠
𝑠2 + +
𝑛1 𝑛1 𝑛2
де 𝑛1 , 𝑛2 – обсяг вибірки на відповідному ступені добору.
Висновки
• В дослідженні проаналізовано основні методи
формування вибіркових популяцій
• Для формування вибірки для проведення
моніторингу якості освіти початкових шкіл
розроблено метод та визначено обсяг
вибірки.
• Сформована вибірка відповідає заданим
вимогам точності та достовірності, а також
дозволяє скоротити витрати на проведення
моніторингових досліджень: проведення
дослідження на вибірці 10 тис. учнів значно
дешевше ніж на повному обсягу популяції 400
тис. учнів.
Висновки
• Обсяг вибірки може бути значно більший,
якщо збільшити кількість шарів, на які будемо
поділяти генеральну сукупність, тобто якщо
окрім розміру школи брати до уваги інші
фактори (стать, тип навчального закладу,
місце розташування, тощо).
• Головна задача – це забезпечення
правильної організації вибіркового
дослідження, щоб кожний учень мав рівну
ймовірністьпопасти до вибірки!
Дякую за увагу!