Transcript Система моніторингу якості вступу до ВНЗ України на

Система моніторингу
якості вступу до ВНЗ
на основі ЗНО
Болюбаш Я.Я.
Ковтунець В.В.
Раков С.А.
Гудзинський В.Є.
Кизилов О.І.
Розробка та запровадження системи ЗНО для
конкурсного відбору студентів до ВНЗ
2001–2006 рр. – розробка національної системи ЗНО
2007 р. – випробувальний запуск ЗНО в частині регіонів
з прийомом за його результатами в частині університетів
2008 р. – проведення прийому за результатами ЗНО
в загальнодержавному масштабі
– до трьох предметів
– без іноземних мов
– квота ВНЗ на прийом випускників підготовчих відділень та
асоційованих ЗНО (п. 15 Умов прийому)
– ІС Конкурс – лише статистичні дані
2009 р. – проведення прийому за результатами ЗНО
в загальнодержавному масштабі без винятків
– до п’яти предметів
ІС Конкурс – рейтингові списки
Показники якості
системи вступу до ВНЗ на основі ЗНО
Система вступу до ВНЗ є інструментом управління
найголовнішим ресурсом країни – інтелектуальним
ресурсом у процесі переходу суспільства до суспільства
сталого розвитку.
Якщо країна не контролює показники якості системи вступу до
ВНЗ, то така система розвивається спонтанно і ситуаційно.
Критерії якості системи вступу
Дотримання Конституції України –
забезпечення СПРАВЕДЛИВОГО доступу
до якісної вищої освіти на конкурсних
засадах
ЕФЕКТИВНІСТЬ – забезпечення відбору
до ВНЗ осіб, здатних успішно навчатися за
певним напрямом
Громадське сприйняття – наскільки
запроваджена система вступу до ВНЗ на
основі ЗНО задовольняє попит суспільства
до системи вступу до ВНЗ
Справедливість
Частка тих, хто зміг реалізувати наміри
щодо вступу до ВНЗ:
– по державі в цілому
– за соціальними групами
по регіонах
за навчальними закладами
за гендерною ознакою
інші
Міра відхилення:
– по державі в цілому – окремі соціальні
групи
Успішність вступу до ВНЗ
на основі ЗНО
– загальнодержавна успішність вступу
(частка зарахованих до ВНЗ від загальної кількості бажаючих
вступити до ВНЗ)
– успішність вступу для соціальної
групи (частка зарахованих до ВНЗ у певній
соціальній групі від загальної кількості бажаючих
вступити до ВНЗ у цій соціальній групі)
Чим менше відхилення успішності вступу до ВНЗ для різних
соціально значимих груп від загальнодержавного рівня
успішності вступу, тим система вступу до ВНЗ є більш справедливою
у забезпеченні рівного доступу до вищої освіти.
Успішність вступу до ВНЗ
на основі ЗНО (приклади)
- Загальнодержавна успішність вступу до ВНЗ
у 2009 році дорівнює
57,304%
(частка зарахованих до ВНЗ від загальної кількості бажаючих вступити до ВНЗ (що
проходили ЗНО))
Гендерна успішність вступу до ВНЗ у 2009 році складає:
• для жінок 60,458%
• для чоловіків 53,519%
(частка зарахованих до ВНЗ у певній соціальній групі від загальної кількості бажаючих
вступити до ВНЗ у цій соціальній групі)
Справедливість системи вступу до ВНЗ
на основі ЗНО
Справедливість системи вступу до ВНЗ
для певної соціальної групи – відхилення
успішності вступу до ВНЗ для цієї соціальної
групи від загальнодержавного рівня
успішності
Гендерна справедливість вступу до ВНЗ у 2009 році
складає:
• для жінок +5,505%
• для чоловіків -6,605%
(відхилення успішності жінок та чоловіків при вступу до ВНЗ у 2009 році від
загальнодержавного рівня успішності цій соціальній групі)
ЕФЕКТИВНІСТЬ
Зв'язок між результатами навчання та
результатами ЗНО
БАЖАНО:
КРАЩЕ НАВЧАЄТЬСЯ ТОЙ, ХТО МАЄ ВИЩІ
РЕЗУЛЬТАТИ ЗНО.
Ступінь зв’язку вимірюється коефіцієнтом
кореляції між двома величинами.
Середній
бал іспитів
у ВНЗ
Приклад. Кореляція позитивна –
зв’язок позитивний (0<k<1).
5
200
Середній бал ЗНО
для вступу до ВНЗ
Середній
бал іспитів
у ВНЗ
Приклад. Кореляція негативна –
зв’язок негативний (0>k>-1).
5
200
Середній бал ЗНО
для вступу до ВНЗ
Середній
бал іспитів
у ВНЗ
Приклад. Кореляція нульова – зв’язок
відсутній (k=0).
5
200
Середній бал ЗНО
для вступу до ВНЗ
Ефективність
Кореляція між ЗНО та результатами
навчання
Кореляція між ЗНО+середній бал
атестата та результатами навчання
Кореляційні зв’язки між предметами та
групами предметів
Ефективність диференційна
ДЛЯ СПОРІДНЕНИХ НАПРЯМКІВ, ДЛЯ
РЕГІОНІВ, ДЛЯ ПЕВНИХ КАТЕГОРІЙ
СТУДЕНТІВ:
Кореляція між ЗНО та результатами
навчання
Кореляція між ЗНО + середній бал атестата
та результатами навчання
Кореляційні зв’язки між предметами та
групами предметів
Результати дослідження
ефективності
Виявлення недоліків оцінювання:
– ЗНО
– у школі
– у ВНЗ
Пошук для ВНЗ оптимальних моделей
конкурсного відбору студентів за
результатами ЗНО
Результати дослідження ефективності
Виявлення недоліків оцінювання:
– ЗНО
– у школі
– у ВНЗ
Результати дослідження ефективності
Пошук для ВНЗ оптимальних моделей
конкурсного відбору студентів за результатами
ЗНО
ПРИКЛАД
Кореляція ЗНО-2008 та результатів навчання
для технічних напрямів дорівнює 0,37.
Якщо конкурсний бал рахувати за зваженою
формулою
Бал = 0,25 Укр. Мова +0,25 Матем. + 0,5 Фізика,
то кореляція складатиме 0,46.
Експертна та громадська думка
ФОКУСНІ ГРУПИ СОЦІОЛОГІЧНОГО
ДОСЛІДЖЕННЯ:
Вчителі
Викладачі ВНЗ
Студенти
Випускники ЗНЗ
ОЦІНКА СТАВЛЕННЯ ДО СИСТЕМИ В ЦІЛОМУ
ПО ДЕРЖАВІ
Експертна та громадська думка
НАПРЯМИ СОЦІОЛОГІЧНОГО ДОСЛІДЖЕННЯ:
Рівень інформованості про ЗНО
Оцінка тестових завдань ЗНО
Оцінка української моделі ЗНО
Довіра до ЗНО та його результатів
ТЕХНОЛОГІЯ
База даних
ІС Конкурс
База даних
УЦОЯО
БАЗА ДАНИХ ДОСЛІДЖЕННЯ
Відомості з ВНЗ
Відомості
з ВНЗ
Про
результати
Відомості
із ВНЗ
Про
результати
навчання
про
результати
навчання
навчання
ТЕХНОЛОГІЯ
Збір даних від ВНЗ про результати навчання студентів
через Інтернет-систему, аналогічну системі “Конкурс”
ІС ВНЗ
ІС ВНЗ
ІС ВНЗ
Інтернет
ІС ВНЗ
Підсистема
ІС конкурс
Звіт за проектом
“Якість системи
вступу до ВНЗ
на основі ЗНО”
Ефективність системи вступу до ВНЗ
на основі ЗНО
База даних дослідження ефективності отримана в результаті
інтеграції даних БД “Результати навчання на 1-му курсі
навчання у ВНЗ у 2008–2009 навчальному році”, наданих ВНЗ
(25 ВНЗ із 70, яким було запропоновано участь
у дослідженні),
та БД УЦОЯО “ЗНО-2008”.
Для збору даних ВНЗ було використано систему збору даних,
відпрацьовану в системі “Вступ”.
Загальна кількість записів БД – 22 500.
и
Ек
он
ом
ан
іт
ар
ні
М
ед
иц
ин
а
П
ра
во
пр
ав
о,
ек
он
ом
ік
а
Гу
м
ід
но
си
ни
,
оц
іа
ль
ні
на
ук
на
ук
и
св
іта
ан
ня
М
ис
те
цт
во
ен
ер
ні
Ф
із
ви
хо
в
Ін
ж
О
на
ук
іка
и
,м
ен
ед
жм
ен
Ін
П
ри
ф
т
ор
ро
м
дн
ат
ич
ик
ін
а,
ау
ко
ки
м
п’
ю
те
рн
ін
ау
ки
М
іж
на
ро
дн
ів
C
За
га
ло
м
Ефективність системи вступу до ВНЗ на основі ЗНО
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
Ефективність системи вступу до ВНЗ на основі ЗНО і вплив
середнього бала атестата (2008 рік)
Ефективність системи вступу до ВНЗ
на основі ЗНО
Ефективність системи вступу до ВНЗ
на основі ЗНО (висновки)
1. Система вступу до ВНЗ на основі ЗНО є ефективною —
коефіцієнти кореляції балів ЗНО високо прогнозують
успішність навчання студентів на першому курсі ВНЗ (r =
= 0,52).
2. Запропонований моніторинг ефективності системи вступу
дозволяє:
Аналізувати стан системи вступу і відпрацьовувати
напрями її вдосконалення (для інституцій управління
освітою (МОНУ, НАПНУ, регіональним управлінням
освіти)
Знаходити «формулу» ефективного відбору за
напрямками підготовки у ВНЗ.
Справедливість системи вступу до ВНЗ
на основі ЗНО
База даних дослідження справедливості отримана
в результаті доповнення даних БД УЦОЯО “ЗНО-2009”
даними про зарахування до ВНЗ (за протоколами ВНЗ).
Загальна кількість записів БД – 460 000.
БД містить неперсоніфіковану інформацію про учасників ЗНО
(є анонімною)
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009
Справедливість системи вступу до ВНЗ
на основі ЗНО-2009 (висновки)
1. Запропоновано об'єктивний кількісний показник справедливості системи
вступу до ВНЗ (рівного доступу до якісної освіти).
2. Запропоновані значущі категорії вступників, для яких доцільно
здійснювати моніторинг.
3. Отримані кількісні показники справедливості системи вступу до ВНЗ на
основі повної БД вступників ВНЗ 2009 року (для більшості значущих
категорій цей показник знаходиться на рівні 20% або менше).
4. На особливу увагу заслуговують випускники ЗНЗ минулих років – для
них цей показник складає – 34%.
5. Доцільно провести обговорення і визначити рівні допустимості
відхилення показника справедливості від загальноукраїнського
значення.
6. Запропонований моніторинг ефективності системи вступу дозволяє
аналізувати стан справедливості системи вступу та проводити її
модернізацію.
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
Об’єктом дослідження виступали 4 цільові групи:
1. Керівники та викладачі загальноосвітніх навчальних закладів
(далі за текстом — працівники ЗНЗ).
2. Керівники та викладачі вищих навчальних закладів
(далі за текстом — працівники ВНЗ).
3. Випускники 2010 року загальноосвітніх навчальних закладів
(далі за текстом — учні ЗНЗ).
4. Студенти 2-го курсу вищих навчальних закладів
(далі за текстом — студенти ВНЗ).
Опитування проводилося за сприяння громадської організації «Опора».
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
СОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН
У суспільстві утверджується
позитивне ставлення до ЗНО,
довіра до його результатів
і переконання, що відбір студентів
на цих засадах став прозорішим
й об’єктивнішим.
Якість системи вступу до ВНЗ
на основі ЗНО
Загальні висновки
1. Проведене дослідження якості системи вступу до ВНЗ на основі ЗНО засвідчило
достатньо високий рівень її ефективності, справедливості та сприйняття суспільством.
2. Із метою оцінювання поточного стану системи вступу до ВНЗ на основі ЗНО
та відпрацювання ефективних напрямів її вдосконалення необхідно створити
національну систему моніторингу якості вступу до ВНЗ на основі ЗНО, для чого доцільно:
 Провести фахове обговорення та затвердити показники якості системи вступу
до ВНЗ на основі ЗНО для забезпечення зворотного зв'язку, безперервного
контролю цих показників при прийнятті управлінських рішень в галузі освіти.
 Провести фахове обговорення моделі системи моніторингу якості вступу до
ВНЗ на основі ЗНО.
 Створити систему збору, інтегрування, зберігання та обробки інформації,
яка стосується навчальних досягнень учнів у ЗНЗ, результатів ЗНО, успішності
навчання у ВНЗ.
 Забезпечити відповідний науковий рівень розвитку тестових технологій
для подальшого вдосконалення системи вступу до ВНЗ на основі ЗНО.
Якість системи вступу до ВНЗ
на основі ЗНО
Інформування суспільства та
інформаційні ресурси
• Кожен рік за результатами ЗНО Український центр
оцінювання якості освіти готує і публікує аналітичний
звіт, який розсилається в усі структури державної
влади.
• Оперативна інформація з питань ЗНО розміщується у
вільному доступі в Інтернеті www.testportal.gov.ua.
• Аналітичні матеріали, світовий досвід, питання
розвитку тестових технологій, офіційні матеріали,
які стосуються ЗНО, публікуються в журналі
“Вісник ТІМО”.
• Перебіг вступної кампанії та інша корисна інформація
на сайті www.vstup.info.
Дякуємо за увагу!
Запрошуємо до фахового обговорення проблеми
запровадження національного моніторингу якості
системи вступу до ВНЗ на основі ЗНО
Довідкові слайди
Якість системи вступу до ВНЗ на основі ЗНО
Офіційний звіт УЦОЯО “ЗНО-2009”
Український центр оцінювання якості
освіти (УЦОЯО) щорічно готує
і публікує офіційний звіт за
результатами ЗНО, який
надсилається до всіх структур
державної влади, а також
розміщується у вільному доступі
в мережі Інтернет.
Це ті дані, які можна отримати на
основі статистичних даних,
накопичених УЦОЯО при реєстрації
на ЗНО, під час його проведення,
перевірки робіт, їх оцінювання
і оприлюднення результатів.
Якість системи вступу до ВНЗ на основі ЗНО
Офіційний звіт УЦОЯО
“ЗНО-2009”
Звіт про ЗНО в скороченому
вигляді друкується в журналі
ТІМО, а завдяки фінансовій
підтримці МФ “Відродження” та
програми USETI сприяння ЗНО
цей звіт отримають всі ВНЗ
країни.
Якість системи вступу до ВНЗ на основі ЗНО
Офіційний звіт УЦОЯО “ЗНО-2009”:
Тестологічні характеристики кожного
предметного тесту ЗНО
(предметна валідність, складність, надійність).
Психометричні характеристики
кожного завдання
(складність, диференційна здатність тощо).
Статистичні дані про успішність
складання тестів ЗНО
(за регіонами, типами навчальних закладів).
Якість системи вступу до ВНЗ на основі ЗНО
АІС “Результати ЗНО-2009”
Особливості моделі вступу до ВНЗ
на основі ЗНО у 2008 році
1. Учасники ЗНО складали 3 предмети: українська мова – обов'язково, один із двох
предметів – математика або історія України – обов'язково, третій предмет – за вибором.
2. Кожний тест ЗНО з трьох предметів мав субтест, який відповідав ДПА, і оцінка ЗНО
виставлялася за двома шкалами: 100–200 балів (для вступу до ВНЗ) та за 12-бальною
шкалою (за субтест – для оцінки ДПА).
3. Оцінка ЗНО за 12-бальною шкалою могла зараховуватись як ДПА за бажанням учасника
ЗНО.
4. Тести включали завдання трьох форматів: вибіркового типу, “коротка відповідь”, завдання
з розгорнутою відповіддю, які перевірялися екзаменаторами (українська мова, математика
та історія України).
5. Зарахування до ВНЗ здійснювалося за результатами ЗНО (за виключенням пільговиків).
Особливості моделі вступу до ВНЗ
на основі ЗНО у 2009 році
1. Учасники ЗНО мали можливість обирати тестування
не більше ніж із 5-ти предметів
(українська мова – обов'язково, інші предмети – за вибором).
2. Введено тести ЗНО з іноземних мов
(англійська, німецька, французька, іспанська мова).
3. Вилучення з переліку предметів ЗНО тестів із таких предметів:
всесвітня історія, зарубіжна література, основи економіки, основи правознавства.
4. Оцінка ЗНО за 12-бальною шкалою обов'язково зараховувалась
як результат ДПА.
5. Тести включали завдання трьох форматів:
- вибіркового типу,
- “коротка відповідь”,
- завдання з розгорнутою відповіддю
(які перевірялися екзаменаторами (українська мова, математика та історія України)).
6. Зарахування до ВНЗ здійснювалося за результатами ЗНО
(за виключенням пільговиків).
7. Складання тестів ЗНО допускалося 6-ма мовами національних
меншин за вибором абітурієнта.
Особливості моделі вступу до ВНЗ
на основі ЗНО у 2010 році
1. Учасники ЗНО мали можливість обирати тестування
не більше ніж із 5-ти предметів
(українська мова – обов'язково, інші предмети – за вибором).
2. Урахування середнього бала атестата при вступі до ВНЗ
(за шкалою 100–200 балів).
3. Вилучення завдань з розгорнутою формою відповіді з тесту ЗНО
з математики.
4. Продовження терміну сертифікатів ЗНО на три роки.
5. Дозвіл випускникам 2007 або попередніх років замість проходження
ЗНО здавати вступні іспити у ВНЗ.
6. Обмеження кількості ВНЗ для подання заяв на вступ до 5-ти ВНЗ
(не більше ніж із 3-х спеціальностей у ВНЗ).
7. Зняття порогу 124 бали з непрофільних предметів
(за умови отримання не менше 170 балів за профільними предметами).