Transcript Моделі тестування та системи

TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR
Educational Measurements Adapted to EU Standards
Кіровоградський державний
педагогічний університет
Імені Володимира Винниченка
Зміст та завдання
навчального курсу
«Моделі тестування та
системи»
Степан Паращук
Перелік дисциплін,
які бажано вже вивчити
• Комп’ютерні технології у тестуванні
– орієнтована на використання різних готових
комп’ютерних систем у тестуванні
• Конструювання тестів
– вивчається технологія створення тестових завдань
та тестів, опрацювання результатів тестування,
оцінювання якості тестових завдань і тесту в
цілому
• Математико-статистичні методи в
педагогічних вимірюваннях
– вивчаються ймовірнісні моделі, що
використовуються для оцінки якості тесту
Для засвоєння дисципліни необхідні додаткові знання:
– з основ інформаційних технологій
– електронного навчання
– створення навчаючих комп’ютерних систем
Дисципліна може вивчатися на спеціальностях, де
передбачена фахова підготовка з інформатики:
– Математика*(спеціалізація: інформатика та освітні
вимірювання)
– Фізика*(спеціалізація: інформатика та освітні
вимірювання)з основ інформаційних технологій
– Інформатика*
Мета дисципліни
• оволодіння сучасними підходами до
діагностики рівня знань, що
використовуються в комп’ютерних
навчаючих системах
• сформувати знання, уміння та навички
розробки програмних продуктів,
призначених для проведення
тестування.
Перелік знань
• поняття про системи комп’ютерного
тестування та вимоги до них;
• поняття моделі педагогічного тестування;
• види моделей, їхні особливості, алгоритми
вибірки завдань та способи оцінювання;
• можливості та технології адаптивного
тестування;
• структуру комп’ютерної системи тестування,
призначення її модулів та можливості їх
реалізації.
Перелік умінь
• практично застосовувати та реалізовувати
моделі педагогічного тестування;
• здійснювати вибір відповідної моделі
тестування для конкретного виду тесту;
• використовувати технології адаптивного
тестування на практиці;
• розробляти проект комп’ютерної системи
педагогічного тестування;
• виконувати програмну реалізацію модулів
системи тестування.
Зміст дисципліни
ЗМІСТОВИЙ МОДУЛЬ I Моделі тестування та системи
1. Вступ.
Загальні поняття про системи комп’ютерного тестування. Вимоги до них.
2. Моделі педагогічного тестування.
Поняття моделі. Класична модель. Класична модель з урахуванням
складності, за зростанням складності, з розділенням знань за рівнями
засвоювання, з урахуванням часу відповіді, з обмеженням часу. Модель
тестування за сценарієм та модель на нечіткій математиці. Комбіновані моделі.
Частково адаптивні та адаптивна моделі. Алгоритми адаптивного тестування.
3. Вимоги до комп’ютерних систем тестування.
Вимоги до інтерфейсу. Функціонування в режимах учня і викладача. База
тестів, її організація та проектування. Модуль підтримки вибору моделі
тестування, оцінювання. Аналіз результатів тестування. Модуль аналізу тесту на
надійність, валідність. Засоби обміну інформацією та комунікації з викладачем.
Контроль прав доступу.
Адаптивні тестові системи.
Розподіл навчального часу
Назва розділу
1. Вступ. Загальні
поняття про системи
комп’ютерного
тестування.
Всього
годин
Лекції Практичні
Самостійна
робота
6
2
2. Моделі педагогічного
тестування.
43
4
10
29
3. Вимоги до
комп’ютерних
систем тестування.
32
4
8
20
81
10
18
53
Всього :
4
Модель педагогічного
тестування
– це схема пред’явлення тестових
завдань і оцінювання результатів
тестування
(алгоритм + метод оцінювання)
Класифікація моделей тестування
( Г.Ю.Давідян)
• Класична модель (випадкова вибірка, оцінюється як
“правильно” – “неправильно”, результат – відсоток
правильних відповідей);
• Класична модель з урахуванням складності завдань;
• Модель за зростанням складності;
• Модель з розподілом завдань за рівнями засвоєння;
• Модель з врахуванням часу відповіді на завдання;
• Модель з обмеженням часу на весь тест.
Критеріально-рівнева класифікація
моделей тестування( О.Матвієвська)
•
•
•
•
•
•
•
•
класична;
класична з урахуванням складності;
за зростанням складності;
розділенням знань за рівнями засвоювання;
з урахуванням часу відповіді;
з обмеженням часу;
адаптивна;
на нечіткій математиці
Класифікація методів організації контролю
знань (Л.В.Зайцева, Н.О.Прокофьєва)
• Неадаптивні методи
– Строга послідовність
– Випадкова вибірка
– Комбінований метод (випадкова вибірка, доповнена
строгою послідовністю)
• Частково адаптивні методи
– Випадкова вибірка з урахуванням окремих параметрів
моделі студента
– Контроль на основі відповідей студента
– Контроль на основі моделі навчального матеріалу
• Адаптивні методи
– Контроль за моделлю студента
– Контроль за моделлю студента і навчального матеріалу
Класифікація методів діагностики за структурою
бази тестів (О.Г.Колгатін)
•
•
•
•
•
•
фіксована послідовність завдань;
множина рівноправних завдань;
кожне завдання з визначеним рівнем складності;
структура за рівнями складності;
структура за рівнями розумової діяльності;
структура за темами (елементами навчального матеріалу) і
рівномірним вибором завдань з кожної теми;
• послідовність завдань за зростанням складності з автоматичним
поділом послідовності завдань на блоки й випадковим вибором
завдань з блоку;
• структурування бази завдань за елементами навчального
матеріалу, рівнями розумової діяльності, мінімальна одиниця
структури – блок паралельних завдань, тест будується як
послідовність блоків, випадковий вибір здійснюється тільки у
межах блоку;
• семантична мережа (дерево за структурою навчальної
дисципліни).
Вимоги
до комп’ютерних систем тестування
•
•
•
•
•
•
•
•
•
•
•
інтерактивне інструментальне середовище;
дружній користувацький інтерфейс;
ведення бази тестових завдань;
підтримка різних форм тестових завдань;
можливість вибору моделі тестування;
підтримка оцінювання та результатів тестування;
оцінювання якості тесту;
забезпечення прав доступу та захисту даних;
багатопредметне застосування;
масштабованість;
доступність.
Елементи комп’ютерної
системи тестування
Авторизація
Облікові записи
База
тестів
Редагування
тестів
Робота з тестами
Вибір
моделі
Аналіз
результатів
Статистика,
результати
тестування
Налаштування
оцінювання
Оцінювання
якості тесту
Зміст та завдання
навчального курсу
«Класична теорія тестів»
Мета дисципліни
• ознайомлення студентів із сучасним
станом і тенденціями педагогічного
тестування та класичною теорією тестів;
• навчити студентів використовувати
математико-статистичний апарат
класичної теорії тестів для оцінки якості
та надійності тесту.
Перелік знань
• основні поняття педагогічного тестування;
• основні постулати класичної теорії тестів;
• методи інтерпретації результатів математикостатистичної обробки даних педагогічного
вимірювання у процесі створення тесту;
• характеристики тестових завдань та
статистичні методи їх оцінки у рамках
класичної теорії;
• процедури та способи оцінювання надійності
тесту.
Перелік умінь
• будувати матрицю та профілі тестових відповідей;
• визначати основні параметри статистичного
розподілу та здійснювати перевірку їх значущості;
• інтерпретувати результати обробки даних тестування
при конструюванні та застосуванні тесту;
• розраховувати основні статистичні характеристики
завдань у рамках класичної теорії;
• будувати характеристичні криві завдань та
індивідуальні криві учасників тестування;
• будувати інформаційні криві завдань та тесту;
• досліджувати характеристики надійності тесту у
рамках класичної теорії тестів;
• досліджувати показники валідності тесту.
Зміст дисципліни
ЗМІСТОВИЙ МОДУЛЬ I. Педагогічне тестування
Вступ. Коротка історія тестових досягнень. Основні поняття і терміни тестування
навчальних досягнень: вимірювання, тест, тестування. Час тестування. Нормативно-орієнтовані
та критеріально-орієнтовані тести. Мета створення тесту, рівні деталізації змісту. Статична
обробка результатів тестування. Інтерпретація результатів тестування. Надійність і валідність
тесту. Вимірювальні шкали.
ЗМІСТОВИЙ МОДУЛЬ IІ. Класична теорія тестів
Істинний результат та стандартна помилка вимірювання. Основні постулати класичної теорії
тестування. Паралельні та еквівалентні тести. Індекс та коефіцієнт надійності. Фактори, що
впливають на надійність. Процедури оцінювання надійності. Коефіцієнт -Кронбаха. Надійність і
довжина тесту. Довірчий інтервал для істинного результату.
Матриця результатів тестування. Профіль тестуючого. Міра трудності завдання. Графічне
зображення тестових балів. Частота тестового балу. Статистична обробка результатів у рамках
класичної теорії тестування: мода, середнє вибіркове, дисперсія, середньо квадратичне
відхилення та їх інтерпретація. Перевірка гіпотези про нормальний закон розподілу результатів
тестування. Асиметрія та ексцес, їх інтерпретація та перевірка значущості. Кореляційна
матриця. Коефіцієнт кореляції Пірсона, -коефіцієнт кореляції, коефіцієнт бісеріальної кореляції
та їх інтерпретація.
Розрахунок основних математико-статистичних характеристик тестових завдань та тесту у
рамках класичної теорії: складність, диференційна здатність завдань, правдоподібність
дистракторів, гомогенність, ваговий коефіцієнт та коефіцієнт контингенції.
Надійність тесту. Способи обчислення надійності. Вплив надійності тесту на істинний бал.
Валідність тесту.
Розподіл навчального часу
Назва розділу
Модуль І. Педагогічне
тестування
Модуль ІІ. Класична
теорія тестів
Всього :
Всього
годин
Лекції Практичні
Самостійна
робота
36
6
4
26
72
14
12
46
108
20
16
72
•
•
Челышкова М.Б. Теория и практика
конструирования педагогических
тестов. – М.: Логос, 2002. – 432 с.
Крокер Л., Алгин Дж. Введение в
классическую и современную теорию
тестов. М.: Логос, 2010. – 611 с.
Дякую за увагу
Основні постулати
класичної теорії тестування
•1. Эмпирически полученный результат
измерения (X) представляет собой сумму
истинного результата измерения (T) и ошибки
измерения (E):
X=T+E
Величины T и E обычно неизвестны.
•2. Истинный результат измерения можно
выразить как математическое ожидание E(X):
T = E(X)
• 3. Корреляция истинных и ошибочных
компонентов по множеству испытуемых
равна нулю, то есть ρTE = 0.
• 4. Ошибочные компоненты двух любых
тестов не коррелируют:
ρE1,E2 = 0
• 5. Ошибочные компоненты одного теста не
коррелируют с истинными компонентами
любого другого теста:
ρE1,T2 = 0
•
•
•
•
•
•
•
Кроме этого, основу классической теории тестов составляют два определения –
параллельных и эквивалентных тестов.
ПАРАЛЛЕЛЬНЫЕ тесты должны соответствовать требованиям (1-5), истинные
компоненты одного теста (T1) должны быть равны истинным компонентам
другого теста (T2) в каждой выборке испытуемых, отвечающих на оба теста.
Предполагается, что T1=T2 и, кроме того, равны дисперсии s12 = s22.
Эквивалентные тесты должны соответствовать всем требованием
параллельных тестов за исключением одного: истинные компоненты одного
теста не обязательно должны равняться истинным компонентам другого
параллельного теста, но отличаться они должны на одну и ту же константу с.
Условие эквивалентности двух тестов записывается в следующем виде:
T1 = T2+c12
где c12 - константа различий результатов первого и второго тестов.
На основе приведенных положений построена теория надежности тестов.