Transcript сравнителен анализ на приложимостта на две психометрични

СРАВНИТЕЛЕН АНАЛИЗ НА
ПРИЛОЖИМОСТТА НА ДВЕ
ПСИХОМЕТРИЧНИ ТЕОРИИ НА
ТЕСТОВЕТЕ
(върху данни от Теста за
общообразователна подготовка – ТОП)
Съдържание




Аргументи “за” избора на темата
План на изследването
Обща методология
Структура на текста (какво е направено досега)
Класическа тестова теория (CTT) и
Теория за отговор на тестов въпрос (IRT)

Това са двете най-популярни психометрични
теории

Обществени науки






психология (психология на личността, организационна
психология, социална психология)
образование
социология
икономика
Естествени (биология) и медицински науки
Конструиране на ТОП и анализ на резултатите


прилага се CTT
досега не е прилагана IRT
CTT и IRT- конкурентни теории



Зараждане – Ch. Spearmen, 1904; D. Lawley, 1943
“Тиха революция” в психологическите измервания
(Embretson and Reise, 2000)
Прилики:





Предназначение – за скалиране на латентни черти
Обща емпирична база – дихотомични отговори на тестовите
въпроси
Споделят (някои) общи теоретични конструкти
Използват математически апарат
Разлики:


CTT – ориентирана към осигуряване на надеждността на
тестово ниво (α на Кронбах)
IRT – моделира връзката между латентната черта и отговорите
на и.л. на ниво тестов въпрос
Приложимост на психометричните теории

CTT и IRT съществуват под формата на различни
теоретични модели

Моделът е теоретична структура, представляваща една
възможна реализация (на дадена теория), в която всички
валидни твърдения на теорията са удовлетворени
(Suppes, 1962)

CTT и IRT като модели на (емпирични) данни

В моделите на данни суровите данни се представят в
един добре подреден, организиран и в известен смисъл
идеализиран вид (Suppes, 1962; Frigg and Hartmann,
2006)
Необходимост от изследване на
приложимостта


Всеки психометричен модел се базира на
определен набор от допускания, описващи
данните
Това поражда необходимостта от изследване на
съответствието между допусканията на модела и
данните - model-data fit (Lord, 1980; Crocker and
Algina, 1986; Hambleton et al, 1991)


Потенциалът на един модел може да бъде постигнат
само тогава, когато между него и емпиричните данни
съществува задоволително ниво на съответствие
Принцип на J. P. Benzecri: „Моделът трябва да
съответства на данните, а не обратно" (по Greenacre,
1984).
Изследвания на приложимостта



По-голяма част от публикациите са посветени на
теоретични изследвания (Т. Райков, Ив. Парчев)
Представят се и емпирични изследвания с
приложения на тестовите теории
Малък брой изследвания на приложимостта –
“емпирично безмълвие” (Kingston, Leary and Wightman, 1985;
Leeson and Fletcher, 2003; Hernandez, 2009)

Малък брой съпоставителни изследвания на CTT и
IRT (Д. Милков)
(Lord, 1980; Crocker and Algina; 1986; Hambleton and Jones, 1993; Fan, 1998;
Bechger et a., 2003)
Тест по общообразователна подготовка




Тестова батерия с 10 субтеста
Типичен представител на тестовете за
постижения (achievement tests), но с функции на
тест за склонността към обучение (aptitude
tests).
Широкомащабен тест
период
брой изпитни
дати
брой варианти
на ТОП
брой изпитани
1996-2010
100
314
156 213
Натрупана е огромна база от емпирични данни
План на изследването:
Подходи за анализ на приложимостта

Основни изследователски подходи:

Използване на серия от анализи (тестове) за
установяване на степента на съответствие


Търсене на различни видове доказателства:




подбрани са 12 варианта на ТОП
дали данните удовлетворяват основните допускания на
модела.
дали в данните се проявяват особеностите на модела
дали има съответствие между предсказаните от модела
резултати (оценки) и наблюдаваните резултати
Изследване на връзките между (някои от)
теоретичните конструкти в CTT и IRT
План на изследването
1)
2)
3)
4)
5)
6)
Валидност на основните допускания на CTT и IRT по
отношение на тестовите данни
Валидност на основните характеристики на CTT и IRT
Съгласуваност на статистиките на въпросите и
индивидите, получени в рамките на CTT и IRT
Надеждност (reliability) по CTT и точност (accuracy) по IRT
на оценките на индивидите
Избор на подходящ модел на IRT за данните от ТОП
Критерийна (предикативна) валидност на резултатите по
CTT и IRT
План на изследването - детайли
План на емпиричното изследване
Методология

Корелационни изследвания


системни наблюдения върху взаимовръзките между
групи от променливи
Изследователски анализ на данни (Exploratory
data analysis, EDA) (Tukey, 1977)


Предназначение – за разкриване на системните връзки
между променливите когато няма ясни предварителни
очаквания (хипотези) за характера на тези връзки
Изследване на голям брой променливи в търсене на
устойчиви структури
Методология


EDA е методологически подход (изследователска
“нагласа”), а не набор от конкретни техники
Задачи, които се решават в рамките на EDA






Разкриване на устойчиви модели (patterns) в данните
Редуциране на данните
Проверка на допускания
Разкриване на латентни структури
Извличане на важни променливи
проблем>данни>анализ>модел>заключения
Методология

Основни стат. изследователски методи




Многомерни изследователски техники




Изследване на разпределенията на променливите
Анализ на корелационни матрици
Анализ на остатъчните стойности
Факторен анализ (Анализ на главни фактори) –
изследователски и потвърдителен
Йерархичен клъстърен анализ
Множествена регресия
Графични методи за визуализация на данните
Структура на текста

I. Теоретична рамка на изследването

Iа. Измерване, скалиране и оценяване: теоретична
рефлексия



Физични и психологически измервания
Обобщаващи теории на измерването
Ib. Психометрични тестови теории

Класическа тестова теория (CTT)

Теория за отговор на тестов въпрос (IRT)
Структура на текста

II. Обща постановка на емпиричното изследване


Цели
Методология
 Дизайн
 Данни: характеристика на ТОП
 Процедури
Структура на текста

III. Емпирично изследване на приложимостта на
CTT и IRT върху данни от ТОП (6 части)

Емпирично изследване 1: Валидност на основните
допускания на CTT и IRT спрямо на тестовите данни



Специфични цели на изследването
Хипотези
Методология





Дизайн
Използвани данни
Процедури
Резултати
Обсъждане
Структура на текста



IV. Обсъждане
Цитирана литература
Приложения
Структура на текста - детайли
Съдържание