VIII Саммит психологов (Спб-2014) Интерактивная лекция

«Практическая тестология -

это прикладная психология или нет?»

Шмелев Александр Георгиевич, профессор МГУ, научный руководитель Лаборатории «Гуманитарные технологии», www.ht.ru

• • • • • • • • •

План лекции

Участники корпоративной системы тестирования. «Практическая тестология» (ПТ) и «дифференциальная психометрика» О книге «Практическая тестология» Сайт книги и как ее приобрести forum.ht-line.ru – интерактивное упражнение Роли разных специалистов в ПТ Интеграция тестовых баллов и экспертных оценок Модуль «Интегратор» в системе HT-LINE Метод целочисленного взвешивания

Парадигма «один на один» уходит Парадигма традиционной психологии «один психолог исследователь – один обследуемый клиент» в эпоху ИКТ-революции и глобализации в крупных корпорациях исчезает: кандидаты оспаривают вакансии, выполняя с самого начала дистанционные онлайн-тесты, в создании и проведении которых участвуют многие (десятки человек)»

Testology-book.ru

1) Для психометристов – психологов с математической подготовкой 2) Для менеджеров оргпсихолологов 3) Для авторов тестовых заданий (предметников) 4) Для ИТ-специалистов 5) Для руководителей подразделений качества в ВУЗах

Практическая тестология и дифференциальная психометрика • • Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов).

Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации.

Требования к тестологу

• Современный практический тестолог – это не просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации.

Оглавление книги

1. Определения и классификация тестов 2. Конструкция и конструирование тестов 3. Разработка тестовых заданий и образцы 4. Математическая тестология (с. 262 – 350) 5. Организационно-технологическое обеспечение тестовых систем 6. Валидность, рентабельность и достоверность 7. Внедрение тестов в систему вузовских экзаменов 8. Социально-психологические проблемы внедрения тестов.

Где и как приобрести книгу?

• На сайте www.ht.ru

в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

Интерактивная работа экспертов в И-сообществе • Вход на форум экспертов со страницы forum.ht.ru

(возможна саморегистрация, а о регистрации «через Фейсбук» доступна инструкция на первой странице).

• Раздел «Объединение психологов –> Разработка стандартов».

• Тема: «Проконтролируйте себя на согласованность с экспертами».

• http://forum.ht-line.ru/threads/prokontrolirujte-sebja-na-soglasovannost-s-ehkspertami.179/ Опрос-голосование: «Назовите признаки, входящие в определение понятия «измерительный тест».

Роли в тестологической команде ВУЗа

Главный менеджер проекта (Генконструктор АСТ) Менеджер предметник (Зампред УМК) ИТ-менеджер Инспектор(ы) учебной части Автор-эксперт 1 Автор-эксперт 1 Оператор программист Супервизоры в к-классах

Эксперт.

оценки

2 неуд 3 удов 4 хор Модель интеграции тестовых баллов и экспертных оценок

Тестовые баллы Эксперт.

оценки в стенах

1 – 3 4 – 5 6 – 7 2 4.5

6.5

Главная проблема – это не формула подсчета, а непонимание психологами способа приведения разнотипных шкал к одной шкале.

5 отл 8 - 10 9

ФИО респондента

Расчетный пример

А Балл по тесту В Э-оценка С Перевод A в шкалу грейдов D Перевод В в шкалу стенов

Иванов 8 4 5 6.5

Петров Иванов 10 5 Усреднение в грейдах Mean(5, 4) = 4.5

5 9 Усреднение в стенах Mean(8, 6.5) = 7.25

Петров Mean(5, 5) = 5 Mean(10, 9) = 9.5

Модуль «Интегратор» в системе HT-LINE

Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE

Возможность дополнительных групповых приглашений (тем, кто не начал какой-то тест)

Рассылка приглашений

Индивидуальная страница участника

Завершение пакета тестов

Вкладка «Результаты» и меню пакета

Экспорт результатов в Excel

тестовый балл i-го испытуемого,Q общее число заданий в тесте, j – это целочисленная трудность j-го задания, максимально возможная трудность (самый высокий уровень), ответ i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно», и R= - 1, что означает

Формула целочисленного взвешивания

Практический эффект МЦВ

• Результат МЦВ-подсчета – балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий.

X=1 – означает, что испытуемый может справляться 50:50 с легкими заданиями Q=1 X=2 – означает, что испытуемый может справляться 50:50 с о средними заданиями Q=2 и 66*33 с легкими Q=1 X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50:50 с трудными Q=3

Таблицы вероятностей на целочисленной модели Раша

Xi Qj-> -2 -1 0 1 2 -2

0,50 0,67 0,80 0,89 0,94

-1

0,33 0,50 0,67 0,80 0,89

0

0,20 0,33 0,50 0,67 0,80

1

0,11 0,20 0,33 0,50 0,67

2

0,06 0,11 0,20 0,33 0,50 По строкам – сила испытуемого X, по столбцам – трудность задания Q

Где и как приобрести книгу?

• На сайте www.ht.ru

в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

Как быстрей познакомиться со «Стандартами тестирования персонала»

1) Надо зарегистрироваться на форуме forum.ht-line.ru

2) Проект документа будет опубликован в разделе Вики.

3) Каждый, кто считает себя компетентным, сможет что-то подправить или добавить в документ.

Спасибо за внимание.

Готов ответить на вопросы.