Transcript презентацию в формате ppt
VIII Саммит психологов (Спб-2014) Интерактивная лекция
«Практическая тестология -
это прикладная психология или нет?»
Шмелев Александр Георгиевич, профессор МГУ, научный руководитель Лаборатории «Гуманитарные технологии», www.ht.ru
• • • • • • • • •
План лекции
Участники корпоративной системы тестирования. «Практическая тестология» (ПТ) и «дифференциальная психометрика» О книге «Практическая тестология» Сайт книги и как ее приобрести forum.ht-line.ru – интерактивное упражнение Роли разных специалистов в ПТ Интеграция тестовых баллов и экспертных оценок Модуль «Интегратор» в системе HT-LINE Метод целочисленного взвешивания
Парадигма «один на один» уходит Парадигма традиционной психологии «один психолог исследователь – один обследуемый клиент» в эпоху ИКТ-революции и глобализации в крупных корпорациях исчезает: кандидаты оспаривают вакансии, выполняя с самого начала дистанционные онлайн-тесты, в создании и проведении которых участвуют многие (десятки человек)»
Testology-book.ru
1) Для психометристов – психологов с математической подготовкой 2) Для менеджеров оргпсихолологов 3) Для авторов тестовых заданий (предметников) 4) Для ИТ-специалистов 5) Для руководителей подразделений качества в ВУЗах
Практическая тестология и дифференциальная психометрика • • Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов).
Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации.
Требования к тестологу
• Современный практический тестолог – это не просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации.
Оглавление книги
1. Определения и классификация тестов 2. Конструкция и конструирование тестов 3. Разработка тестовых заданий и образцы 4. Математическая тестология (с. 262 – 350) 5. Организационно-технологическое обеспечение тестовых систем 6. Валидность, рентабельность и достоверность 7. Внедрение тестов в систему вузовских экзаменов 8. Социально-психологические проблемы внедрения тестов.
Где и как приобрести книгу?
• На сайте www.ht.ru
в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.
Интерактивная работа экспертов в И-сообществе • Вход на форум экспертов со страницы forum.ht.ru
(возможна саморегистрация, а о регистрации «через Фейсбук» доступна инструкция на первой странице).
• Раздел «Объединение психологов –> Разработка стандартов».
• Тема: «Проконтролируйте себя на согласованность с экспертами».
• http://forum.ht-line.ru/threads/prokontrolirujte-sebja-na-soglasovannost-s-ehkspertami.179/ Опрос-голосование: «Назовите признаки, входящие в определение понятия «измерительный тест».
Роли в тестологической команде ВУЗа
Главный менеджер проекта (Генконструктор АСТ) Менеджер предметник (Зампред УМК) ИТ-менеджер Инспектор(ы) учебной части Автор-эксперт 1 Автор-эксперт 1 Оператор программист Супервизоры в к-классах
Эксперт.
оценки
2 неуд 3 удов 4 хор Модель интеграции тестовых баллов и экспертных оценок
Тестовые баллы Эксперт.
оценки в стенах
1 – 3 4 – 5 6 – 7 2 4.5
6.5
Главная проблема – это не формула подсчета, а непонимание психологами способа приведения разнотипных шкал к одной шкале.
5 отл 8 - 10 9
ФИО респондента
Расчетный пример
А Балл по тесту В Э-оценка С Перевод A в шкалу грейдов D Перевод В в шкалу стенов
Иванов 8 4 5 6.5
Петров Иванов 10 5 Усреднение в грейдах Mean(5, 4) = 4.5
5 9 Усреднение в стенах Mean(8, 6.5) = 7.25
Петров Mean(5, 5) = 5 Mean(10, 9) = 9.5
Модуль «Интегратор» в системе HT-LINE
Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE
Возможность дополнительных групповых приглашений (тем, кто не начал какой-то тест)
Рассылка приглашений
Индивидуальная страница участника
Завершение пакета тестов
Вкладка «Результаты» и меню пакета
Экспорт результатов в Excel
тестовый балл i-го испытуемого,Q общее число заданий в тесте, j – это целочисленная трудность j-го задания, максимально возможная трудность (самый высокий уровень), ответ i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно», и R= - 1, что означает
Формула целочисленного взвешивания
Практический эффект МЦВ
• Результат МЦВ-подсчета – балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий.
X=1 – означает, что испытуемый может справляться 50:50 с легкими заданиями Q=1 X=2 – означает, что испытуемый может справляться 50:50 с о средними заданиями Q=2 и 66*33 с легкими Q=1 X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50:50 с трудными Q=3
Таблицы вероятностей на целочисленной модели Раша
Xi Qj-> -2 -1 0 1 2 -2
0,50 0,67 0,80 0,89 0,94
-1
0,33 0,50 0,67 0,80 0,89
0
0,20 0,33 0,50 0,67 0,80
1
0,11 0,20 0,33 0,50 0,67
2
0,06 0,11 0,20 0,33 0,50 По строкам – сила испытуемого X, по столбцам – трудность задания Q
Где и как приобрести книгу?
• На сайте www.ht.ru
в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.
Как быстрей познакомиться со «Стандартами тестирования персонала»
1) Надо зарегистрироваться на форуме forum.ht-line.ru
2) Проект документа будет опубликован в разделе Вики.
3) Каждый, кто считает себя компетентным, сможет что-то подправить или добавить в документ.
Спасибо за внимание.
Готов ответить на вопросы.