Transcript презентация

Понятийный аппарат
педагогического тестирования
Понятие «педагогические измерения»
Педагогические
измерения
(Educational
Measurement)
это
научная
теория,
сформировавшаяся в течение последнего века на
стыке
педагогики,
психологии,
общей
(фундаментальной) теории измерений, статистики,
математики, логики и философии.
Педагогические измерения - область педагогики,
разрабатывающая и применяющая методы и
средства измерений для оценки результатов учебной
деятельности испытуемых.
Язык педагогических измерений
формируют три основные теории –
статистическая, математическая
и педагогическая.
Цель и предмет педагогических измерений
Цель педагогических измерений - это получение
объективных оценок уровня текущей и итоговой
подготовленности учащихся и студентов, получение
численных эквивалентов проявления интересующего
признака.
Основной
предмет
педагогической
теории
измерений - разработка качественных тестов для
измерения уровня и структуры подготовленности
учащихся и студентов, эффективных и качественных
показателей
для
оценочных
процедур
в
образовательной
и
самообразовательной
деятельности.
Основным предметом практики
педагогических измерений являются:
- создание теста ,
- проведение тестирования,
- шкалирование тестовых результатов.
Педагогическое тестирование
Педагогическое
тестирование
совокупность
методических
и
организационных
мероприятий,
обеспечивающих:
- разработку педагогических тестов,
- подготовку и проведение стандартизованной
процедуры
измерения
уровня
подготовленности
испытуемых,
- обработку и анализ результатов.
Педагогическое тестирование - форма измерения
знаний
учащихся,
основанная
на
применении
педагогических тестов.
Все современные тесты построены
статистической теории измерений,
а идея эталона оценки лежит в основе
определения теста как
стандартизованного инструмента.
на
основе
Общие понятия
Компьютерное
тестирование:
педагогическое
тестирование
на
компьютере
под
управлением
специальной
программы,
обеспечивающей
нужную
презентацию тестовых заданий и обработку результатов
тестирования.
Адаптивное (последовательное) тестирование - вид
компьютерного тестирования, при котором тестовые
задания
с
известными
характеристиками
последовательно изображаются на экране компьютера,
а уровень подготовленности испытуемого со все
возрастающей точностью оценивается сразу же после
каждого его ответа. Очередное задание в зависимости
от ранее данных ответов испытуемых подбирается так,
чтобы его уровень трудности позволял наилучшим
образом
оценить
уровень
подготовленности
тестируемого. Количество заданий теста заранее не
фиксируется, а процесс тестирования заканчивается по
достижении
заданной
точности
оценки
уровня
подготовленности испытуемого.
Понятие теста
Философский энциклопедический словарь
ТЕСТ (англ. Test - проба, испытание, исследование) в
психологии,
стандартизированные
задания,
результат выполнения которых позволяет измерять
некоторые психофизиологические и личностные
характеристики, а также знания, умения и навыки
испытуемого.
Логический словарь-справочник Кондакова Н.И.
Тест (англ. test испытание, исследование) - метод
исследования и испытания способностей человека к
выполнению той или иной строго определенной
работы, выяснения умственного
развития, профессиональных
наклонностей испытуемого с помощью
стандартных схем и форм.
Понятие теста
Словарь терминов
Балыхиной Т.М.
и
понятий
тестологии
ТЕСТ (англ. test испытание, исследование):
1. Испытание, эксперимент, проверка. Тест в
наиболее общем для него значении - проверочное
задание.
2. Система заданий стандартной формы, выполнение
которых проходит в равных для всех испытуемых
условиях,
поддается
количественному
учету
(оценке),
позволяет
установить
уровень
сформированности знаний, умений,
навыков тестируемого.
Понятие педагогического теста
Педагогический тест – система тестовых заданий,
позволяющая
объективно
и
функционально,
независимо от преподавателя, измерить уровень
образовательных
достижений
обучаемых,
совокупность их представлений, знаний, умений и
навыков в той или иной области содержания.
Педагогический тест (educational test). Комплекс
заданий, измеряющих уровень учебных достижений.
Отличие педагогических тестов от психологических
состоит в том, что педагогические тесты измеряют
уровень
усвоения
отдельного
предмета,
а
психологические – свойства личности;
в педагогических тестах отчетливее очерчен
объект контроля (знания, умения),
моделируется фрагмент естественной
учебной ситуации, их выполнение
вызывает включение мотивации.
Тест и его характеристики
По статусу контролирующей программы различают
стандартизированные и нестандартизированные тесты.
Стандартизированный
тест
(standardized
test).
Тест, отвечающий требованиям качества и прошедший
апробацию на большой выборке испытуемых (от 5000
до 30000 человек); с.т. обладает стабильными и
приемлемыми
показателями
качества;
имеет
спецификацию с нормами, условиями, инструкциями.
Предназначен для многократного использования.
Нестандартизированный
(преподавательский)
(classroom, teacher made) (учительский тест, просто
тест,
квиз).
Система
заданий,
составленных
преподавателем
дисциплины
по
пройденному
материалу для текущего, промежуточного контроля, т.
е. для учебных потребностей. Для п. т. необязательно
определение всех показателей качества.
Тест и его характеристики
НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ (norm-referenced
test) позволяет ранжировать испытуемых по уровню
знаний.
Это
тип
тестов,
предназначенных
для
определения
сравнительного
уровня
подготовки
(обученности) испытуемых - между собой и относительно
некоторой нормы. Позволяет сравнивать учебные
достижения (уровень подготовленности) отдельных
испытуемых
друг
с
другом
или
относительно
предварительно полученных тестовых норм.
НОРМЫ (norms). Таблицы, представляющие статистическое
описание результатов теста по определенной выборке,
называемой нормативной группой. Нормы разделяются на
возрастные,
процентильные
(устанавливается
процент
учащихся определенного региона, которые лучше или хуже
справились с тестом по отношению к другим испытуемым;
носят относительный характер), стандартные (оценивается
качество выполнения заданий при правильном выполнении
определенного процента заданий).
Тест и его характеристики
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ ТЕСТ (criterionreferenced test). Термин предложен Р. Гласером (1963 г.).
Критериально-ориентированный тест выявляет то, что
индивид знает и может делать, а не то, как его результаты
соотносятся с результатами других тестируемых, т. е. тип
тестов, предназначенных для определения уровня
обученности испытуемых относительно некоторого
критерия, а не относительно групповых норм.
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет
выявить степень усвоения испытуемым определенного
раздела в заданной предметной области. Критериальноориентированные тесты в свою очередь делятся на
domain-referenced test (ориентированные на предметную
область) и mastery-tests (квалификационные тесты).
Целью критериально-ориентированного теста является
выяснение - знает ли испытуемый стандартный учебный
материал (предмет, раздел, тему).
Тест и его характеристики
По цели применения тесты подразделяются на
диагностические, прогностические.
Диагностический
тест
(diagnostic
test).
Тест,
выявляющий
качество
предыдущего
обучения,
трудности и ошибки, типичные для определенного
контингента учащихся; тест, измеряющий достижения и
пробелы в знаниях по конкретной дисциплине.
Прогностический тест (гр. prognostic предвидение) (англ.
aptitude or prognostic test). Тест, предназначенный для
выявления потенциальных способностей испытуемого;
п.т. определяет будущие успехи испытуемого по
избранному предмету, специальности.
По виду контроля бывают тесты текущего,
рубежного, итогового
и заключительного контроля.
Тест и его характеристики
ГОМОГЕННЫЙ ТЕСТ (homogen test). Педагогический тест,
проверяющий структуру и уровень знаний по конкретной
дисциплине.
ГЕТЕРОГЕННЫЙ ТЕСТ (heterogen test). Педагогический
тест, проверяющий структуру и уровень компетенции,
знаний по нескольким коррелирующим между собой
дисциплинам
Полидисциплинарный тест - набор гомогенных тестов
(субтестов) по отдельным дисциплинам.
Междисциплинарный тест - каждое задание теста
должно включает элементы содержания нескольких
дисциплин.
Выполнение
таких
заданий
требует
применения интегративных знаний и умений.
Наиболее пригоден для итоговой аттестации
степени соответствия требованиям ГОС
уровня подготовленности студентов
к профессиональной деятельности.
Тест и его характеристики
КОМБИНИРОВАННЫЙ
ТЕСТ
(комплексный
тест,
интегральный, гибридный). Тест, измеряющий разные
аспекты языка, а также нацеленный на проверку
умений в нескольких видах речевой деятельности.
Комбинациями могут быть чтение-говорение, чтениеписьмо, аудирование-говорение.
Мономорфный тест — тест, объединяющий задания
одной формы, например, задания закрытой формы (в
формате «множественный выбор») в отличие от
полиморфного теста.
Тест профессионально-ориентированный (модульный
тест) — система тестовых заданий, проверяющих
уровень
владения
тестируемым
материалом,
необходимым для общения в учебно-научной (учебнопрофессиональной) сфере деятельности.
Якорный тест — специальный тест небольшой длины,
служащий для выравнивания шкалы.
Тест и его характеристики
Тест достижений - тест, предназначенный для определения
степени освоения испытуемым определенной области
знаний или умений.
Тест обучающий - педагогический тест, включающий
актуальный учебный материал, предназначенный для
формирования у обучаемого определенного уровня
знаний, навыков, умений и позволяющий осуществлять
самоконтроль усвоения материала.
Тест репетиционный - тест, позволяющий проверить
степень готовности испытуемого к педагогическому
тестированию, знакомящий с порядком работы, объемом и
сложностью заданий и т.п.
Тест скорости - тест, состоящий из заданий приближенно
одинаковой трудности, оценка по которому определяется
количеством выполненных заданий в строго ограниченное
время.
Тест смешанный - тест, содержащий черты теста скорости и
теста мощности. Наиболее распространен при оценке
учебных достижений испытуемых.
Общие понятия
СПЕЦИФИКАЦИЯ
ТЕСТА
(лат.
specificatio
перечисление
особенностей
чего-либо)
(test
specifications).
Подробный план теста и процедуры тестирования;
например, сначала описывается цель теста, затем
структура и содержание каждой части с указанием
формы предъявления материала (устная или
письменная), с характеристикой презентируемого
материала
(социально-бытовая,
официальноделовая и пр. проблематика), с указанием на время,
объем заданий, а также основные требования к
правилам проведения педагогического тестирования,
обработке результатов и их интерпретации.
СПЕЦИФИКАЦИЯ ЗАДАНИЯ (item specification)
Подробное описание технологии
разработки и выполнения тестового задания
Общие понятия
Банк тестовых материалов - совокупность систематизированных тестовых заданий и тестов, разработанных
различными авторами, для различных целей,
прошедших апробацию и имеющих соответствующие
характеристики.
Бланк ответа - стандартный бланк для записи ответов на
предложенные в тесте задания; тестируемый отмечает
или записывает номера выбранных ответов или сами
ответы в определенные позиции бланка.
Инструкция о проведении тестирования - документ,
устанавливающий порядок и организацию тестирования,
которые определяются используемой методикой,
техническими и организационными средствами и
запланированными способами обработки.
Матрица ответов - прямоугольная таблица, в каждой
позиции которой указываются ответы участника
тестирования. Обычно номер строки соответствует
номеру испытуемого, а номер столбца соответствует
номеру задания теста.
Общие понятия
Модератор - комплексная характеристика контингента
испытуемых (возраст, пол, регион и т. п.).
План теста - таблица, в которой каждое тестовое задание
соотносится с определенным элементом содержания
учебного предмета, конкретным видом знаний или
умений, позволяющим объективно судить об уровне
подготовленности испытуемых. Указывается также
планируемое время выполнения каждого тестового
задания и всего теста в целом.
Пользователь теста - юридическое или физическое лицо,
использующее тест или результаты тестирования для
оценки уровня подготовленности испытуемых в
определенной области.
Протокол результатов тестирования - официальный
документ о результатах тестирования определенного
контингента испытуемых с указанием тестового балла
для каждого участника тестирования.
Тест и его характеристики
Педагогический тест имеет характеристики качества:
надежность, валидность, практичность, экономичность,
корректность, эффективность.
НАДЕЖНОСТЬ (reliability). Характеристика качества
тестов, отражающая точность педагогических измерений,
степень
постоянства,
стабильности,
устойчивости
результатов тестирования. Надежным считается тест,
который дает постоянные результаты при повторных
предъявлениях. Надежность может определяться по
совпадению двух половин теста (четных и нечетных
заданий); вычисляется как коэффициент корреляции
между результатами по четным и нечетным заданиям для
каждого испытуемого.
Если тест надежный, он, во-первых,
при повторном выполнении дает близкие
результаты; во-вторых, обеспечивает
высокую точность измерений.
Тест и его характеристики
Педагогический тест имеет характеристики качества:
надежность,
валидность,
практичность,
экономичность, корректность, эффективность.
ВАЛИДНОСТЬ (validity) (действенность, адекватность,
пригодность,
обоснованность).
Комплексная
характеристика теста, отражающая обоснованность,
значимость его результатов, адекватность теста целям
измерения (т. е. тест дает ответ на вопрос: измеряют ли
задания то, что планировали их составители).
ВАЛИДАЦИЯ - улучшение качеств теста, например,
после сопоставления результатов по тестовым и
нетестовым формам контроля. Для этого используются:
методика рейтинга (англ, rating оценка, отнесение к
определенному классу) - получение количественных
данных об успеваемости, о качестве выполнения
определенной работы; методика "контрастных групп« при этом сравниваются результаты теста в группах
испытуемых, противопоставленных по качеству, которое
является объектом измерения, например: хорошо - плохо
успевающие учащиеся.
Тест и его характеристики
Педагогический тест имеет характеристики качества:
надежность, валидность, практичность, экономичность
корректность, эффективность.
ПРАКТИЧНОСТЬ
(practicality,
adminis-trability)
(технологичность). Одна из характеристик (показатель)
качества теста, заключающаяся в доступности
инструкций и содержания заданий теста для понимания
тестируемого, состоящая в сравнительной простоте как
организации тестирования, так и проверки, подсчета
результатов, подведения итогов.
КОРРЕКТНОСТЬ - качественная характеристика тестового
задания, согласно которой корректным считается задание,
содержащее один предмет измерения и один правильный
ответ, в отличие от некорректных заданий, имеющих
более одного предмета измерения и допускающих
несколько вариантов правильных ответов. Параметр
"логическая корректность тестового задания" относится к
его формулировке в том случае, если формулировка
задания недвусмысленна, однозначна.
Тестовое задание и его характеристики
Тестовое задание — это задание специфической
формы, элемент теста, минимальная законченная
составляющая
единица
теста,
отвечающая
требованиям технологичности, формы, содержания и,
кроме того, статистическим требованиям:
• известной трудности;
• достаточной вариации тестовых баллов;
• положительной корреляцией баллов задания с
баллами по всему тесту
Трудность тестового задания (уровень трудности) основная количественная характеристика тестового
задания, не зависящая от выборки испытуемых и
отраженная на определенной шкале.
Корреляция (correlation):
1) тенденция теста соотноситься или
не соотноситься с другим тестом;
2) вероятная зависимость между
двумя рядами измерений.
Тестовое задание и его характеристики
Вес (задания) – экспертная оценка сложности и
трудности задания, необходимая для расположения
тестовых заданий по прямой линии роста. Задания с
низким индексом трудности располагаются в начале.
Различают эмпирический (статистический) вес, вес
важности
и
вес
уровня.
Эмпирический
вес
определяется отношением количества испытуемых,
неправильно ответивших на вопрос, к общему
количеству испытуемых. Вес важности получается
после обобщения тестового материала, который с этой
целью располагается иерархически (не важный, не
очень важный, важный, очень важный, особенно
важный). Вес уровня - это оценка ответа на уровне
узнавания одним баллом, на уровне репродукции двумя, на уровне оперативного применения на базе
данного правила - тремя, а на уровне трансформации,
т. е. переноса изученного на решение нового класса
задач, - четырьмя баллами.
Тестовое задание и его характеристики
Стандартизованное тестовое задание - тестовое задание
с известными качественными характеристиками,
подтвержденными экспертизой.
Калиброванное тестовое задание - стандартизованное
тестовое задание с известным уровнем трудности,
определенным на апробации теста.
Балл - условная единица, используемая для оценки
результатов выполнения педагогического теста или его
тестового задания. Истинный балл — гипотетический
балл, который получил бы испытуемый, если бы
выполнил все задания данного теста.
Балл категории ответа на тестовое задание — балл,
соответствующий определенной категории ответа на
политомическое задание в зависимости от уровня
полноты того ответа (например, категория ответа на
уровне узнавания — один балл, на уровне репродукции
— два балла, на уровне оперативного применения - 3
балла и т.д.).
Тестовое задание и его характеристики
Дихотомическое (альтернативное) тестовое задание —
задание, выполнение которого оценивается только
альтернативно:
выполнено
верно
(обычно
символизируется единицей) или выполнено неверно
(обычно символизируется нулем).
Политомическое тестовое задание - задание, выполнение
которого допускает несколько категорий ответа, каждая
из которых оценивается по-разному (например,
полностью верный ответ - 2 балла, частично верный
ответ - 1 балл, неверный ответ - 0 баллов).
Задание закрытого типа - тестовое задание, содержание
которого сопровождается несколькими нумерованными
вариантами
ответа; испытуемому предлагается
выбрать номер правильного ответа.
Задание открытого типа - тестовое задание без указания
возможных
вариантов
ответа;
испытуемому
предлагается самостоятельно указать правильный
ответ.
Тестовое задание и его характеристики
Тестовое задание в виде логические соотношения тестовое задание, при выполнении которого
предполагается установить логические соотношения
между указанными в тестовом задании понятиями.
Тестовое задание на соответствие (тестовое задание
перекрестного выбора) - тестовое задание, при
выполнении которого необходимо установить
соответствие между элементами двух множеств (двух
списков).
Тестовое задание на установление правильной
последовательности - тестовое задание, выполнение
которого состоит в установлении правильной
последовательности операций, действий, событий.
Задания узловые - тестовые задания, общие для всех
или нескольких вариантов одного и того же теста.
Используются для выравнивания результатов
тестирования с использованием различных вариантов
тестов.
Тестовое задание и его характеристики
Дистрактор
(distractor) (альтернатива, отвлекающий
ответ) - вариант ответа на тестовое задание закрытого
типа, похожий на правильный, но не являющийся
таковым. Дистракторы должны быть выражены
одной частью речи, должны представлять вместе с
правильным ответом одну область знания.
Инструкция тестового задания - словесные указания,
испытуемому, связанные с выполнением тестового
задания (выбором правильного ответа из нескольких
вариантов; решением математической задачи и т.п.).
Указывается способ записи правильного ответа (что,
каким образом и где надо отметить, вписать и т.д.).
Инструкция может быть единой для нескольких
заданий теста, если эти задания однотипны
по действиям.
Ключ тестового задания - правильный ответ
для тестового задания.
Понятийный аппарат тестирования
Претест (лат. ргае перед, впереди) (pretest)
(предварительный, пилотный тест). Предварительный
тест, качества и результаты которого обрабатываются,
интерпретируются для составления окончательного
теста.
Претестовое задание – это единица контрольного
материала, содержание, логическая структура и форма
представления
которого
удовлетворяют
ряду
специфических
требований
и
обеспечивают
однозначность оценок испытуемых в выбранной
шкале.
По результатам эмпирической
проверки определенная часть
претестовых заданий превращается
в тестовые, а оставшаяся часть
удаляется из теста.
Понятийный аппарат тестирования
Апробация теста - предварительное тестирование
стратифицированной
выборки
испытуемых
для
определения соответствия теста его целям и априорным
характеристикам. Апробация есть необходимый этап для
создаваемого теста перед его широким использованием.
Стратификация - описание структуры определенного
множества
объектов
(например,
генеральной
совокупности потенциальных участников тестирования),
расслоение его на страты.
Страты — определенные слои в некотором множестве
объектов, например, в генеральной совокупности
потенциальных
участников
тестирования.
Характеризуются различными программами обучения,
региональным
представительством,
бытовыми
условиями и т.п.
Понятийный аппарат тестирования
ВЫБОРКА (sampling).
1. Определение количества объектов (тестируемых,
тестовых
заданий)
для
дальнейшего
анализа,
интерпретации.
2. Группа лиц, подвергающихся тестированию. Выборка
формируется из популяции, более широкой группы
людей. Выборка должна быть репрезентативной, т. е.
при
отборе
испытуемых
следует
учитывать
национальные
особенности
контингента,
образовательный уровень и т. д. для получения
объективных результатов по тесту.
3. Выборка может быть целенаправленной и случайной
ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ (universe).
Гипотетическое множество элементов, объединенных
общей характеристикой, например множество всего
контингента испытуемых .
Понятийный аппарат тестирования
Выборка репрезентативная. Формируемое специальным
образом подмножество генеральной совокупности,
пропорции которого отражают в том или ином масштабе
пропорции всех наиболее значимых страт, реально
существующих
в
генеральной
совокупности.
Репрезентативная
выборка
используется
для
стандартизации теста.
Выборка стандартизации. Формируемое специальным
образом
для
достижения
репрезентативности
подмножество генеральной совокупности, используемое
для определения норм теста.
Выборка случайная. Формируемое случайным образом
подмножество исследуемого множества (генеральной
совокупности) элементов.
Нормативная
выборка
стратифицированная - группа
тестируемых, содержащая представителей всех наиболее
значимых страт, реально существующих в генеральной
совокупности потенциальных испытуемых, причем в той
же пропорции.
Шкалирование результатов тестирования
В последнее время в тезаурусе тестирования все
чаще
встречается
понятие
КИМы
(контрольные
измерительные материалы). Это понятие шире понятия
тест. В КИМы входят средства педагогических измерений
(тесты), бланки ответов, инструкции по технологии и
процедуре тестирования, выполнению заданий, методам
обработки первичных результатов, шкалирования и
оценивания.
Шкала - упорядоченное множество действительных
чисел (индексов), соответствующих ряду возможных
значений
измеряемой
величины;
может
быть
нормативной, порядковой и рейтинговой.
Шкалирование - определенный метод
решения комплекса вопросов, связанных
с выставлением каждому испытуемому
тестового балла по единой шкале
вне зависимости от того, в какой группе
и над каким вариантом теста он работал.
Функции педагогического тестирования
Тестирование в педагогике выполняет три основные
взаимосвязанные функции: диагностическую, обучающую
и воспитательную.
Диагностическая функция заключается в выявлении
уровня знаний, умений, навыков учащегося. Это основная,
и самая очевидная функция тестирования. По
объективности, широте и скорости диагностирования,
тестирование превосходит все остальные формы
педагогического контроля.
Обучающая функция тестирования состоит в
мотивировании учащегося к активизации работы по
усвоению учебного материала. Для усиления обучающей
функции тестирования, могут быть использованы
дополнительные меры стимулирования студентов, такие,
как раздача преподавателем примерного перечня вопросов
для самостоятельной подготовки, наличие в самом тесте
наводящих вопросов и подсказок, совместный разбор
результатов теста.
Функции педагогического тестирования
Воспитательная функция проявляется в периодичности
и неизбежности тестового контроля. Это
дисциплинирует, организует и направляет деятельность
учащихся, помогает выявить и устранить пробелы в
знаниях, формирует стремление развить свои
способности.
Внедрение тестового контроля:
• ведет к совершенствованию приемов обучения,
позволяя оперативно оценивать их результативность
на основе объективных критериев;
• влечет появление новых воспитательных и
обучающих методик;
• превращает преподавателя из транслятора
знаний в разработчика новых программнопедагогических средств, в организатора
самостоятельного обучения.