Transcript Особенности проведения международного исследования PISA

Российская академия
образования
Особенности проведения
международного исследования
PISA-2012 в регионах России
Ковалева Г.С.
Российская академия
образования
Основные цели и задачи
исследования PISA
Основная цель: оценка способности 15летних учащихся использовать
приобретенные в школе знания и опыт для
широкого диапазона жизненных задач в
различных сферах человеческой
деятельности, общения и социальных
отношений.
Дополнительная инновационная цель в 2012
году: оценка чтения электронных текстов,
решение интерактивных задач в ходе
компьютерного тестирования, оценка
сформированности учебных стратегий
Политическая цель: оценка качества и
эффективности образования, равенства
доступа к образованию
3
Российская академия
образования
Основные цели и задачи
исследования PISA
Основные задачи:
• Оценить функциональную
грамотность 15-летних учащихся в
области чтения, математики и
естествознания (приоритетная
область – математика)
• Выявить динамику результатов
(2000, 2003, 2006, 2009, 2012)
• Выявить факторы, позволяющие
объяснить различия в результатах
4
Российская академия
образования
Характеристика российских участников
исследования PISA-2012
• 42 субъекта Российской Федерации (было 45)
• 227 образовательных учреждений
• Около 7000 учащихся 15-летнего возраста,
обучавшихся по программам:
- основного общего образования (7-9 классы),
среднего общего образования (10-11 классы);
- начального и среднего профессионального
образования
Их них: около 5000 – основное исследование; из
них 50% - компьютерное тестирование; + 1750 –
финансовая грамотность.
Дополнительно проводится исследование PISA2012/TIMSS-2011 (около 5000 уч-ся).
Российская академия
образования
Оценка функциональной
грамотности
• Письменное тестирование
– Математика
– Естествознание
– Чтение
– Финансовая грамотность
• Компьютерное тестирование
– Решение проблем
– Математика
– Чтение электронных текстов
6
Структура теста PISA-2012
Российская академия
образования
A standard
set of 13
booklets:
21 test booklets
Booklets
comprised of
1 regular
to 13
20
booklets, each
with two hours
Anworth
easierof test
set
of 13 (four
material
booklets:
30-minute
Booklets
clusters) …
8 to 13 and
Booklets 21
to 27
… and one UH
(“une heure” one-hour)
booklet for
students with
special
educational
needs
7
Структура теста PISA-2012
Российская академия
образования
The regular
two-hour
booklets are
made up of 9
mathematics
Booklet
12 is a
clusters,link
complete
to PISA 2009.
and 3 science
clusters,
and 3 reading
clusters.
The UH booklet is made up
of
•one cluster’s worth of
mathematics items;
•half a cluster of reading
items; and
•half a cluster of science
items.
8
Структура теста PISA-2012
Российская академия
образования
Every booklet
includes at
least one
cluster of
mathematics
items
Every cluster
appears in
every block
(position)
9
Структура теста PISA-2012
Российская академия
образования
Standard
mathematics
clusters PM6A
and PM7A
appear in
Booklets
1 to 7.
Easier
mathematics
clusters PM6B
and PM7B appear
in Booklets
21 to 27.
10
Российская академия
образования
Использование двух комплектов тестов
для повышения валидности шкалы на
низшем уровне
• Значительное число учащихся демонстрирует
результаты ниже уровня 1.
• Введение достаточно легких заданий повысит
возможность описать уровень
математической деятельности учащихся с
низкими результатами.
• Повышается качество теста для оценки
математической грамотности слабых
учащихся.
• Слабые учащиеся более мотивированы при
выполнении заданий, соответствующих их
уровню подготовки.
11
Характеристика «стандартных» и «легких
«тестовых тетрадей
Российская академия
образования
• Чем отличаются?
– «Стандартные» тестовые тетради
включают 2 кластера с более трудными
заданиями
– «Легкие» тестовые тетради включают 2
кластера с наиболее легкими заданиями
• Что общего?
– Оба комплекта тетрадей содержат 5
общих кластеров по математике,
включающих задания разной трудности.
– Общие кластеры по математике включают
3 якорных кластера, включающих задания
по математике, используемые в PISA 2000,
PISA 2003, PISA 2006 и PISA 2009.
– Каждая из 13 тетрадей
соответствует основным
характеристикам дизайна теста в
одинаковых пропорциях.
12
«Стандартный» / «легкий» тест
Российская академия
образования
Правило выбора:
 «Стандартный» тест:
 Страны со средними результатами по
читательской грамотности более 480 в
исследовании PISA-2009 (России – 459)
 Право выбора «стандартный» или «легкий «
тест:
 Страны со средними результатами по
читательской грамотности менее 480 в
исследовании PISA-2009
 Страны, не участвовавшие в PISA-2009
13
Дизайн компьютерного тестирования
Российская академия
образования
 Все кластеры для компьютерного
тестирования рассчитаны на 20 минут.
Все варианты компьютерного теста
включают 2 кластера.
 Ротация кластеров в компьютерном
тесте основана на тех же принципах, что
и в письменном тесте (Принципы
позиционной и количественной
эквивалентности).
14
Структура компьютерного теста
Российская академия
образования
15
Структура компьютерного теста
Российская академия
образования
4 кластера решения проблем
 4 кластера по математике
 2 кластера по чтению
Всего 24 варианта
 Каждый кластер появляется дважды в каждом
положении для решения проблем, математики
и чтения.
Каждый кластер появляется дважды вместе с
кластером из другой области: первый раз в
начале, второй раз – в конце теста.
Каждая область появляется одинаковое число
раз в 24 вариантах и на нее отвечает
одинаковое счисло учащихся.
16
Средний
результат
страны
Российская академия
образования
Характеристики
теста
Способность
учащихся
выполнить
данный тест
Трудность
задания
17
Анализ результатов тестирования
Российская академия
образования
 Анализ шкалы на многомерность по
отдельным шкалам, новым и якорным
заданиям
 Анализ шкалы на надежность
 Анализ DIF (дифференцированное
функционирование заданий): гендерные
различия, языковые различия, различия в
результатах стран
 Анализ пропущенных заданий, отсутствия
ответов
 Анализ дистракторов
18
Российская академия
образования
Графическое представление DIF
• Соответствие модели гендерных различий
Кривые для
девушек и
юношей
почти
совпадают,
что
демонстрир
ует
отсутствие
гендерных
различий
DIF
Соответствие данных
модели
19
Российская академия
образования
База данных национальных
отчетов
20
Российская академия
образования
Статистические характеристики
заданий
с
выбором
ответа
Easy item. Students with ability 0.84 standard
deviation below mean have probability 0.5 of
correct answer
Below 0.2 is
dodgy
Fit of data to model:
1.0 perfect; 0.8 – 1.2
generally acceptable
Multiple
choice
The more able
students get
the answer
correct
The more able
students get
the answer
correct
21
Российская академия
образования
Статистические характеристики
политомических заданий
• Обязательное требование: возрастание уровня способности группы
учащихся при увеличении балла за выполнение задания
22
Российская академия
образования
Графическое представление
статистики
Российская академия
образования
Сравнение национальной и
международной статистики
Национальная
статистики в
сравнении с
международной
Проблемы в задании (в данном
примере нет проблем)
24
Российская академия
образования
Проблемы в национальной
статистике
Российская академия
образования
Проблемы в международной
статистике
В базе данных результаты из 58 стран
Российская академия
образования
Изучение контекстной информации с целью
выявления факторов, объясняющих
результаты
• Концептуальные основы
• Основные анкеты
– Анкета для учащихся
– Анкета для администрации ОУ
– Анкета о системе образования
• Практическая реализация анкетирования
– Ротационная модель анкеты для учащихся
– Компьютерная анкета для администрации ОУ
• Дополнительные анкеты
– Использование ИКТ
– Образовательные траектории
– Анкета для учителя
– Анкета для родителей
– Анкета о здоровье
– Анкета о режиме дня и использовании свободного времени
27
Российская академия
образования
Соответствие целям исследования и
политическим установкам
 Сравнительный мониторинг систем
образования
 Выявление эффективных систем
образования
 Формирование базы данных
 Оценка доступности и качества
образования
 Условия формирования математической
грамотности
 Совершенствование дизайна сбора
контекстной информации
28
Содержание контекстной информации
Российская академия
образования
Antecedents
Students
Classrooms
Processes
Outcomes
Gender, grade level,
SES
Attendance/truancy
mathematics
achievement
Educational career;
grades
outside class activities - e.g.,
participation in after school
programs
mathematics-related
attitudes, beliefs and
motivation
Immigration
background
Motivation, engagement
general school-related
attitudes and behaviour,
e.g. commitment,
truancy
family environment
and support
learning and thinking strategies
Learning motivation,
educational aspirations
ICT experience,
attitudes, skills
Learning time (including
homework and private tuition)
Class size; SES & ethnic
composition
quality of instruction: structure,
support, challenge
Teacher education
/training, experience,
expertise, beliefs
Opportunity to learn:
implemented curriculum,
assigned tasks, mathematicsrelated activities
instructional time; grouping,
assessment and feedback
aggregated student
variables
Содержание контекстной информации
Antecedents
Российская академия
образования
Schools
SES and ethnic
composition
Processes
Outcomes
Achievement orientation, shared
norms, leadership, teacher
morale and cooperation;
professional development
aggregated student
variables
admission and recruiting policies,
tracking, course offerings/school
curriculum, evaluation
promotion/retention
and graduation rates
Teacher-student relations,
supportive environment
attendance
Economic wealth,
social (in)equality
School funding, tracking and
allocation, policies for
professional teacher
development, support for special
needs and language minority
students, hiring and certification
policies
aggregated student
variables
Immigration policies
accountability and evaluation
policies, locus of decision making,
average graduation level
cultural norms and
values., teacher status
Curriculum, graduation
requirements, standards. shadow
% in STEM disciplines
Affluence of the
community
school funding, public
vs. private
School size
parental involvement
Countries
Российская академия
образования
Ротационная модель
анкеты для учащихся
Форма A
Форма B
Форма C
Общий блок (8 мин)
Rotated questions A
11 min
Rotated questions B
11 min
Rotated questions C
missing
Rotated questions A
missing
Rotated questions B
11 min
Rotated questions C
11 min
Rotated questions A
11 min
Rotated questions B
missing
Rotated questions C
11 min
-> Увеличение содержания на 1/3 31
Российская академия
образования
Форма адаптации
инструментария (MAS)
32
Конечные
данные
Начальные
требования
Данные,
подтверждающие
качества
PISA
Технические
стандарты
качества
Руководства
по
проведению
Мероприятия
Российская академия
образования
Обеспечение качества исследования
PISA
Наблюдения за
проведением
тестирования в ОУ
Посещение
национального центра
+
Верификация перевода
Контроль за качеством
печати
Анализ данных апробации
и основного
исследования
Адаптация руководств
TAS, BAS, QAS,
Оптическая проверка
инструментария
Выборка Keyquest…
Анализ
данных
Результаты
Объективные и
сравнимые базы
данных
Цель
Результаты PISA
должны быть
релевантны для
национальных
политиков в
образовании
33
Российская академия
образования
Вопросы и
комментарии
Ковалева Галина Сергеевна,
руководитель Центра оценки качества
образования Института содержания и
методов обучения РАО
Тел./факс: (499)-246-24-21
e-mail: [email protected]
сайт: www.centeroko.ru