Transcript Представление результатов третьего этапа проекта «Доработка, апробация и внедрение инструментария и процедур оценки качества начального общего образования в соответствии с Федеральными государственными образовательными стандартами»

Представление результатов
третьего этапа проекта
«ДОРАБОТКА, АПРОБАЦИЯ И ВНЕДРЕНИЕ
ИНСТРУМЕНТАРИЯ И ПРОЦЕДУР ОЦЕНКИ
КАЧЕСТВА НАЧАЛЬНОГО ОБЩЕГО
ОБРАЗОВАНИЯ В СООТВЕТСТВИИ С
ФЕДЕРАЛЬНЫМИ ГОСУДАРСТВЕННЫМИ
ОБРАЗОВАТЕЛЬНЫМИ СТАНДАРТАМИ»
Научный руководитель проекта – Ковалева Г.С.
http://www.isiorao.ru
Участники проекта
Институты РАО: Институт стратегических
исследований в образовании; Институт содержания
и методов обучения; Институт управления
образованием
Московский центр качества образования
Центр измерений в образовании издательства
«Просвещения»
Системы образования 21 субъектов РФ (Вологодская
область, Иркутская обл., Калининградская обл., Калужская обл.,
Краснодарский край, Красноярский край, Ленинградская обл., г. Москва,
Московская обл., Нижегородская обл., Новосибирская обл., Омская обл.,
Республика Марий Эл, Республика Саха, Самарская обл., Тамбовская
обл., Тверская обл., Томская обл., Хабаровский край,, Челябинская обл.,
Ярославская обл.).
Студенты магистерской программы «Измерения в
психологии и образовании» НИУ ВШЭ
Цели и задачи проекта
Цель проекта - доработка, апробация и внедрение
процедур оценки качества начального общего
образования в соответствии с Федеральными
государственными образовательными стандартами.
Задачи проекта на 2011 год
1. Описание имеющихся подходов к проведению процедур
оценки качества начального образования в РФ.
2. Разработка модели проведения процедур оценки
качества начального образования.
3. Апробация модели проведения процедур оценки
качества начального образования.
4. Проведение семинара для организаторов апробации в
2011 г.
5. Анализ результатов апробации, подготовка
предложение по совершенствованию модели проведения
процедур оценки качества начального образования.
Цели и задачи проекта
Задачи проекта на 2012 год
1. Доработка модели проведения процедур оценки
качества начального образования.
2. Апробация доработанной модели проведения процедур
оценки качества начального образования.
3. Проведение семинара для организаторов апробации
4. Анализ результатов апробации доработанной модели.
5. Подготовка пакета документов для организации
распространения модели проведения процедур оценки
качества начального образования.
Цели и задачи проекта
Задачи проекта на 2013 год
1. Распространение модели проведения процедур оценки
качества начального образования.
2. Проведение семинара по итогам распространения
модели
3. Анализ результатов распространения модели
проведения процедур оценки качества начального
образования, подготовка предложений по внедрению
модели проведения процедур оценки качества начального
образования.
Актуальные направления
оценки качества начального
образования в РФ
1. Проведение внешней (независимой) оценки качества
начального образования в образовательном учреждении с целью
получения достоверной информации об индивидуальных достижениях
выпускников начальной школы образовательного учреждения для
широкого круга задач (аккредитации ОУ, аттестации педагогических
кадров, получения информации об обеспечении гарантий граждан по
обеспечению равного доступа всех обучающихся в данном
образовательном учреждении к качественному образованию и др.).
2. Проведение внешней (независимой) оценки качества
начального образования на различных уровнях (муниципальном,
региональном, национальном) с целью получения достоверной
информации о состоянии системы начального образования и
тенденциях ее изменения, а также факторах, влияющих на качество
начального образования для управления качеством образования
(мониторинговые исследования).
Система оценки качества образования в
начальной школе
Внешняя оценка:
государственные службы
Необходимые
дополнительные
данные/исслед.
итоговая
оценка
аккредитация ОУ
аттестация кадров
накопленная
оценка
+
мониторинг системы
образования
Выборочное
обследование
работ
учащихся
чтение, УУД
три итоговые
работы
Внутренняя оценка:
учитель, ученик,
ОУ и родители
русский математика
Задачи, реализуемые в ходе процедур
оценки качества образования по двум
направлениям
- Разработка стандартизированных измерительных и
инструктивно-методических материалов для оценки индивидуальных
достижений обучающихся в соответствии с требованиями ФГОС (2
комплекта)
- Организационное и технологическое обеспечение проведения
процедур ОКО;
- Проведение обследований в образовательных учреждениях;
- Обеспечение достоверности получаемой информации об
индивидуальных достижениях выпускников начальной школы;
- Подготовка специалистов для проведения процедур ОКО;
- Обработка и анализ результатов ОКО;
- Формирование базы данных результатов ОКО;
- Информационное обеспечение процедур ОКО;
- Представление результатов ОКО для возможного их
использования различными пользователями;
- Организация обсуждений результатов ОКО с представителями
различных групп пользователей
Содержательная и критериальная основа
оценки качества образования
Оценка индивидуальных
достижений обучающихся
Оценка состояния системы
начального образования
• планируемые результаты
освоения образовательной
программы начального
образования (раздел
«Выпускник научится»).
• планируемые результаты
освоения образовательной
программы начального
образования (разделы
«Выпускник научится» и
«Выпускник получит
возможность научиться»), а
также требования ФГОС к
условиях реализации
основной образовательной
программы начального
образования.
Состав инструментария оценки качества
начального образования
Оценка индивидуальных
достижений обучающихся
(все выпускники ОУ)
1. КИМ для оценки предметных
результатов (математика, русский
язык, окружающий мир)
2. КИМ для оценки
метапредметных результатов
(учебные компетенции: работа с
информацией, регулятивные и
коммуникативные умения)
3. Инструктивно-методические
материалы (Регламенты,
Положения, Методические
рекомендации по использованию
результатов и др.)
Оценка состояния системы
начального образования
(выборочная совокупность)
1. КИМ для оценки предметных
результатов (математика, русский язык,
окружающий мир)
2. КИМ для оценки метапредметных
результатов (учебные компетенции:
работа с информацией, регулятивные и
коммуникативные умения)
3. КИМ для оценки личностных
результатов (самоидентификация,
смыслообразование, этические и
моральные нормы)
4. Инструктивно-методические материалы
(Регламенты, Положения, Методические
рекомендации по использованию
результатов и др.)
5. Инструментарий для сбора контекстной
информации (анкеты для учащихся,
учителей, родителей, администрации ОУ)
Особенности измерительных материалов
Оценка индивидуальных
достижений обучающихся
1. Время выполнения: 45 мин.
2. Структура: псевдо-параллельная
(за заданиями базового уровня
следуют задания повышенного
уровня)
3. Варианты независимые или
связанные якорными заданиями
4. Теория измерения: классическая
теория тестов (+IRT)
5. Преобладает критериальноориентированная оценка
6. Возможность выделения уровней
достижения планируемых
результатов
Оценка состояния системы
начального образования
1. Время выполнения: 45 мин.
2. Структура: блочная (нет строгого правила
расположения заданий базового и
повышенного уровней )
3. Варианты связаны повторяющимися
блоками (возможность построения
единой шкалы и выявления тенденций)
4. Теория измерения: классическая теория
тестов и IRT
5. Преобладает нормативноориентированная оценка
6. Возможность выделения уровней
достижения планируемых результатов,
построения профилей овладения
планируемыми результатами (по
содержанию и видам деятельности)
Основные пользователи
результатов оценки качества
начального образования
Обучающиеся и их родители (законные представители);
- Органы законодательной и исполнительной власти;
- Ведомства
(федерального
и
регионального
подчинения), осуществляющие контрольные функции;
- Муниципальные органы управления образованием;
- Учредители образовательных учреждений;
- Образовательные и научные учреждения;
- Работодатели и их объединения;
- Общественные организации, заинтересованные в
оценке качества образования;
- Средства массовой информации;
- Иные лица, заинтересованные в оценке качества
образования.
-
Показатели качества
начального образования
Группа 1: распределение обучающихся по уровням
освоения
основной
образовательной
программы
начального общего образования по математике, русскому
языку, окружающему миру, личностным и метапредметным
результатам (для всех обучающихся и отдельных групп);
Группа 2: распределение обучающихся по качеству
(структуре)
освоения
основной
образовательной
программы начального общего образования (профили
обучающихся по выделенным планируемым результатам,
элементам
содержания,
способам
действий
или
компетенциям для всех обучающихся и отдельных групп);
Показатели качества
начального образования
Группа 3: распределение обучающихся по уровням
сформированности учебной мотивации по отдельным
предметам (для всех обучающихся и отдельных групп);
Группа 4: распределение обучающихся по уровням
готовности к обучению в основной школе (для всех
обучающихся и отдельных групп).
Основные результаты
3 этапа проекта
1. Доработана модель проведения процедур
оценки качества начального образования.
По двум направлениям осуществлена доработка
регламентов, демоверсий, кодификаторов,
спецификаций КИМ, технологии обработки
результатов, проектов нормативных документов,
регламентирующих проведение процедур,
алгоритмов обработки результатов, методических
рекомендаций по использованию результатов
процедур оценки качества начального образования.
Основные результаты
3 этапа проекта
2. Осуществлена апробация доработанной
модели проведения процедур оценки качества
начального образования в 20 субъектах РФ.
2.1. Разработаны апробационные комплекты КИМ (по 12
вариантов КИМ по каждой из трех предметных областей) в
соответствии с доработанными спецификациями,
кодификаторами и демоверсиями КИМ для оценки качества
начального образования.
2.2. Проведены два семинара по обучению
организаторов проведения апробации доработанной
модели оценки качества начального общего образования:
один в очном режиме - 28.02-01.03.2012 года (г.Москва),
один в дистанционном режиме (вебинар) - 15.03.2012 г.
Основные результаты
3 этапа проекта
2.3. Проведена экспертиза всех разработанных
документов проекта (участвовало 282 эксперта
регионального уровня).
2.4. Проведено тестирование 74 246 учащихся
4-х классов 959 учреждений общего образования по
математике, русскому языку и окружающему миру.
2.5. Проведен вебинар по использованию
результатов апробации (18.05.2012).
2.6. Проведена обработка и первичный анализ
данных апробации в 20 субъектах РФ.
Основные результаты
3 этапа проекта
2.7. Дополнительно проведена экспериментальная
проверка инструментария для оценки сформированности
метапредметных и личностных результатов учащихся, а
также сбора контекстной информации для оценки
качества образования и объяснения полученных
результатов (например, анкет для изучения мнений
родителей о качестве начального образования). Проведено
Интернет-тестирование учителей начальной школы с
целью получения информации о профессиональной
компетентности учителей начальной школы .
2.8. Апробирована система сбора (загрузки) и обработки
результатов тестирования на основе сервера
Московского Центра качества образования.
Результаты апробации инструментария
для оценки достижения планируемых
результатов по математике, русскому
языку и окружающему миру
Первые итоги апробации 2 этапа:
состав участников апробации
№
1
2
3
4
5
6
Число
Предмет
Математика (1)
Математика (2)
Русский язык (1)
Русский язык (2)
Окружающий мир (1)
Окружающий мир (2)
регионов
ОУ
классов
учащихся
20
453
1053
20158
20
382
921
17184
20
430
1010
19294
20
398
917
16909
20
408
913
16672
20
389
915
16704
Некоторые характеристики
измерительных материалов (1)
Предмет
Число
заданий
Макс.
балл
Средний
балл
Надежность
% учащихся , не
приступавших к
выполнению
последнего задания
МА (1)
20
24
17,1
0,8
2
МА (2)
20
28
19,1
0,82
10
РУ (1)
20
26
16,4
0,83
12
15
0,80
2 (10)
РУ (2)
15 (20) 22 (30)
ОМ (1)
20
24
16,7
0,77
4
ОМ (2)
20
26
16,8
0,78
20 (3)
Некоторые характеристики
измерительных материалов (2)
МА1 (2011)
МА1 (2012)
22
Основные показатели, по которым представляются
предметные результаты
1. Успешность освоения учебной программы (общий
балл за выполнение всей работы по предмету по 100
балльной шкале).
2. Достижение базового уровня – балл за выполнение
заданий базового уровня.
Критерий 1 – критическое значение достижения
базового уровня (выполнено 50% заданий базового
уровня или более);
Критерий 2 – перспективное значение достижения
базового уровня, которое может использоваться после
успешного введения стандартов второго поколения
(выполнено 65% заданий базового уровня или более).
-
23
Основные показатели, по которым представляются
предметные результаты
3. Уровни достижений: базовый, повышенный, высокий, пониженный,
недостаточный
Базовый уровень достижений - точка отсчета при построении всей
системы оценки и организации индивидуальной работы с учащимися.
4. Успешность образовательной миссии учителя (условное название) соотношение освоения раздела планируемых результатов начального
образования «Выпускник научится» и раздела «Выпускник получит
возможность научиться». Данный показатель дает возможность оценить
степень освоения обязательной для всех учащихся части программы
(раздел «Выпускник научится») по сравнению с частью программы
(раздел «Выпускник получит возможность научиться»), обязательной для
преподавания и направленной на расширение и развитие интереса к
изучению данного предмета, пропедевтику обучения, углубленное
изучение предмета для наиболее одаренных детей.
24
Перечень статистических форм, полученных
образовательными учреждениями
По каждому образовательному учреждению (классу)
1. Результаты выполнения итоговой работы по каждому
предмету по классу (форма Ф-ОИД-1 или форма ОКО-1);
2. Результаты оценки индивидуальных достижений по
каждому предмету (форма Ф-ОИД-2.)
3. Результаты выполнения итоговой работы по каждому
предмету по отдельным заданиям (форма Ф-ОИД-3. или
Ф-ОКО-2 ).
Ф-ОИД-1: Ф – форма, ОИД – оценка индивидуальных достижений
Ф-ОКО-1: Ф – форма, ОКО – оценка качества образования.
25
Примеры
статистических
форм, полученных
образовательными
учреждениями.
Пример 1.
-
26
Примеры
статистических
форм, полученных
образовательными
учреждениями.
Пример 2.
-
27
Примеры статистических форм, полученных
образовательными учреждениями.
Пример 3.
28
Примеры
статистических
форм, полученных
образовательными
учреждениями.
Пример 4.
-
29
Примеры статистических форм, полученных
образовательными учреждениями.
Пример 5.
30
Распределение учащихся 4 класса по уровням
достижения планируемых результатов по
математике в соответствии с ФГОС начальной
школы
Учащиеся (в %),
не достигшие
базового
уровня
подготовки
16
15
03
19
11
13
10
Вся выборка
18
17
08
07
06
01
20
05
04
12
02
14
09
15
19
2 10
3 13
4 12
2 16
4 14
4 16
5 16
5 17
4 20
6 18
5 19
3 21
6
19
6
19
5
20
5
21
5
21
8
20
9
22
Недостаточный
Пониженный
100
80
60
40
20
0
17
25
26
28
22
25
25
22
23
22
19
22
24
20
21
21
24
22
26
26
19
20
МАТЕМАТИКА
40
45
40
35
37
35
36
37
35
35
39
35
35
40
34
38
36
37
34
34
37
40
Учащиеся (в %),
достигшие
базового
уровня
подготовки и
выше
37
20
22
21
25
22
21
21
21
21
18
19
17
16
20
16
15
15
14
12
13
60
80
Базовый
Повышенный
Высокий
100
Распределение учащихся 4 класса по уровням
достижения планируемых результатов по русскому
языку в соответствии с ФГОС начальной школы
Учащиеся (в %),
не достигшие
базового
уровня
подготовки
16
15
03
11
08
12
Вся выборка
06
19
17
01
20
10
07
02
18
04
09
05
14
13
14
17
17
18
1 10
3 11
3 12
2 13
3 13
4 12
2 14
4 14
2 16
3 15
3 16
4 16
4 16
5 16
3 18
6 16
7 15
Недостаточный
Пониженный
100
80
60
40
20
0
19
24
33
30
39
31
27
31
25
30
30
22
30
28
29
30
34
29
39
22
29
43
20
40
РУССКИЙ ЯЗЫК
48
44
45
40
40
41
41
38
43
43
41
41
41
42
41
36
37
33
43
44
60
Учащиеся (в %),
достигшие
базового
уровня
подготовки и
выше
33
20
15
16
10
15
17
13
21
11
11
19
11
13
10
9
10
13
7
13
5
80
Базовый
Повышенный
Высокий
100
Распределение учащихся 4 класса по уровням
достижения планируемых результатов по
окружающему миру в соответствии с ФГОС
начальной школы
Учащиеся (в %),
не достигшие
базового
уровня
подготовки
16
15
17
03
04
08
01
Вся выборка
13
20
18
11
09
10
19
06
05
07
02
12
14
13
16
17
37
2 9
4 9
2 11
3 11
3 11
3 13
3 13
2 15
3 14
4 14
5 14
4 15
3 16
5 16
6 17
6 18
6 19
Недостаточный
Пониженный
100
80
60
40
20
0
23
Учащиеся (в %),
достигшие
базового
уровня
подготовки и
выше
35
37
47
27
37
40
36
37
39
42
45
46
49
49
33
52
51
47
43
51
40
20
ОКРУЖАЮЩИЙ МИР
38
33
23
33
12
26
37
30
22
29
18
30
21
28
21
29
18
27
15
28
11
25
12
22
12
24
9
33
15
21
8
22
8
23
9
19
15
19
6
25
10
40
60
80
Базовый
Повышенный
Высокий
100
Приоритетные
направления апробации
2012 года
1. Создание информационных ресурсов по результатам
оценки качества образования;
2. Разработка рекомендаций и методических материалов
по повышению квалификации учителей начальной
школы в соответствии с требованиями ФГОС НО;
3. Разработка рекомендаций и методических материалов
по организации работы с детьми, демонстрирующими
высокий уровень образовательных достижений;
4. Разработка рекомендаций и методических материалов
по организации работы с детьми, не освоившими
требования ФГОС на базовом уровне.
Примеры статистических форм
Пример 6.
35
Результаты апробации инструментария
для получения контекстной
информации с целью оценки качества
образования и объяснения
полученных результатов
Влияние используемых учебников
на успешность выполнения тестов
Результаты опроса родителей о
качестве начального образования
Удовлетворенность родителей качеством
начального образования
100
90
80
77 %
70
60
81.7
50
85.9
75.7
78.2
2
3
76.7
76.6
69.6
71.5
7
8
40
30
1
1.
2.
3.
4.
4
Комфортность образовательной среды
5.
Качество образовательной среды
6.
Социализация учащихся
7.
Индивидуальная работа с учащимися:8.
поддержка познавательной активности
5
6
Информированность родителей
Безопасность учащихся в школе
Материально-техническое обеспечение
Здоровье-сберегающие ресурсы школы
Шкала 1. Комфортность образовательной
среды
Шкала 7. Материально-техническое
обеспечение
Шкала 8. Здоровье-сберегающие ресурсы
школы
Основные особенности системы оценки
образовательных результатов в соответствии с
ФГОС
• Планируемые
результаты
–
содержательная
и
критериальная основа обучения и оценки
• Оценка предметных, метапредметных, личностных
результатов
• Оценка способности решать учебно-познавательные и
учебно-практические задачи
• Использование
стандартизированных
и
нестандартизированных методов (устных и письменных,
индивидуальных и групповых, само- и взаимооценки и др.)
• Проектная деятельность как элемент итоговой оценки
• Оценка динамики учебных достижений
• Введение мониторинговых исследований на разных
уровнях (сбор контекстной информации, использование
неперсонифицированных данных и др.
Необходимые условия успешного внедрения
системы оценки качества начального
образования
1. Встраивание
разрабатываемой
системы
оценки качества начального образования в
федеральную систему оценки и мониторинга
качества общего образования
2. Объединение
усилий
федеральных
и
региональных структур и специалистов в
разработке измерительных материалов
3. Создание
механизмов
использования
результатов
оценки
индивидуальных
достижений и качества образования
Направления дальнейшей работы по
совершенствованию и внедрению модели
оценки качества начального образования
1. Совершенствование модели по выделенным
направлениям.
2. Стандартизация измерительных материалов
и процедур
3. Совершенствование технологии сбора и
обработки данных
4. Оказание помощи регионам в выстраивании
региональных
систем
оценки
качества
образования
(повышение
квалификации,
экспертиза, совместные разработки)
Спасибо за внимание!
Ковалева Галина Сергеевна,
руководитель отдела оценки качества
образования Института содержания и
методов обучения РАО
Тел./факс: (499)-246-24-21
e-mail: [email protected]
сайт: www.centeroko.ru