Transcript Document

Семинар
«Интерпретация и представление результатов оценки образовательных достижений
для различных групп пользователей»
30-31 октября 2014 года, г. Москва
СЕССИЯ 6
Контекстуализация образовательных
результатов при оценке
деятельности школ
М.А.Пинская
ведущий научный сотрудник Центра социальноэкономического развития школы, к. п. н.
Постановка проблемы
Управление




В фокусе внимания - высокие учебные результаты
Вне внимания – условия работы школ
Ответственность за результат возлагается на школу
Поощряются только школы, достигшие высоких результатов
(внимание только к «топу»)
 Различия в усилиях (эффективности) школ игнорируется
 Школы, нуждающиеся в помощи, уходят в тень.
Постановка проблемы
 В системе управления качеством не учитывается принципиальная,
подтвержденная многочисленными исследованиями связь уровня
образовательных результатов с социальными характеристиками
контингента.
 Проводится оценка результативности школ, а не эффективности.
 Управление качеством не основывается на значимых данных, нет
оснований для принятия адресных решений.
Устойчивое отставание школ, работающих в
сложном социальном контексте, 2012 г.
Образовательные траектории школьников,
2014 г.
В школах с низким ИСБ после 9-го класса в 10-й переходит 50 % учеников.
В школах с высоким ИСБ – 80%.
В школах с низким ИСБ 60% выпускников 11-го класса поступает в вузы.
В школах с высоким ИСБ - 90%.
В школах с низким ИСБ 4,5% мальчиков, закончивших 11 класс идут служить в
армию.
В школах с высоким ИСБ – 1%.
Исследование ИО НИУ ВШЭ
Цель исследования
Разработка предложений по совершенствованию систем оценки
образовательных учреждений с учетом социально-экономических
обстоятельств деятельности ОУ (т.н. контекстуализация результатов)
Создание оснований для повышения эффективности работы школ.
Объект исследования (выборка)
Школы Московской, Ярославской и Ивановской области (около 1140 школ,
представивших сведения о результатах ЕГЭ по двум предметам)
Предмет исследования
Обусловленность показателей успеваемости характеристиками социального
состава учащихся, текущего ресурсного обеспечения школ и
характеристиками социально-экономического развития территорий
Данные
Данные по школам
«Социальные паспорта» школ (формировались по запросу):
1) показатели успеваемости (в исследовании – только ЕГЭ);
2) характеристики кадрового и материального обеспечения;
3) характеристики контингента (численность; доля детей из семей,
попадающих в группы социального риска по многодетности, безработице,
инвалидности и т.п; образование родителей и т.п.)
Данные по территориям
Статистические паспорта муниципальных образований (Росстат, в открытом
доступе):
степень урбанизации поселений, уровень доходов местного населения,
состояние инфраструктуры (жилой фонд, здравоохранение и т.п.)
Контекстные данные, учитывающиеся в странах OЭСР
Страна
Бельгия
Демографи
-ческая
информаци
я
Иммиграци онный статус
Особые
учебные
проблемы
Состав
семьи
Образова ние
родителей
Возраст
пол, страна
рождения.
Возраст в
момент
иммиграции
Родной язык,
на котором
говорят дома
Затруднения в
учёбе,
обстоятельств
а повторения
классов.
Ученик
воспитывает
ся вне дома группа риска
Образование
матери
Греция
Возраст ,
пол, место
рождения
Испания
Возраст, пол
Ученики со
специальным
и
потребностям
и
Страна
рождения.
Язык дома.
Ученики со
специальными
потребностями.
Анкета по
структуре
семьи
Экономи ческие
ресурсы
Получаемая
социальная
помощь
Гранты на
обучение,
доходы
семьи,
Уровень
образования
родителей
Занятость
родителей
Уровень
образования
родителей
Занятость
родителей
Культурные
Гранты,
получаемые
учеником
Контекстные данные в оценке качества
образования
Швеция: пол, возраст, место рождения, этническая принадлежность, длительность
пребывания в иммиграции, наивысший достигнутый уровень образования родителей…
Франция: пол, возраст, место рождения, национальность, класс обучения, изучавшиеся
предметы, профессия и статус занятости родителей, размер домохозяйства, финансовая
помощь и пособия…
Норвегия: пол, возраст, миграционный статус семьи, страна/территория происхождения,
возраст на момент иммиграции, материальный статус родителей (по совокупности
показателей), возраст рождения первого ребёнка, число братьев и сестёр, порядок
рождения, наивысший достигнутый уровень образования родителей, статус безработных у
родителей в течение последних 10 лет…
Польша: пол, возраст, дислексия…
Португалия: пол, возраст, язык внутрисемейного общения, отметки, повторное обучение,
наличие особых потребностей, число братьев и сестёр, образование родителей, статус
занятости родителей, наличие компьютера и Интернета, финансовая помощь и пособия…
Социальные характеристики
контингента учащихся
Доля учащихся
• из многодетных семей
• из неполных семей
• из семей, находящихся под опекой
• из семей, где работает один из родителей
• из семей, где оба родителя являются
безработными
• из семей, где один из родителей является
безработным
• из семей, где хотя бы один из родителей
является инвалидом
• из семей, где оба родителя имеют высшее
образование
• из семей, где один из родителей имеет
высшее образование
Доля учащихся
• из семей, находящихся в социально
опасном положении
• из семей, проживающих в
благоустроенных квартирах
• из семей, проживающих в квартирах с
частичными удобствами
• из семей, проживающих в частном
секторе
• для которых русский не является родными
языком
• проживающих в приемных семьях
• состоящих на внутришкольном учете
• состоящих на учете в комиссиях на делам
несовершеннолетних
Характеристики образовательных
учреждений и поселений
Образовательные учреждения
• Вид образовательного учреждения
(лицей, гимназия, школа с углубленным
изучением отдельных предметов или
обычная среднеобразовательная
школа)
• Численность контингента (размер
образовательного учреждения)
• Соотношение числа учащихся к числу
учителей
• Доля учителей высшей категории
• Доля учителей первой категории
• Средний возраст учителей
Поселения
• Статус поселения (городское или
сельское)
• Численность населения
• Доля ветхого и аварийного жилья в
общем жилом фонде
• Среднемесячная заработная плата
работников предприятий и
некоммерческих организаций
Общая концептуальная схема
образовательные
результаты
Краткая характеристика
результатов анализа
• Характеристики социального состава учащихся позволяют объяснить до
15% различий в образовательных результатах
• На долю характеристик образовательных учреждений (кадры, размер,
тип ОУ) приходится до 20% различий
• На долю качественных различий между территориями – до 10%.
• Основные различия между территориями проявляют себя
преимущественно через различия в социальном составе учащихся и
качественных характеристиках школ (т.е. учитывать территориальные
различия необязательно, если есть возможность дифференцировать
непосредственно сами образовательные учреждения).
Краткая характеристика
результатов анализа
Доля учащихся из семей, где оба
родителя имеют высшее
образование
образовательные результаты
Доля учащихся
- из неполных семей
- состоящих на различных видах
учета
- для которых русский язык не
является родным
Специфика контекстов в разрезе регионов:
«видимое» сходство…
Средние
результаты ЕГЭ
в трех регионах
практически
равны…
Специфика контекстов в разрезе регионов:
…и «невидимые» различия
…но они скрывают
структурные
различия, связанные
с кадровым
обеспечением,
социальным
составом учащихся,
видом учреждений и
т.п.
С учетом условий
«опережение»
Ярославской и
Ивановской области
составляет 2-2.5
балла!
Конструкция Индекса социального
благополучия школы (ИСБШ)
С учетом доказанного вклада рассмотренных в анализе показателей в различия
успеваемости на текущем этапе могут быть предложены две возможных
конструкции Индекса социального благополучия школы:
ИСБШ = 85 + 15 × «доля учащихся из семей, где оба родителя имеют высшее
образование» – 20 × «доля учащихся из неполных семей» – 65 × «доля учащихся,
состоящих на различных видах учета»
ИСБШ (с учетом особенностей языка) = 85 + 15 × «доля учащихся из семей, где
оба родителя имеют высшее образование» – 15 × «доля учащихся из неполных
семей» – 55 × «доля учащихся, состоящих на различных видах учета» – 15 ×
«доля учащихся, для которых русский язык не является родным»
Конструкция Индекса социального
благополучия школы (ИСБШ)
Конструкция Индекса социального
благополучия школы (ИСБШ+)
Связь между результатами ЕГЭ и
уровнем образования родителей учащихся
Связь между результатами ЕГЭ и долей
учащихся, состоящих на вн.-школьном учете
Связь между результатами ЕГЭ и
долей учителей высшей категории
Связь между результатами ЕГЭ и
численностью контингента учащихся
Пример использования ИСБШ для выявления
потенциально «слабых» и «сильных» школ
Группировка школ по значению ИСБШ:
Школы разделяются на 5 квинтилей (равных по численности
групп) со значениями Индекса от наименьшего к наибольшему
В качестве примера рассмотрим: городские СОШ Московской области
Уровень ИСБШ (группы по
квинтилям)
Интервал
фактических
значений ИСБШ
Средний балл ЕГЭ по
русскому языку
в группе
Средний балл ЕГЭ по
математике
в группе
(0; 79.5]
58.1
40.7
Ниже среднего (2-й квинтиль)
(79.5; 81.6]
59.1
42.9
Средний (3-й квинтиль)
(81.6; 83.9]
62.6
44.4
Выше среднего (4-й квинтиль)
(83.9; 86.4]
63.0
45.6
Высокий (5-й квинтиль)
(86.4; 100]
64.2
46.7
Низкий (1-й квинтиль)
Пример использования ИСБШ для выявления
потенциально «слабых» и «сильных» школ
Группа городских СОШ Московской области с
высоким значением ИСБШ (5-й квинтиль)
Горизонтальная линия = среднее в группе
значение ЕГЭ по математике (46.7)
Вертикальная линия = среднее в группе
значение ЕГЭ по русскому языку (64.2)
В области пересечения линий (овал в центре)
сосредоточены типичные для выбранного
контекста случаи
Пример использования ИСБШ для выявления
потенциально «слабых» и «сильных» школ
Школы, существенно выпадающие из
центральной области, представляют интерес:
Левый-нижний квадрант: школы,
демонстрирующие низкие результаты
(недостаточные для своей группы)
Правый-верхний квадрант: школы,
демонстрирующие высокие результаты
(опережающие в своей группе)
На стыке верхних квадрантов: смешаный случай
– неустойчивое опережение
Пример использования ИСБШ для выявления
потенциально «слабых» и «сильных» школ
Группа городских СОШ Московской области с
низким значением ИСБШ (1-й квинтиль)
Горизонтальная линия = среднее в группе
значение ЕГЭ по математике (40.7)
Вертикальная линия = среднее в группе
значение ЕГЭ по русскому языку (58.1)
Пример использования ИСБШ для выявления
потенциально «слабых» и «сильных» школ
Группа городских СОШ Московской области с
низким значением ИСБШ (1-й квинтиль)
Горизонтальная линия = среднее в группе
значение ЕГЭ по математике (40.7)
Вертикальная линия = среднее в группе
значение ЕГЭ по русскому языку (58.1)
Левый-нижний квадрант: школы,
демонстрирующие низкие результаты
(недостаточные для своей группы)
Правый-верхний квадрант: школы,
демонстрирующие высокие результаты
(опережающие в своей группе)
«Контекстуализация» рейтинга
Место в
рейтинге
Название
Район
Средний балл ЕГЭ
по русскому языку
Средний балл ЕГЭ
по математике
Группа
по ИСБШ
Место в рейтинге с
учетом контекста*
1
СОШ №98
Раменский м.р.
80.7
60.7
5 (высокий)
1
2
СОШ №2
Серпуховской г.о.
69.0
62.0
4 (выше среднего)
5
3
СОШ №13
Королёвский г.о.
68.0
62.0
4 (выше среднего)
6
4
СОШ №20
Королёвский г.о.
79,0
51,0
5 (высокий)
8
5
СОШ №28
Мытищинский м.р.
74,1
55,6
5 (высокий)
10
6
СОШ №6
Орехово-Зуевский м.р.
74.5
55,1
5 (высокий)
4
7
Колычёвская СОШ
Можайский м.р.
72.5
56,5
3 (средний)
3
8
СОШ №2
Балашихинский г.о.
70.0
56,0
1 (низкий)
2
9
СОШ №2
Павлово-Посадский м.р.
70.0
56,0
4 (выше среднего)
12
10
СОШ №75
Черноголовка г.о.
70.0
56,0
5 (высокий)
21
* получается на основе ранжирования школ по следующему показателю:
сумма отклонений фактических результатов ЕГЭ от средних для соответствующей группы по ИСБШ
Контекстуализация при оценке качества на национальном
и региональном уровне: возможные модели
Чили (кластеры)
ЧИЛИ
Основания для выделения групп: территория, тип
школы, агрегированный СЭС учеников (годы
обучения матери и отца, доходы семьи)
•
•
•
•
•
Школы разделены на 5 социальноэкономических кластеров
Внутри каждой группы
определяются 4 уровня достижений
– от отстающих до наиболее
успешных.
Средние результаты школы
сравниваются со средними в её
группе и средними по стране.
Школа оценивается по
эффективности в своей группе.
Оценивается не только итоговый
результат, но и динамика в
сравнении с прошлым годом.
Австралия (индексы)
Основания для расчёта индекса: С-Э и Обр. статус
родителей, территориальная удаленность, доля
аборигенов, доля с неродным языком
•
При анализе результатов школ
школы группируются так, чтобы
сравнивались достижения школ с
близкими характеристиками
(«статистически похожие»).
•
Основание для сравнения - Индекс
местных социальнообразовательных условий (Index of
Community Socio-Educational
Advantage , ICSEA ).
•
Определяется место школы в ряду
школ с близким ICSEA.
Какая информация предоставляется заинтересованным группам
Информация представлена на официальных
сайтах.Чили
Национальный отчёт: средние баллы по стране и
регионам; распределение учащихся по уровням
обучения (начальный, средний, углублённый); Средний
балл по социально-экономическим группам, гендерной
принадлежности, частным и государственным школам;
динамика результатов.
Отчёт для школ: средние баллы на уровне страны,
школы, класса; Отличие среднего балла школы за этот и
предыдущий год от средних в стране и в школах из этой
СЭ группы; руководство по проведению семинаров для
анализа результатов и планирования улучшения.
Отчёт для родителей: Отличие среднего балла школы
от средних в школах из этой СЭ группы; Рекомендации
по улучшению успеваемости учащихся.
Распространение и использование информации по
оценке достижений
учащихся в Чили.
Description of Contextualised Value-Added in
English media
The results incorporate a complex Key Stage 2 to Key Stage 4
contextual value-added (CVA) score designed to show the
progress children have made.
This is done by comparing their achievements with those of
other pupils nationally who had the same or similar prior
attainment in their test results at age 10 or 11 in 2002.
CVA includes nine factors known to affect pupils’ attainment but
outside a school’s control:
Gender
Special Educational Needs
Ethnicity
Eligible for Free School Meals
First Language
Mobility
Age
In Care
IDACI (a postcode-based deprivation measure)
What CVA does is predict what a given child’s attainment
should be based on the actual attainment of other children with
similar prior attainment and similar backgrounds.
Управленческие решения: случай Чили
•
•
•
•
•
Школы наиболее успешные поощряются финансово так, чтобы учителя получили
материальное вознаграждение.
Школы с низким уровнем социально-экономического благополучия, успешные в сравнении с
другими в своих группах поощряются.
Школы, находящиеся в сложном положении, «отстающие», получают поддержку
финансовую и методическую и находятся под контролем.
Школы, не показывающие положительной динамики в течение 3-х лет, закрываются. С
середины 1990-х результаты школ начали публиковаться. В начале 2000-х вводились
программы подотчётности с более ощутимыми последствиями для учителей и школ.
При подушевом финансировании (образовательные ваучеры) вводится коэффициент для
школ с низким СЭС, чтобы избежать их хронического отставания. С 2008 г.размер
«Взвешенного ваучера» на 50% выше для детей из семей с низким СЭС и детей-индейцев, в
2011 г. вырос ещё на 40% для особо неблагополучных учеников.
Стратегии сокращения неравенства и отставания школ с
низким СЭС
•
•
•
•
•
Подготовка и стимулирование сильных руководителей\лидеров для школ выделенных
неблагополучных групп (включая финансовые и карьерные стимулы).
Привлечение высококвалифицированных учителей, поддержка и удержание их в неблагополучных
школах ( включая увеличение зарплаты, гранты и бонусы, сокращение нагрузки и числа учеников в
классе, карьерные возможности).
Поддержка и поощрение учеников: от индивидуальных до общешкольных программ (сопровождение
и консультирование; дополнительные занятия; внеурочные мероприятия; каникулярные программы;
терапевтическая поддержка, поддержка перехода на следующую ступень и т.д.).
Формульное финансирование, учитывающее социальный контекст: подушевое финансироване по
формуле с дополнительным весом для неблагополучных учеников (Нидерланды), выделение
дополнительного финансирование на детей, получающих бесплатное питание (Великобритания),
увеличение расходов на ученика в группах наиболее неблагополучных школ и в наиболее
депревированных территориях (Франция, Греция).
Стратегии импрувмента: поощрение школ, демонстрирующих эффективность в
своих условиях; финансирование программ улучшения отстающих с повышением
ответственности и контроля.
Возможности для управленческих решений
 Выделение группы школ, работающих в сложных социальных условиях группа риска
 Выявление групп школ с высокой и низкой эффективностью
 Адресная поддержка группы школ, работающих в сложных социальных
условиях на постоянной основе - выравнивание ресурсных возможностей
(оборудование, финансы, квалифицированные кадры)
 Поощрение школ, демонстрирующих высокую результативность
 Поощрение эффективных школ
 Адресные программы улучшения результатов неэффективных школ с
контролируемыми сроками и результатами
Постановка проблемы: переход школ в эффективный режим работы
Школы, находящиеся в сложных социальных контекстах, могут
обеспечивать своим ученикам достаточно высокий уровень
достижений, не проигрывая более благополучным
образовательным учреждениям, если последовательно и системно
реализуют образовательные стратегии, обеспечивающие
эффективный режим работы. Эти стратегии являются основой для
программ повышения качества работы школы и могут быть
транслированы образовательным учреждениям, стремящимся
повысить свои учебные результаты.
В КАКОЙ ПОДДЕРЖКЕ НУЖДАЮТСЯ ОУ, РАБОТАЮЩИЕ С
НАИБОЛЕЕ СЛОЖНЫМ КОНТИНГЕНТОМ, МЭО 2014 г.
Низкий ИСБ,
низкие результаты
Низкий ИСБ,
высокие результаты
Высокий ИСБ,
низкие результаты
Высокий ИСБ,
высокие
результаты
Повысить квалификацию
учителей с учётом
особенностей
контингента
50
24
50
64
Обеспечить бесплатное
питание всем учащихся
школам
45
67
21
20
Улучшить материальнотехническую базу школ
55
74
53
41
Обеспечить охват
учащихся
разнообразными
бесплатными
дополнительными
занятиями
43
70
58
51
СРЕДНИЙ РАЗМЕР ЗАРАБОТНОЙ ПЛАТЫ в школах разного
типа, МЭО 2014 г.
Низкий ИСБ,
низкие результаты
Низкий ИСБ,
высокие
результаты
Высокий ИСБ,
низкие результаты
Высокий ИСБ,
высокие
результаты
ПЕДАГОГОВ,
ПРОРАБОТАВШИХ НЕ
БОЛЕЕ 3 ЛЕТ ПОСЛЕ
ОКОНЧАНИЯ ВУЗА
18 тыс.
16 тыс.
26 тыс.
31 тыс.
АДМИНИСТРАТИВНО УПРАВЛЕНЧЕСКОГО
ПЕРСОНАЛА
32 тыс.
36 тыс.
47 тыс.
64 тыс.
всех педагогов
25 тыс.
28 тыс.
36 тыс.
43 тыс.
ДОЛЯ УЧИТЕЛЕЙ, ПОЛУЧАЮЩИХ СТИМУЛИРУЮЩИЕ
ВЫПЛАТЫ в школах разного типа, МЭО 2014 г.
Низкий ИСБ,
низкие результаты
Низкий ИСБ,
высокие
результаты
Высокий ИСБ,
низкие результаты
Высокий ИСБ,
высокие
результаты
ОТ 11 ДО 25% ОТ
ЗАРАБОТНОЙ
ПЛАТЫ
28,8
37,5
24,5
29,5
ОТ 26 ДО 50% ОТ
ЗАРАБОТНОЙ
ПЛАТЫ
29,4
37,4
28,4
28,0
РАСПРЕДЕЛЕНИЕ СТИМУЛИРУЮЩИХ ВЫПЛАТ в школах разного
типа
Низкий ИСБ, низкие
результаты
Низкий ИСБ, высокие
результаты
Высокий ИСБ, низкие
результаты
Высокий ИСБ, высокие
результаты
ПРЕПОДАВАТЕЛЬСКИЕ УМЕНИЯ
ПЕДАГОГА
31
52
40
46
ОБРАЗОВАТЕЛЬНЫЕ И СОЦИАЛЬНЫЕ
ДОСТИЖЕНИЯ УЧАЩИХСЯ
54
74
42
59
ДОПОЛНИТЕЛЬНАЯ ВНЕУРОЧНАЯ И
ИНДИВИДУАЛЬНАЯ РАБОТА С
УЧЕНИКАМИ
43
65
32
44
РЕЗУЛЬТАТЫ МЕТОДИЧЕСКОЙ И
ВОСПИТАТЕЛЬНОЙ РАБОТЫ
42
32
43
ДОПОЛНИТЕЛЬНЫЕ ОБЯЗАННОСТИ
ПЕДКОЛЛЕКТИВЕ: НАСТАВНИЧЕСТВО,
ОБМЕН ОПЫТОМ
24
54
44
26
27
ПРОФЕССИОНАЛЬНОЕ РАЗВИТИЕ,
ОСВОЕНИЕ НОВЫХ ПЕДАГОГИЧЕСКИХ
ТЕХНОЛОГИЙ
46
52
24
44
РАБОТА С РОДИТЕЛЯМИ
32
56
18
21
Что учитывается при оценке качества работы
учителей
Низкий
ИСБ,
низкие
результат
ы
Низкий
ИСБ,
высокие
результат
ы
Высокий
ИСБ,
низкие
результат
ы
Высокий
ИСБ,
высокие
результат
ы
МНЕНИЕ
УПРАВЛЯЮЩ
ЕГО СОВЕТА
21
46
16
18
НАБЛЮДЕ
НИЕ В
КЛАССЕ
35
58
27
35
В школах с низким ИСБ и
высокими результатами
чаще, чем во всех других
группах школ учитывается:
• Самооценка учителя,
• Оценка учениками,
• Оценка родителями,
• Оценка коллегами.
Реже – оценка директором
TOTAL
•
Низкий Низкий Высокий Высокий
Все
ИСБ - ИСБ - ИСБ - ИСБ остальные
РЕАГИРОВАНИЕ НА ОБРАЩЕНИЕ ОРГАНОВ УПРАВЛЕНИЯ ОБРАЗОВАНИЕМ, ЗАПОЛНЕНИЕ Низкие высокие низкие высокие
группы (e)
ОТЧЕТОВ?
оценки (a) оценки (b) оценки (c) оценки (d)
маловажно
% 1
0
0
1
0
•
2
%
2
0
5
4
3
3
%
16
44 acde
13
16
10
4
%
31
26
32
28
33
очень важно
%
50 b
28
50 b
50 b
54 b
Неприменимо
%
0
2
0
1
0
97
46
38
109
301
BASE
В школах с низким ИСБ чаще,
чем во всех остальных группах
школ проходят проверки
всякого рода: 8 ,5 в год при 6,1
в среднем.
Директора школ с низким ИСБ
меньше, чем все остальные
директора придают значение
такой обязанности, как
«реагирование на обращение
местных и вышестоящих
органов управления,
заполнение отчётов».
Программа перехода в эффективный режим работы
1.Идентификация школ в сложных социальных контекстах (низкий СЭС) и устойчиво низкими
результатами.
2. Выбор пилотных школ
3.Разработка адресных программ улучшения результатов школ, основанных на модели
эффективной школы.
4. Формирование школьных управленческих команд, выступающих в качестве агентов
изменений.
5. Планирование и мониторинг изменений.
6. Отчётность и корректировка программ.
7. Распространение положительного опыта и расширение участников программы.
Обязательное условие реализации программы:
Подготовка региональных и муниципальных консультантов, курирующих пилотные школы, и
предоставление школам ресурсной поддержки.
Оптимальная продолжительность программы: 3-4 года.
СПАСИБО ЗА ВНИМАНИЕ!
[email protected]
WWW.RTC-EDU.RU