Transcript Результаты тестирования при государственной аккредитации в

Оценка качества подготовки
обучающихся и выпускников
на соответствие требованиям
ГОС
Масленников Александр Степанович
Начальник отдела педагогических измерений Росаккредагентства
Москва, апрель 2010
1
Оценка качества подготовки при государственной
аккредитации образовательных учреждений
(из Положения о государственной аккредитации образовательных учреждений и
научных организаций
( Постановление Правительства РФ от 14.07.2008 №522))
• П.11 «Государственная аккредитация
образовательного учреждения … включает
в себя экспертизу соответствия содержания
и качества подготовки выпускников
образовательных учреждений …
федеральным государственным
образовательным стандартам…»
2
Масштабы процедуры
государственной аккредитации
• Из Закона РФ «Об образовании» п.18 «Имеющие
государственную аккредитацию образовательные
учреждения … не реже, чем один раз в пять лет
проходят государственную аккредитацию»
• В России порядка 1400 вузов и около 2100
филиалов вузов
• Следовательно, ежегодно государственную
аккредитацию должны проходить не менее 700
образовательных учреждений
• Из отчета Росаккредагентства за 2009 г:
процедуру ГА прошли 1181 вуз и филиал
3
Развитие тестовой технологии при
экспертизе качества подготовки
Нормативные документы
•
1992 г. Закон РФ «Об
образовании»:
лицензирование, аттестация,
аккредитация
•
1995 г. ГОС-1: содержание
дисциплин, требования общие
и дисциплинарные
•
2000 г. ГОС-2: содержание
дисциплин, требования общие
•
2007 г. Закон РФ «Об
образовании»:
лицензирование, аккредитация
Технологии оценки качества
подготовки:
•
Экспертные методы
•
Экспертные методы. Локальное
использование тестовых материалов
•
Экспертные методы. Формирование
единой тестовой базы, с 2004 г. –
результаты компьютерного
тестирования в аналитических
материалах АК.
•
Экспертные методы. Компьютерное
тестирование с использованием
единого банка АПИМ
4
Условия реализации тестовой технологии
оценки качества подготовки
• Оценка обязательного содержания дисциплин по ГОС
только на базовом (минимальном) уровне освоения
• Обработка результатов для формирования заключения
о качества освоения студентами ООП программного
материала в соответствии с требованиями ГОС
• Тестирование студентов ООП любых курсов обучения,
завершивших изучение дисциплины не позднее 1 года
до процедуры экспертизы, используя выборочный
метод
• Опора на компьютерное тестирование и Интернеттехнологии передачи информации
• Формирование банков тестовых материалов на основе
унификации содержания дисциплин для групп ООП
5
УТВЕРЖДЕНО
Заместителем руководителя
Федеральной службы по надзору
в сфере образования и науки
16 октября 2007 г.
Методика
проведения в образовательных учреждениях высшего профессионального образования оценки качества
освоения студентами программного материала в соответствии с требованиями государственного
образовательного стандарта высшего профессионального образования
Общие положения
Настоящая методика разработана в целях регламентации организации и проведения в рамках экспертизы
соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного
образовательного стандарта оценки качества усвоения студентами вузов и филиалов (далее - вузы)
программного материала.
…
Организационно-технологическое сопровождение тестирования осуществляется Росаккредагентством в
рамках информационно-методического сопровождения процедуры государственной аккредитации вузов.
…
При тестировании используется банк контрольных тестовых материалов, являющийся частью Центрального
банка данных по вузам России, который формируется и сопровождается Росаккредагентством.
6
Информационно-методическое
обеспечение: сайт att.nica.ru
7
Принципы формирования банков
АПИМ
• Дисциплинарный подход
• Принципы структурирования содержания АПИМ по
дисциплине:
– Уровень «Дидактическая единица»
• Инварианты содержания (перечень ДЕ по ГОС для групп ООП)
• Инварианты объема часов по ГОС для инварианта содержания
(установление уровня сложности заданий)
– Уровень «Тема»
• Группа тем, раскрывающих содержание ДЕ
• Перечень контролируемых учебных элементов по теме (знать
(понятия, законы и т.п.), уметь (выделять, соотносить, вычислять…) )
• Наборы заданий тестовой формы по каждой теме (педагогически
эквивалентные задания)
8
Состав банков АПИМ
Всего
87
ВПО
70
ГСЭ
10
ЕН
9
СПО
17
ОПД
51
6 аграрный
6 педагогический
4 строительный
12 технический
13 экономический
10 юридический
4 медицинский
ГСЭ
7
ЕН
3
3
1
2
1
ОПД
7
педагогический
технический
экономический
юридический
9
Оценка выполнения требований ГОС
Объект
оценки
Показатель освоения
дисциплины
Студент
Доля освоенных
дидактических единиц
ГОС
Освоение всех
дидактических единиц
ГОС
Доля студентов,
освоивших все
дидактические
единицы ГОС
50 % студентов,
освоивших все
дидактические единицы
ГОС
ООП
Критерий
освоения дисциплины
10
Показатели освоения дисциплин по
результатам тестирования для ООП вуза
Процент
Количество студентов,
принявших
участие
Дисциплина
студентов,
в Интернет - тестировании
освоивших все ДЕ
080109.6х Бухгалтерский учет, анализ и аудит
Общий контингент - 851 обучающихся
67
Информатика
25%
Концепции
современного
29
93%
естествознания
79
Математика
47%
Отечественная
42
79%
история
48
Философия
48%
…..
…..
……
080502.6х Экономика и управление на предприятии (по отраслям)
Общий контингент - 906 обучающихся
63
Информатика
38%
69
Математика
20%
50
Физика
24%
Отечественная
37
81%
история
Философия
67
58%
Цикл
дисциплин
ЕН
ЕН
ЕН
ГСЭ
ГСЭ
…..
ЕН
ЕН
ЕН
ГСЭ
ГСЭ
ЗАМЕЧАНИЕ: Жирным шрифтом выделены дисциплины (и показатели
освоения), по которым уровень подготовки студентов не соответствует
требованиям ГОС.
11
Структура аттестационного педагогического
измерительного материала по дисциплине
Название дисциплины
Дисциплина
Дидактическая
Контролируемые в
АПИМ дидактические единица №1
единицы дисциплины
Дидактическая
единица №2
Задание 1
Задания АПИМ
...
Задание 1
Задание 1
Задание 2
Задание 2
Задание 3
Задание 4
Дидактическая
единица №k
Задание 2
Задание 3
Задание 3
Задание 4
Критерий освоения дидактической единицы:
50 % правильно выполненных заданий
Задание 4
12
Полный рейтинг-лист результатов
тестирования
• Выполнение заданий по каждой теме
13
Рейтинг-лист группы студентов
Самый
сложный
раздел
14
Результаты тестирования при
государственной аккредитации в 2009 г.
• Проведено тестирование в 258 вузах и 355 филиалах
вузов (всего в 613 образовательных учреждениях ВПО)
100%
90%
80%
Количество групп
70%
60%
3118
2342
3124
Выше критерия
50%
Ниже критерия
40%
30%
20%
10%
341
346
597
ГСЭ
ЕН
ОПД
0%
15
Федеральный Интернет-экзамен
в сфере профессионального
образования
16
Основные цели Интернет-экзамена
• диагностика состояния базовой подготовки
студентов на соответствие требованиям ГОС
• помощь образовательным учреждениям в
создании систем управления качеством
подготовки на основе внешней независимой
оценки
• апробация банков АПИМ для тестирования
при государственной аккредитации
17
Основные принципы ФЭПО
• Добровольность участия вузов
• Полное доверие в организации
проведения тестирования
• Конфиденциальность получаемой
информации
• Единое время проведения
«ГОС»
• Единые измерители для группы
образовательных программ
• Единые методики обработки и
представления информации
18
Европейские стандарты и руководящие
принципы Болонского процесса
(г. Берген, 19-20 мая 2005 г.)
• Поставщики высшего образования несут основную
ответственность за качество и его гарантию
• Должно поощряться развитие культуры качества в вузах
• Должны разрабатываться процессы, с помощью которых
вузы смогли бы продемонстрировать свою
отчетность, …
• Гарантия качества с целью отчетности полностью равна
по значимости гарантии качества с целью
совершенствования учебного процесса
• Учебные заведения должны демонстрировать качество
своей деятельности как в стране, так и на
международной арене
19
Динамика участия в ФЭПО
образовательных учреждений
90
Ко ли че ств о
обр азов ате льных
учре ж де н ий
2250
2000
1750
1500
1250
1000
750
500
80
ВПО
С ПО
70
2014
1889
1589
60
1463
1112
1054
40
916
250
2058
0
58
Ф ЭПО-1
май/ию нь
2005
179
179
Ф ЭПО-2
д ек/янв
2005/2006
1320
1299
569
557
Ф ЭПО-8
д ек/янв
2008/2009
Ф ЭПО-9
апр/ию нь
2009
1186
840
524
30
0
1344
1229
50
10
1856
459
313
272
Ф ЭПО-4
д ек/янв
2006/2007
Ф ЭПО-5
май/ию нь
2007
409
403
Ф ЭПО-6
д ек/янв
2007/2008
Ф ЭПО-7
апр/июнь
2008
670
65
Ф ЭПО-3
май/ию нь
2006
Ф ЭПО-10
д ек/янв
2009/2010
20
1 кв
2 кв
3 кв
4 кв
Динамика количества результатов
90
Количество
результатов, тыс.
1500
80
1361, 4
ВПО
СПО
70
1250
1252
более 1 миллиона
1000
50
796, 7
971, 5
846, 4
750
40
500
394,4
30
250
20
132, 7
15,7
6 72,3
8 4%
747 ,9
88 %
1 24,4
9 8,5
132 ,7
ФЭ П О-1
м ай/июнь
2005
Ф Э ПО -2
Ф Э ПО -3
дек /янв
м ай/ июнь
2005/2006
2006
1 кв
8 15,2
8 4%
ФЭ П О-4
дек/ янв
2006/ 2007
2 кв
1 56,3
Ф Э ПО -5
Ф Э П О-6
май/ июнь
д ек / янв
2007
2007/ 2008
3 кв
1 144 ,8
84 %
121 0,2
9 3%
21 6,6
1 84,3
101 4,4
8 9%
385 ,5
98 %
0
0
1394, 5
1140, 3
60
10
Восток
Запад
Север
1 25,9
ФЭ П О-7
апр/ июнь
2008
Ф Э П О-8
Ф Э П О-9
д ек / янв
апр/ июнь
2008/ 2009
2009
4 кв
1 038
8 3%
21 4
ФЭ П О-10
дек /янв
2009/2010
21
Процент студентов, освоивших все
дидактические единицы дисциплины
76
ГСЭ
24
ЕН
72
28
ОПД
73
27
0
10
20
30
40
50
60
70
80
90
100
Доли результатов (%)
Освоили все ДЕ (%)
Освоили НЕ все ДЕ (%)
22
Учет результатов ФЭПО при
государственной аккредитации
• Условия учета по ООП:
– Участие 3-4 раза за 2 года до экспертизы
– Участие не менее 50% студентов, обучающихся на
курсе
– Не менее половины положительных результатов
• Статистика 2009 г.:
– Результаты ФЭПО учтены для 794 ООП из 3160,
выходивших на государственную аккредитацию
(25%), т.е. в 139 образовательных учреждениях ВПО
из 613.
23
Совершенствование модели
оценки освоения дисциплины
24
Модели оценки освоения дисциплины
Существующая
модель освоения
Предлагаемая
модель освоения
Показатель
освоения
дисциплины
Доля студентов,
освоивших все ДЕ
Уровни освоения
ДЕ
Критерий
освоения
дисциплины
50% студентов,
освоивших все ДЕ
Уровень освоения
всех ДЕ не ниже
критерия (50% верно
выполненных заданий по
ДЕ)
25
Методы расчета коэффициента
освоения ДЕ
• Существующий метод:
– Шаг 1: Для каждого
студента сравнение числа
верно выполненных
заданий по ДЕ с
критерием (не менее 2-х
заданий из 4-х)
– Шаг 2: вычисление доли
студентов, освоивших ДЕ
Nосв
• Предлагаемый метод:
– Доля верно выполненных
заданий от числа
предъявленных группе
студентов заданий по ДЕ
Мвыполн.
Косв=--------------Мпредъявл.
Mпредъявл.=(Nстуд*Mзад.ДЕ)
Косв=----------Nстуд
26
Представление результатов
тестирования по модели освоения ДЕ
Процент верно выполненных заданий
100
Заключение:
90
Освоено 4 ДЕ из 5
80
70
60
50
50
47
50
54
56
40
30
20
10
0
1
2
3
ДЕ
4
5
27
Выбор критерия освоения ДЕ
• Модель согласования
с прежними
решениями:
– различные критерии по
дисциплинам
– единый критерий по
всем дисциплинам
(50%)
• Модель критерия на
основе требований к
уровню подготовки
Принятие решений
(все дисциплины;
критерий 50%)
Прежняя
модель
Новая модель
Выше кр. Ниже кр.
Выше кр.
85,3 %
1,2%
Ниже кр
4,9%
8,6%
В таблице приведен расчет
по группам тестируемых
28
Перспективы развития
банков тестовых
материалов
29
Направления совершенствования
имеющихся банков АПИМ
– Модификация структур АПИМ,
кодификаторов и заданий на основе
результатов экспертизы УМО (НМС)
– Модификация структур АПИМ,
кодификаторов и заданий с учетом профиля
подготовки
– Разработка АПИМ по новым дисциплинам
(рекомендации УМО)
30
Тестовые материалы для нового поколения
стандартов
• Цель тестирования по ФГОС – оценка
степени сформированности компетенций
(ОК и ПК) на пороговом и продвинутом
уровнях
• Основа для разработки оценочных
материалов:
– Результаты обучения по дисциплине
– Результаты обучения по модулю
• одной дисциплины
• группы дисциплин
31
Изменение предмета оценки:
• ГОС-2:
– результативность учебного процесса в
соответствии с требованиями к содержанию и
базовому уровню подготовки
• ФГОС-3:
– выявление степени сформированности
компетенций (уровней освоения материала)
32
Изменение подходов к конструированию
заданий в АПИМ
• «Дифференциация»
предмета контроля (для
ГОС-2)
•
•
•
•
•
Цикл дисциплин
Дисциплина
Раздел (ДЕ)
Тема
Учебное элемент –
адекватное тестовое
задание
• «Интеграция»
предмета контроля
(для ФГОС)
• Полидисциплинарное
задание
• Задание по нескольким
разделам (ДЕ) в
дисциплине
• Задание по группе тем
в разделе (ДЕ)
• Задание по нескольким
учебным элементам в
теме
33
Направления модернизации банка АПИМ
для оценки освоения требований ФГОС
• Введение обобщенных видов деятельности
(результатов обучения) по дисциплинам
• Разработка и апробация
полидисциплинарных (комплексных) групп
заданий для цикла ОПД на основе объекта
профессиональной деятельности
34
Пример комплексного задания
Сопротивление РЕДУКТОР ЦУ-160
материалов
Теория
механизмов и
машин
Инженерная
графика
Теоретическая
механика
Детали машин
Взаимозаменяемость
и стандартизация
35
Проведение тестирования при государственной
аккредитации и развитие ФЭПО инициировало:
На федеральном уровне:
• Построение измерителей для оценки выполнения требований ГОС на
основе инвариантов содержания дисциплин для групп
образовательных программ
• Согласование образовательным сообществом уровня требований ГОС
для оценки базовой подготовки студентов
• Выработку рекомендаций для совершенствования ГОС на основе
инвариантов содержания дисциплин
• Развитие современных информационных технологий для оценки
подготовки студентов
• Возможность учета результатов многократного участия вуза в ФЭПО в
рамках процедуры государственной аккредитации
36
Проведение тестирования при государственной
аккредитации и развитие ФЭПО инициировало:
На вузовском уровне:
• «Настройку» вузов на внешние требования при оценке качества
подготовки для целей государственной аккредитации
• Использование внешней оценки результатов обучения как элемента
системы обеспечения качества в вузах
• Использование оценки базового уровня подготовки студентов для
рейтинговых систем оценки подготовки студентов
• Развитие современных информационных технологий для оценки
подготовки студентов
• Активизацию внимания вузовской общественности к качеству
подготовки студентов и методам ее оценивания
37
Спасибо за внимание!
Контактная информация:
Тел. (8362) 41-61-94, 64-19-86, 91-90-02
e-mail: [email protected]
38