Статистическое моделирование экспериментального плана Лекция №3 1. Анализ таблиц с одним входом 2. Однофакторный дисперсионный анализ для несвязных выборок 3.
Download ReportTranscript Статистическое моделирование экспериментального плана Лекция №3 1. Анализ таблиц с одним входом 2. Однофакторный дисперсионный анализ для несвязных выборок 3.
Slide 1
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 2
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 3
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 4
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 5
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 6
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 7
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 8
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 9
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 10
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 11
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 12
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 13
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 14
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 15
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 16
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 17
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 18
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 19
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 20
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 21
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 22
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 23
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 24
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 25
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 26
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 27
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 28
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 29
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 30
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 31
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 32
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 33
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 34
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 35
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 36
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 37
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 38
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 2
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 3
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 4
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 5
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 6
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 7
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 8
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 9
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 10
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 11
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 12
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 13
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 14
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 15
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 16
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 17
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 18
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 19
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 20
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 21
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 22
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 23
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 24
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 25
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 26
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 27
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 28
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 29
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 30
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 31
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 32
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 33
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 34
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 35
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 36
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 37
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru
Slide 38
Статистическое моделирование
экспериментального плана
Лекция №3
1. Анализ таблиц с одним входом
2. Однофакторный дисперсионный анализ для
несвязных выборок
3. Оценка контрастов post hoc и планируемое
сравнение групп
Вопросы для
обсуждения
ВОПРОС №1
Анализ таблиц с одним входом
• Подготовка и проведение эксперимента предполагает
выделение независимой переменной, описывающей
характер экспериментального воздействия, и
измерение зависимой переменной.
• Независимая переменная, как правило, описывается
номинативной или порядковой шкалой.
• Зависимая переменная, в идеале, должна быть задана
в метрической шкале.
Экспериментальный
план
• С точки зрения математической статистики,
простейшим экспериментальным планом является
межгрупповой план.
• В межгрупповом плане уровни (значения)
независимой переменной варьируются между
группами испытуемых, т.е. в каждой
экспериментальной группе уровень (значение)
независимой переменной оказывается неизменным
для всех испытуемых.
• Результаты межгруппового эксперимента могут быть
представлен в виде таблицы с одним входом.
Межгрупповой план
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Первая группа
3
5
2
4
8
4
3
9
4.750
Вторая группа
4
4
3
8
7
4
2
5
4.625
Третья группа
6
7
8
6
7
9
10
9
7.750
Сравнение нескольких
выборок (Winer, 1962)
Общая дисперсия
Внутригрупповая
дисперсия
Межгрупповая
дисперсия
Анализ дисперсии
SS within
_ group
SS pooled
SS
j
SS j
x
ij
T j
2
x ij T j
2
Где 𝑇 - среднее по группе испытуемых, т.е. 𝑇 =
𝑛
𝑖=1 𝑥𝑖
𝑛
Внутригрупповой
суммарный квадрат
SS between
_ group
n T j G
2
Где 𝐺 - среднее значение зависимой переменной
по всем выборкам, т.е. 𝐺 =
𝑘
𝑗=1
𝑛
𝑖=1 𝑥𝑖𝑗
𝑘𝑛
Межгрупповой
суммарный квадрат
SS total
X ij G
2
Общий суммарный
квадрат
• Суммарный разброс данных внутри
экспериментальных групп оказался равным 85,875
• Разброс данных между экспериментальными
группами оказался равным 50,125
• Общий разброс данных по экспериментальной
выборке составил 136
• Т.е. SStotal = SSwithin_group + SSbetwееn_group
По нашим данным…
• Непосредственное сравнение внутригруппового и
межгруппового квадратов является некорректным, т.к.
эти статистики имеют различное число степеней
свободы.
• Число степеней свободы может быть оценено путем
вычитания числа линейных ограничителей
статистики из числа элементов, для которых
оценивается дисперсия.
Степени свободы
• Число степеней свободы для статистики SSbeetwеn_group
равно k-1
• Число степеней свободы для статистики SSwithin_group
равно k(n-1)
• Число степеней свободы для статистики SStotal будет
равно kn-1
• Заметим, что dftotal = dfwithin_group + dfbeetwеn_group
Подсчет степеней
свободы
• Число степеней свободы для внутригрупповой
оказалось равным 21
• Число степеней свободы для межгруппового
суммарного квадрат оказалось равным 2
• Общее число степеней свободы – 23
df по нашим данным…
• В дисперсионном анализе дисперсия обозначается
термином средний квадрат
• Средний квадрат находится путем деления
суммарного квадрата на соответствующее ему число
степеней свободы:
𝑆𝑆
𝑀𝑆 =
𝑑𝑓
Средний квадрат
• 𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 = 4,09
• 𝑀𝑆𝑏𝑒𝑡𝑤ее𝑛 𝑔𝑟𝑜𝑢𝑝 =25,06
• 𝑀𝑆𝑡𝑜𝑡𝑎𝑙 = 5,91
Найдем средние
квадраты
Для сравнения внутригрупповой и межгрупповой
дисперсий применим F-тест Фишера:
F k 1, k ( n 1)
MS between
MS
_ group
within _ group
Сравнение дисперсий
Источник
дисперсии
SS
df
MS
F
Между группами
50,125
2
25,06
6,13
Внутри групп
85,875
21
4,09
Общий
136,00
23
5,91
• F(2, 21) = 6,13; p<0,01
• Таким образом, исходя из полученных данных мы
можем сделать вывод о статистически надежных
(достоверных) различиях между группами
Итоговые результаты
ВОПРОС №2
Однофакторный дисперсионный анализ
для несвязных выборок
Уровни независимой переменной T
1
...
j
...
k
x11
xj1
xk1
.
.
.
.
.
.
.
.
.
x1n
...
xjn
Таблица с одним
входом
...
xkn
Дисперсионный
а н а л и з ( A N O VA )
Р. Фишер (1890-1962)
Фиксированная
Случайная
• Модель с одним
случайным признаком
• Независимая переменная
является фиксированной,
т.е. принимает в
эксперименте все
возможные значения
• Зависимая переменная
случайна
• Модель с двумя
случайными признаками
• Независимая переменная
является случайной, т.е.
принимает в эксперименте
лишь некоторые
возможные значения
• Зависимая переменная
случайна
Структурная модель
• Всякое конкретное значение зависимой переменной,
полученное в эксперименте, состоит из нескольких
аддитивных частей:
xij= μ+τj+𝜀 ij
• Здесь xij - значение зависимой переменной для i-ого
испытуемого в j-ой группе, μ – популяционная
средняя (математическое ожидание зависимой
переменной), τj – эффект независимой переменной на
j-ом уровне, 𝜀 ij – случайная экспериментальная
ошибка.
Фиксированная
модель
• Поскольку значение τj внутри экспериментальной группы
постоянно, внутригрупповая дисперсия (σ2j) должна быть
равна дисперсии экспериментальной ошибки (σ2εj).
• Дисперсия ошибки не зависит от эффекта независимой
переменной.
• Иными словами, предполагается, что величина ε
постоянна для всех экспериментальных групп, т.е.
справедливо соотношение σ2j = σ2εj
• Экспериментальная ошибка распределена по нормальному
закону с математическим ожиданием 0 и дисперсией σ2εj
Уточнения
2
2
j
k 1
E ( MS
2
j
k 1
2
E ( MS between
within _ group
_ group
MS between _ group
E
MS
within _ group
)
)
n
k 1
2
j
n
2 n 2
2
Тогда…
k 1
2
j
n n n
2
2
2
2
Нулевая - H0
Альтернативная - H0
• τ1 = τ2 = … = τj = .. = τk
• τ1 ≠ τ2 ≠ … ≠ τj ≠ .. ≠ τk
• στ = 0
• E(F) = 1
• στ > 0
• E(F) > 1
MS between _ group
E (F ) E
MS
within _ group
Гипотезы
2 n 2
2
• Единственное отличие модели с двумя случайными
признаками состоит в том, что в ней ожидаемое значение
для статистики MSbetween group равно (1-k/K)nσ2 τ+σ2ε, где K
- общее число уровней независимой переменной в
генеральной совокупности, а k - число уровней
независимой переменной, выбранных для эксперимента.
• Поскольку в реальном эксперименте k практически всегда
много меньше K, дробь k/K оказывается величиной
настолько незначительной, что ею можно пренебречь.
• Таким образом, модель с двумя случайными признаками
может быть сведена к фиксированной модели.
Случайная модель
ВОПРОС №3
Оценка контрастов post hoc и планируемое
сравнение групп
Априорное
Апостериорное
• Предполагает наличие
математическое модели,
описывающей характер
связи независимой и
зависимой переменных
• Обозначается как
планируемое сравнение
групп
• Осуществляет
выделение контрастных
групп на основе уже
полученных данных
• Обычно обозначается
как анализ post hoc
Множественное
сравнение
• Анализ post hoc является аналогом t-теста
Стьюдента, т.е. осуществляет попарного сравнение
групп, однако в отличие от t-теста оценивает
внутригрупповую дисперсию по всем данным:
𝑇𝑖 − 𝑇𝑗
′
𝑡 =
𝑀𝑆𝑤𝑖𝑡ℎ𝑖𝑛 𝑔𝑟𝑜𝑢𝑝 𝑛
• Разработаны несколько вариантов тестов post hoc.
Отличия между ними заключаются, главным образом,
в способах оценки надежности (значимости) данной
статистики
Анализ Post Hoc
1.
2.
3.
4.
5.
Метод наименьших значимых различий (LSD)
Тест Шеффе (Scheffé)
Тест Тьюки (Tukey)
Тест Дункана (Duncan)
Тест Бонферрони (Bonferroni)
Тесты Post Hoc
• Метод наименьших значимых различий (LSD) был
разработан Р. Фишером и является аналогом t-теста
• Оценка значимости статистики t’ осуществляется на
основе двустороннего теста Стьюдента.
• Использование данного метода оценки контрастных
групп связано с повышенным риском ошибки первого
рода, т.е. это наиболее либеральный тест
Метод наименьших
значимых различий
• Тест Шеффе (Scheffé) считается наиболее
консервативным.
• Полученное значение t’ сравнивается с критическим
значением, которое находится на основе критического
значения F-распределения с соответствующими
экспериментальной модели степенями свободы:
𝑡𝑠𝑐ℎ = 𝐹′(𝑘 − 1)
Тест Шеффе
• Тесты Тьюки (Tukey), Дункана (Duncan), Бонферрони
(Bonferroni) и т.п. являются, как правило
оптимальным выбором, являясь менее
консервативными по сравнению с тестом Шеффе, при
этом не тяготея к ошибке первого рода
Тьюки, Дункан,
Бонферрони…
• Планируемое сравнение осуществляется на основе
метода априорных контрастов.
• Контрастом называется сумма 𝐶 = 𝑘𝑗=1 𝑐𝑗 𝑇𝑗 (где 𝑐𝑗 коэффициенты контраста такие, что 𝑘𝑗=1 𝑐𝑗 = 0
Априорные контрасты
• Предположим, что
переменная Y линейно
зависит от переменной X
• Если имеются данные,
относящиеся к четырем
группам испытуемых, то
коэффициенты
контраста могут быть
заданы следующим
образом: -1,5 -0,5 0,5 1,5
Y 1,5
0,5
-0,5
-1,5
1
2
3
X
Априорные контрасты:
пример
4
www.ebbinghaus.ru