Transcript Введение в Байесовский анализ - Институт общей генетики им

Введение в байесовский анализ
А.В. Рубанович
Институт общей генетики им. Н.И. Вавилова РАН
[email protected]
Кто боится Томаса Байеса?
Похороны P-value?
Из истории эпидемиологических исследований:
вещи, которые вызывают рак
(Altman, Simon, JNCI, 1992)
 Электробритвы




Холодильники
Флуоресцентные светильники
ЛЭП
Переломы рук (у женщин)
Исследования, времен
распространения приборов
 Аллергия
 Содержание певчих птиц
 Хот-доги
 Разведение северных оленей
 Профессия - официант
 Высокий рост
 Маленький рост
 И, конечно, мобильные телефоны – наше время!
Из истории эпидемиологических исследований:
мифы об AB0 (1917 – 1960 – и по сей день)
 У субъектов с А более тяжелое похмелье
 У субъектов с 0 более здоровые зубы
 Военные с 0 слабохарактерны, а с B более импульсивны
 Субъекты с B более склонны к преступлениям
 Аллель 0 более древняя и поэтому ее носители – охотники и мясоеды.
Аллель A моложе, ее носители – фермеры и вегетарианцы
 У субъектов с А более высокий IQ
 Люди с группой В чаще испражняются
 Между AB0 и пищеварением – сильная связь:
для каждой группы своя диета
Никита Хромов-Борисов, СПбГМУ
95% результатов эпидемиологических и ассоциативных
генетических исследованиий никогда не воспроизводятся
Основные причины ложных заключений
в эпидемиологических и биомедицинских исследованиях
Вера в 5% или
«синдром статистической снисходительности»
Сквозь «призму p-value»…
Слабые, но «высокозначимые» эффекты в больших
выборках: кто боится Томаса Байеса?
Множественность сравнений: кошмар Бонферрони
Сопоставление неоднородных выборок:
страты и парадокс Симпсона
Проклятие победителя (winner's curse)
и публикационный сдвиг
Традиционный подход к ответу на вопрос:
случайно ли то, что мы наблюдаем?
Астрагалы, V тыс. лет до н.э.
Бросок Венеры – 5%
Со времен астрагалов:
события с вероятностью менее 5%
принято считать «маловероятными»
При сравнении выборок формируем:
Н0 – гипотеза об отсутствии различий:
наблюдаемый эффект обусловлен
случайными причинами
H1 – альтернативная гипотеза:
эффект есть, наблюдаемые
различия неслучайны
Далее по совокупности данных вычисляем р т.е., т.н. «р-value»
«серая зона»
Н0
неопределенностиН1
0
0.01
0.05
р-value - ?
Резкая граница?
С какой стати?
«Механистическая дихотомия и сакральные 5%
повсеместно процветают. Невзирая на 40 лет критики»
Чем является и чем не является р-value
S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008)
 р-value  P(H0), т.е. это не есть вероятность нулевой гипотезы
об отсутствии различий
 Малость р-value не гарантирует высокую вероятность
получить аналогичные результаты в повторном эксперименте
Гарантирует ли низкое p-valuе
воспроизводимость результатов?
При p-value из «серой зоны» таких гарантий нет!
Вероятность
значимых эффектов
http://www.univ-rouen.fr/LMRS/Persopage/Lecoutre/telechargements/LePrep2setup.zip
p-value
(p < 0.05)
в повторном
Программа
LePrep: опыте
Free!
n1 + n2 -2
p-value
0.05
0.5
0.02
0.6
0.01
0.67
0.005
0.73
0.001
0.83
0.0001
0.92
Вероятность наблюдать ту же направленность
эффектов в повторном эксперименте
0.00001
0.96
Вероятность наблюдать
те же эффекты с уровнем
p-value < 0.05
Чем является и чем не является р-value
S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008)
 р-value  P(H0), т.е. это не есть вероятность нулевой гипотезы
об отсутствии различий
 Малость р-value не гарантирует высокую вероятностью
получить аналогичные результаты в повторном эксперименте
 р-value  P(H0 | data), т.е. это не есть вероятность нулевой гипотезы
при данном раскладе данных
Все наоборот! Почувствуйте разницу:
 р-value = P(data | H0) , точнее data  Tdata и р-value = P(T > Tdata | H0)
т.е. это вероятность наблюдаемого (или еще более «крутого») расклада
данных при условии отсутствия различий
T – тестовая «статистика» (t, 2, F и т.п.).
При H0 ее распределение всегда известно:
 Одним словом, р-value – это условная вероятность,
но совсем не того, чего нужно!
р-value
Tdata
T
Как конвертировать P(data | H0)  P(H0 | data) ?
Ситуация сходна с «case - control»: мы меряем частоту маркера у больных,
но хотели бы знать частоту больных среди носителей маркера
r(
вероятности
в картинках
значимая
корреляция
,Условные
) - статистически
Богатые
Умные
&
Обманчивая простота!
Доля умных
среди богатых
P(
P( & )
P( )
P(
|

Доля богатых
среди умных
) > P(
|
Формула перехода Байеса
|
) = P(
|
)
P(
P( )
)
P( )
& )
P( )
Формула Байеса преподносит неожиданности!

Пусть детектор лжи не ошибается в 90% случаев, а популяционная частота
прирожденных
лжецов –прибора:
10%. Какова
того, что выявленный
Показания
Да -вероятность
Нет
детектором лжец, действительно является лжецом?
90%? Нет!
Это вероятность,
того заведомый
лжец будет
уличен прибором
= 0.1
Дано:
P(Да|Лжец)
= P(Нет|Честный)
= 0.9; P(Лжец)
Найти: P(Лжец|Да) =
=
P(Да|Лжец)P(Лжец)
=
P(Да)
P(Да|Лжец)P(Лжец)
P(Да|Лжец)P(Лжец) + P(Да|Честный)P(Честный)
P(Да &0Лжец)
P(Да & Честный)
.9  0.1
=
 0.5
0.9  0.1  (1  0.9)  (1  0.1)
=
 Более серьезный пример – маммогра`фия:
P(Да|Рак) = 0.8; P(Нет|Здоровая) = 0.9; P(Рак) = 0.01 (РМЖ после 40 лет)
P(Рак|Да) 
0.8  0.01
 7.5%
0.8  0.01  (1  0.9)  (1  0.01)
Формула Байеса преподносит неожиданности!
p-value =
малость
P(data | H 0 ) может быть мала, но это не гарантирует
P( H 0 | data) и, тем более, малость P( H 0 )
Более того!
При сравнении выборок формируем:
Н0 – гипотеза об отсутствии различий:
наблюдаемый эффект обусловлен
случайными причинами
p-value =
P(data | H 0 )
P(data | H1 )
H1 – альтернативная гипотеза:
эффект есть, наблюдаемые
различия неслучайны
может быть мала, но при этом….
может быть еще ниже!
Фактор Байеса как альтернатива p-value
Байесов фактор: во сколько раз чаще наши данные
более вероятны при H1, чем при H0
Интерпретация:
BF
> 100
30 – 100
10 – 30
3 – 10
1–3
<1
P(data | H1 )
BF 
P(data | H 0 )
Свидетельство в пользу
гипотезы H1 против
гипотезы H0
Убедительное
Очень сильное
Сильное
Умеренное
Слабое
Против H1
Ясно, что если BF  1, то говорить о
значимости эффектов невозможно
Байесовская революция (1990 - …)
Альтернативная статистика
Преподобный Томас Байес
(1702 - 1761)
Bunhill Fields Burial
Ground off City Road, EC1
Байесовская ревизия:
272 эпидемиологические работы с формально значимыми результатами
0.5
BF
0.7
1
BF < 1! Это зона
справедливости результатов
с «точностью до наоборот»
Все результаты с p-value
0.02-0.05 не проходят по
критерию BF > 3
2
3
10
«серая зона»
Байесовский анализ
подтверждает
значимость эффектов
p-value
J.P. Ioannidies, 2008, Am J Epidemiol; 168, 374-383
Как это делается: байесов фактор on line
http://www.stat.umn.edu/geyer/5102/examp/bayes.html
Ввод данных, например,
1 из 100 против 8 из 100
Результаты после нажатия:
Байесов фактор, точнее 1/BF
1/0.367 = 2.72 < 3
p-value
Как это делается: байесов фактор on line
http://www.stat.umn.edu/geyer/5102/examp/bayes.html
Ввод данных:
1 из 100 против 10 из 100
Результаты после нажатия:
Байесов фактор, точнее 1/BF
1/0.104 = 9.62
p-value
Итак:
1 из 100 против 8 из 100: p = 0.017; BF = 2.7 < 3  слабая значимость эффекта
1 из 100 против 10 из 100: p = 0.005; BF = 9.6
 сильная значимость эффекта
Может быть байесовский подход просто «более строг»?
(для значимости требуются значительно меньшие р-value, чем 0.05 )
Исследуем ситуацию …
Ситуация, типичная для эпидемиологии
(или для ассоциативных исследований «case-control»)
Среди n больных
– 5 носителей маркера
Среди n контрольных лиц – 0 носителей маркера
5
0
Рассмотрим
Табл. сопряженности
2х2 случай равных
по объему n-5
выборок
n
0 из 50 против
0 против 5
5 из 50:
принимаем
Результаты Н
классического
1n
p-value
BF
и байесовского анализа
50BF <
4.10
расходятся:
~ 1, 0.0212
хотя p-value
= 0.025 0.0235
100
2.72
200
500
1000
3000
5000
10000
0.0244
0.0250
0.0252
0.0253
0.0253
0.0253
10
1
n-10 n-1
1 против 10
p-value
BF
0.0040
17.29
0.0052
9.6
1.86
0.0059
6.1
BFне
убывает,
p-value почти
зависиткак
от n-1/2
1.16
0.0063
3.62
0.81
0.0065
2.51
0.47
0.0066
1.43
0.36
0.0066
1.10
0.25
0.0066
0.78
Осторожно: большие выборки!
Грубо говоря,
BF ~
1
, где n - объем выборки.
pvalue n
При очень больших выборках (n  1/p2) возможны ситуации, когда BF < 1
0 против 5
1 против 10
n
p-value
BF
p-value
BF
50
100
200
500
1000
3000
5000
10000
0.0212
0.0235
0.0244
0.0250
0.0252
0.0253
0.0253
0.0253
4.10
2.72
1.86
1.16
0.81
0.47
0.36
0.25
0.0040
0.0052
0.0059
0.0063
0.0065
0.0066
0.0066
0.0066
17.29
9.6
6.1
3.62
2.51
1.43
1.10
0.78
Осторожно: большие выборки!
Высокая значимость отличий частот редких событий
может быть обманчивой
Пример
Контроль:
Экспонированные:
250 случаев из 100 000 (частота 0,25%)
5 случаев из 500 (частота 1%)
Относительный риск: RR = 4
Классический подход
2 по Пирсону:
p-value = 0.0009
2 с поправкой Йитса : p-value = 0.004
Байесовский подход
Байесов фактор: BF = 0.842 < 1, т.е. данные более вероятны при
условии отсутствия различий
Как это посчитать самостоятельно?
Байесов фактор для таблицы 2х2
Эпидемиология
Case - control
Экспонированные Контроль
Больные Здоровые
E
Больные
D
a
Здоровые
D
c
E
D
D
b
Носители
маркера
M
a
b
d
Свободны
от маркера
M
c
d
H 0 : P ( D | E )  P( D | E )
Частота больных среди экспонированных
такая же, как и в контроле
H 0 : P(M | D)  P(M | D)
Частота носителей маркера среди
больных такая же, как среди здоровых
B(a  1 / 2, c  1 / 2) B(b  1 / 2, d  1 / 2)
BF 
  B(a  b  1 / 2, c  d  1 / 2)
где В(a,b) – т.н. бета-функция
Байесов фактор для таблицы 2х2
Вычисления в байесовском анализе всегда громоздки!
Вероятно поэтому все началось лишь в 90-е годы
Вычисление бета-функции
 On line: http://www.danielsoper.com/statcalc3/calc.aspx?id=35
Г (a) B(b)
 В Excel: B(a, b) 
Г ( a  b)
Г(x) = EXP(ГАММАНЛОГ(x))
И все-таки:
откуда берутся все эти
жутковатые формулы?
B(a  1 / 2, c  1 / 2) B(b  1 / 2, d  1 / 2)
BF 
  B(a  b  1 / 2, c  d  1 / 2)
где В(a,b) – т.н. бета-функция
Байесов фактор в простейшем случае (броски монеты)
data = последовательность ООРО…ОР, скажем k «орлов» в n бросках
Н0: р = 1/2
«Честная» монета
n
n
k
nk
P(data | H 0 )   (1 / 2) (1 / 2)   (1 / 2) n
k 
k 
 n  k!(n  k )!
n k

n

k
Н1: р  1/2
P(data | H1 )    p (1  p)   
«Нечестная» монета
 k  (n  1)!
k 
Здесь (...) - усреднение по
всем равновероятным значениям р
Находим отношение
P(data | H1 ) 2 k!(n  k )!
BF 

P(data | H 0 )
(n  1)!
f(р)
1
0
n
Принимаем Н0
Результаты классического
и байесовского анализа
расходятся: BF
< 1,
Принимаем
Н1
хотя p-value = 0.012
р
1
3 случая, когда частота k/n = 0.46 близка к 0.5
n
k
p-value (2)
BF
100
46
0.484
0.171
1000
460
0.012
0.971
10000
4600
10-15
1012
А теперь представьте, что это соотношение полов
Байесовские оценки
Байесовский вывод о значимости эффектов может отличаться от
частотного в случае больших выборок
Байесовская оценка частоты отличается от частотной в случае
малых выборок
Пусть data = выборка объема n, содержащая k мутаций.
Что считать оценкой частоты мутаций ( )? Странный вопрос…
 Классический
(частотный) подход:
k

n
k 1
(формула Лапласа)
 Байесовский подход:  
n2
Ход вычислений:
  p (1  p)
k 1
nk
/ p (1  p)
k
nk
k 1

n2
f(р)
Здесь (...) - усреднение по
всем равновероятным значениям р
1
р
0
1
Байесовские оценки
Байесовские оценки лучше частотных при малых n,
а также при наличии нулей в таблицах сопряженности
Экспонированные Контроль
E
E
Больные
D
a
0
Здоровые
D
c
d
В контрольной
выборке больных не
было
ad
ad
Отношение шансов: OR 


bc 0  c
(a  1 / 2)( d  1 / 2)
OR 
(b  1 / 2)(c  1 / 2)
Больше, чем статистика
Классическая теория вероятности
Число исходов
Р(исхода в испытании) =
Общее число испытаний
Но серию испытаний можно провести далеко не всегда!
Например, как оценить вероятность того, что …
 Человечество погибнет от метеоритной атаки
 Христос не умел читать
 Гомер был женщиной
Байесовский подход
Вероятность – это степень доверия и мера нашего незнания
«Коэффициент перехода» от априорного знания к апостериорному
Байесовское мышление
Нас интересует не P(data | H0) (это фактически p-value), а
P(H0 | data) - вероятность отсутствия различий после наблюдения
данного расклада данных.
P( H1 | data) P(data | H1 ) P( H1 )


P( H 0 | data) P(data | H 0 ) P( H 0 )
До опыта
После опыта
Тогда:
Апостериорный
шанс гипотезы H1
=
BF
.
Априорный
шанс гипотезы H1
Введем понятие «шанс»:
Шанс (odd) P( A)  P( A)  Вероятность выиграть к
события А = P( A) 1  P( A) вероятности проиграть
5 поводов вспомнить о Томасе Байесе
 Значения p-value из «серой» зоны: 0.01 – 0.05
Очень часто именно при таких p-value Байесов фактор BF ~ 1 (или даже < 1),
т.е. данные могут наблюдаться, как при нулевой, так и при альтернативной
гипотезе
 Большие объемы выборок
При больших выборках, возможны ситуации, когда BF < 1, хотя p-value < 0.01
 Малые объемы выборок
Оценка частоты p = (k+1)/(n+2) лучше, чем p = k/n
 Высокая значимость отличий частот редких событий
Например сравнение «1% vs 0.25%» (относительный риск = 4) может давать
BF = 0.8 при p-value = 0.001
(например, расклад «5 из 500» против «250 из 100 000»)
 Если Вы никогда до конца не понимали, что такое p-value
BF – Байесов фактор, имеет простой и ясный смысл: во сколько раз
наблюдаемые данные более вероятны при наличии различий, чем при
отсутствии оных
Всем спасибо!
Слайды доступны всем!
Эту и другие мои лекции можно
найти на сайте vigg.ru