Transcript Лекция 7. Мета-анализ - Институт общей генетики им. Н.И

Биостатистика
7. Введение в мета-анализ
Рубанович А.В.
Институт общей генетики им. Н.И. Вавилова РАН
Но не только!
а также правдивый рассказ о том,
как врачи превзошли научников в статистике,
и пересмотрели самого Пирсона,
и о том как проводить исследование исследований,
невзирая на парадокс Симпсона и коварство страт,
о том, как мета-анализ был объявлен лженаукой,
и о том, как Рим повлиял на устойчивость к ВИЧ,
а также о методах выявление предвзятости редакций,
о форест-плотах и графиках-воронках,
и о неизбежном проклятии победителя.
Мета-анализ:
количественное исследование исследований
[email protected]
Мета-анализ придумали
(точнее переоткрыли)
врачи!
Gene Glass, 1976
Клинические испытания метода или препарата
Coxen 1970
типичная ситуация:
Smith,
1981
Много больниц,
Много противоречивых
Hunter, 1982
но
в
каждом
публикаций;
эффекты,
как
Как подсчитать баланс значимых и незначимых эффектов?
Schmidt, 1982
исследовании
правило, статистически
Что
и средней величине эффекта?
маломожно
больныхсказать о значимости
незначимы
Jackson, 1982
Rosenthal, 1984
p=0.04
p=0.09
p=0.07
p=0.20
p=0.05
p=0.12
Обратный
эффект
Обратный
эффект
Карл (Charles) Пирсон (1857 – 1936)
p, r, 2
1903 – первое мета-исследование:
связь между прививками и смертностью
от брюшного тифа среди солдат
Британской армии в Индии и Африке
11 исследований эффективности вакцины
против тифа:
5 исследований заболеваемости тифом (r = 0.23)
6 исследований смертности у заболевших (r = 0.19)
Вывод Пирсона: корреляции слишком низкие,
а их изменчивость слишком велика,
чтобы рекомендовать использовать вакцину
для профилактики тифа у британских солдат.
Через 90 лет этот вывод будет пересмотрен
Сэр Рональд Айлмер Фишер
Слабые(1890-1962)
результаты могут
свидетельствовать
о высокойдостоверностей
значимости!
Простое
правило объединения
Но как
оценить величину
среднего(1924):
эффекта?
результатов
n экспериментов
Непривычная
логика:
Например,
пусть в 3 исследованиях:
одна работа с p=0.001 менее значима, чем
10 работ с p=0.1  p=0.0008
p3=0.020
p1=0.061
p2=0.033
df
2
5
6
7
8
16
0.0068
0.0138
0.0251
0.0424
17
0.0045
0.0093
0.0174
0.0301
18
0.0029
0.0062
0.0120
0.0212
19
0.0019
0.0042
0.0082
0.0149
20
0.0012
0.0028
0.0056
0.0103
21
0.0008
0.0018
0.0038
0.0071
22
0.0005
0.0012
0.0025
0.0049
23
0.0003
0.0008
0.0017
0.0034
24
0.0002
0.0005
0.0011
0.0023
Объединенное р = 0.0025
Тогда:
-2ln(0.061)-2ln(0.003)-2ln(0.020)= 20.24
df =2·3=6
0.00255 =ХИ2РАСП(20.24; 6)
Так или иначе, для оценки «среднего эффекта»
необходимо объединить выборки из различных
исследований
Чем чревато объединение выборок?
При объединении
гетерогенных выборок возможно все!
Неоднородная (стратифицированная) выборка
генерирует фальш-положительные результаты
Появиться
Эффект может:
Исчезнуть
Приобрести противоположное направление!
Парадокс Симпсона
Принципы мета-анализа (Glass&Cohen, 70-s)
 Слияние выборок недопустимо. Усреднять данные из различных
публикаций надо «с весами», которые должны быть
пропорциональны объемам выборок.
META
Inverse variance method (Glass, 1976):
 Эффекты, полученные в различных исследованиях необходимо
стандартизировать таким образом, чтобы их можно было сравнивать
друг с другом.
x0=2.6
В публикациях, как правило,
Концепция «Effect Size»
x
/
x
=2
1 0
x1первичные
=4.2
(Cohen, 1970)
данные недоступны, а эффекты охарактеризованы
t=2.03
p=0.023
различными
F=3.7 статистическими показателями
p=0.043
p=0.07
META
Стандартизированный эффект ES
Стандартизация эффектов в случае
Исследования препаратов отличаются
количественных признаков
по количеству человек и уровню значимости.
Номер исследования или,
Какой
препарат
лучше?
например,
препарата
Например, эффекты одинаковы, если
выборка (2) является
выборки (1)
Опыт частью
N t-статистика
р
Эффект
1
256
4.0
0.000008
4/256=0.25
2
64
2.0
0.049
2/64= 0.25
3
16
1.0
0.374
1/16= 0.25
На
самом деле
эффекты
одинаковы!
~
Объем
выборки
Статистика
t
 Эффект в единицах 
  Объем выборки
Статистика t  
 стандартого отклонения 
Точнее говоря,
t
x1  x 0
2
0
2
1
s
s

N 0 N1

x1  x 0
s s
2
0
2
1
N HM
Среднее гармоническое
объемов выборок
в опыте и в контроле
Стандартизация
в случае
Effect size – это эффектов
разность средних
вколичественных
единицах стандартного
отклонения
признаков
Стандартное отклонение
Опубликованные данные
Coxen (1970)
Средние значения признака
в контроле ( x 0 ) и в опыте ( x1 )
ES
для объединенной
выборки
«контроль+опыт»
x1  x 0
s01
t-статистика
F-статистика
(однофакторный
дисперсионный анализ)
Среднее гармоническое
объемов выборок
в опыте и в контроле
Классификация
Кохена
Можно
продолжить, но
это (1970)
справочный материал!
Эффект
ES
Значимость
Маленький
0.2
Едва значимые отличия при N>200
Средний
0.5
Значимые отличия при N>32
Большой
0.8
Значимые отличия даже при N=12
Стандартизированный эффект (ES)
для количественных признаков
Обычно приводят ошибки средних,
и это сбивает с толку!
К каком из экспериментов
эффект по универсальной
Перейдем к стандартным отклонениям,
шкалеВсе
(ES) не
выше?
на ожидали!
N
совсем домножая
так, как мы
Контроль
№
N0
ES 
Опыт
s0
N1
s1
x
s0+1
1
3.53 0.283
2
1
100 1.00.3 3
2
300 1.00.4 6.9
100 2.00.4 4.0
300 3.00.5 8.7
3
25 1.00.3 1.5
25
x
s01w ~ N HM
w
ESw
48.0
13.9
7.85 0.255 147.6
1.77 0.566 11.6
37.7
208.2
58.1
ES
2.00.4 2.0
1
…за счет очень высокой
Сумма:
В
этом
опыте
изменчивости
данных
Высокий
ES за счет
эффект
оказался
низкой изменчивости
минимальным
данных
6.6
Представление результатов мета-анализа: Forest plot
Номер опыта
или название
исследования
Размер точки
пропорционален
объему выборки
Эффекты с
доверительными
интервалами
Среднее значение
эффекта ES
Effect size
Нулевой
эффект
Парадокс Симпсона при использовании OR
Повышенное давление у больных диабетом:
Больные
Здоровые
Молодые
Пожилые
Все вместе
50 из 150 (33.3%)
OR=25
1 из 51 (2%)
50 из 51 (98%)
OR=25
100 из 150 (66.7%)
100 из 201 (49.8%)
OR=0.98
101 из 201 (49.8%)
OR=25 + OR=25  OR=0.98 !!!
Если бы мы игнорировали стратификацию по возрасту,
то обнаружили, что у здоровых повышенное давление
бывает чаще, чем у диабетиков
Осторожно, страты!
Как усреднить OR и избежать парадокса Симпсона?
Оценка Mantel & Haenszel (1959)
Несколько исследований
Одно исследование
META
a
c
b
d
Для предыдущего примера:
Молодые
Пожилые
Все вместе
Больные
50 из 150
(33.3%)
50 из 51
(98%)
100 из 201
(49.8%)
Здоровые
1 из 51
(2%)
100 из 150
(66.7%)
101 из 201
(49.8%)
50
1
100
50
OR=25
50
100
Оценка Мантеля-Гензеля
1
50
OR=25
OR=0.98

Компьютерные программы для мета-анализа:
Надписи в
обязательный набор вычислений
опциях
программы
Выбор типа и ввод данных:
количественные или качественные
Binary or
numerical (continues)?
Вычисление среднего эффекта,
ошибки и значимости для модели
с фиксированными эффектами
Fixed effects:
Mantel-Haenszel
Нет
Проверка гетерогенности:
вычисление Q, I2
Measures of heterogeneity:
Q and I-squared,
Да
Вычисление среднего эффекта
для модели со случайными эффектами
Random effects:
DerSimonian-Laird
Soft для вычисления OR
и проведения мета-исследований
 WinPepi Portal (2010)
Free!
http://www.brixtonhealth.com/pepi4windows.html
Огромное разнообразие современных тестов. Ежегодные обновления.
Качественные и количественные признаки.
Фиксированные и случайные эффекты
Без графиков.
 MetaAnalyst (2009)
Free!
http://tuftscaes.org/meta_analyst/index.html
Качественные и количественные признаки.
Фиксированные и случайные эффекты
Графика (forest plot, funnel plot)
 MetaWin, Comprehensive MA, EasyMA
Commercial
Коммерческие программы с удивительно подлыми демо-версиями
Больше похоже
на калькулятор!
Ввод следующей
выборки
Значимость
Вводим таблицу гетерогенности
сопряженности 2х2
выборок
Вычисление OR для
совокупности выборок
Упражняемся …
В 3 опытах получены следующие эффекты при воздействии
некого мутагена на родителей (мыши)
Число потомков
Число потомков с
мутациями
Опыт
20
2
Контроль
20
0
Число потомков
Число потомков с
мутациями
Опыт
20
2
Контроль
20
0
Число потомков
Число потомков с
мутациями
Опыт
20
2
Контроль
20
0
Упражняемся …
Итак, что на выходе? Много всего, но главное:
Exact tests:
Fisher's:
two-tailed P = 0.030
ODDS RATIO:
Mantel-Haenszel odds ratio = 10.65
95% confidence interval = 1.15 to 98.66
Unadjusted odds ratio (using pooled data) = 9.00
Вывод: по данным 3 экспериментов мутаген значимо (примерно
на порядок) увеличивает частоту мутаций в потомстве.
Ревизия результатов К. Пирсона (1903)
Эффективность прививок против тифа
Южноафриканские
гарнизоны
Исследование
OR
95% CI
Hospital staffs
0.328
0.209
0.516
Сильная гетерогенность!
Ladysmith Garrison
0.127
0.091
0.179
I2 = 95.3%  50%
Methuen’s column
0.432
0.288
0.649
Single regiments
0.931
0.671
1.290
Army in India
0.575
0.461
0.717
Фиксированный эффект
0.370
0.322
0.425
p = 0.000
Случайный эффект
0.397
0.200
0.787
p = 0.008
Прививки в
раза снижают заболеваемость тифом!
В самом
конце ХХ века
идеология
Почему
мета-анализ
приобрел
такуюмета-анализа
популярность
подверглась
серьезному
испытанию
за последние
20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Скандал вокруг «Rind contraversy»
Rind, B., Tromovitch, P., Bauserman, R.
A meta-analytic examination of assumed properties of child
sexual abuse using college samples.
Psychological Bulletin, (1998).
American Psychological Association (APA)
Критика со стороны специалистов по мета-анализу:
Мета-исследование последствий CSA (Child Sexual Abuse)
сборник «Misinformation concerning child sexual abuse» (2001)
Мета-анализ 59 исследований результатов опросов 15 000 студентов колледжей:
частота/брутальность CSA и последствия (18 психопатологических показателей)
 Неправильное
использование
ESнезначимы
и статистические
ошибки
Вывод:
корреляции
(-0.040.13)!
11% девушек и 37% юношей заявили о положительных последствиях CSA
 Опросами
охвачены
лишь Schlessinger
достаточно успешные
молодые
люди
Научный
журналист
Dr. Laura
(выступление
в ТВ-шоу):
«Meta-analysis is a meaningless
technique
that involves putting a bunch of
бессмысленная
техника
questionable
findings
together.
Iранее
had
never
heard of a ученые
real
scientist
using
this этот
method.
 Никогда
Rind
и Bauserman
публиковались
в нелегальном
немецком
не
слышала,
чтобы
серьезные
использовали
метод
This is a junk
scienceнаука
at its worst!»
мусорная
журнале
«Paidika»,
в котором регулярно пропагандировалась
толерантность к педофилии
2-летний скандал: протесты католических организаций, более 100 осуждающих
публикаций, покаяние APA, рассмотрение в обеих палатах Конгресса США
Провокация удалась!
Почему мета-анализ приобрел такую популярность
за последние 20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Мета-анализ опасностей, связанных с
использованием мобильных телефонов
Mobile Phone Use and Risk of Tumors: A Meta-Analysis
Seung-Kwon Myung et al. Journal of Clinical Oncology (2009)
Из 465 публикаций отобраны 23 исследования типа case-control:
12 344 больных (опухоли мозга) и 25 572 здоровых
Существенная неоднородность данных:
8 работ – небольшой значимый отрицательный эффект
15 работ – небольшой значимый положительный (протективный) эффект
Общий баланс по всем работам:
Больные, использующие мобильные телефоны, против
здоровых, не использующих мобильные телефоны
Незримый признак-конфаундер?
OR=0.98 (95%CI=0.89-1.07)
по модели со случайными эффектами
Например, социальная активность
Длительное и активное использование мобильных телефонов (более 10 лет):
13 работ – небольшой значимый отрицательный эффект
OR=1.18 (95%CI=1.04-1.34)
Мета-анализ рисков детской лейкемии при проживании
Эффект «winner's curse» вблизи высоковольтных линий
(ELF-EMF)
характерная
особенность
эпидемиологических и
ассоциативных исследований
Незначимо!
Почему мета-анализ приобрел такую популярность
за последние 20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Реальный пример мета-анализа:
ассоциативные исследования полиморфизма гена
CCR5 у ВИЧ-инфицированных
Хемокиновый
рецептор: делеция 32 п.н. (Хр. 2),
Мутация CCR5-32
CCR5
(ко-рецептор
к
обнаружена
у здоровых
лиц, практикующих
рецептору
CD4)
незащищенный
Поверхность секс с ВИЧ-инфицированными
(N. Samson et. al., Nature, 1996)
Т-лимфоцита
10-25% европейцев гетерозиготны по делеции 32.
/ : сильная защита от заражения ВИЧ и оспой
Обеспечена
ли им хотя бы частичная
w/ : задержка развития СПИДа (на  2 года)
защита от ВИЧ-инфицирования?
Частота встречаемости
делеции CCR5-32
Северная Европа 14-17%
4-8%
Южная Европа
Африка, Азия
0%
Пониженная частота CCR5-32
в пределах границ Римской Империи?
Частота гетерозигот CCR5-delta 32
Частота гетерозигот по CCR5-32 среди защищенных
от ВИЧ-инфицирования (по данным 18 авторов)
30%
Только в 3 выборках из 18 частота
гетерозигот w/ у ВИЧ+ выше, чем у ВИЧ20%
10%
0%
ВИЧ+
ВИЧ-
Протективное
гетерозиготы
CCR5-32
withдействие
WinPepi:
результаты
w/ CCR5 достоверно, но не велико: OR=1.15
Мета-анализ
OR
Unadjusted оценка
(по всем данным)
0.78
Mantel-Haenszel оценка
0.867 (1.15)
95%-довер. интервал
0.77 - 0.97
DerSimonian-Laird оценка
0.858
I2, %
22.6
Значимость
гетерогенности (р)
Итоговая
значимость различий
(Fisher’s two-tailed)
0.131
Слияние всех выборок
RR = p+ / без
p- мета-анализа
p = сp- - p+
Модель
фиксированными
эффектами
0.801
0.027
0.887
0.016
Модель со случайными
эффектами
0.81 - 0.98
0.007-0.023
Гетерогенность
не0.015
значима.
0.881
Оценки для обеих моделей
24.8 совпадают 0.0
0.236
0.014
0.451
Forest plot: влияние гетрозиготности по делеции 32
на риск ВИЧ-инфицирования (OR  95%CI)
Parczewski et al., 2009
Oh et al., 2008
Reiche et al., 2008
Adojaan et al., 2007
Bogner et al., 2004
Liu et al., 2004
Phillpot et al., 2003
Barber et al., 2001
Ruiz et al.,2001
Visco-Comandini et al., 1998
Zimmerman et al., 1998
Eugen-Olsen et al., 1997
Zimmerman et al., 1997
…совпадает со
Среднее
средним для
для модели
модели
с фиксированными
со случайными
эффектами
эффектами
Stewart et al., 1997
Balotta et al., 1997
Zimmerman et al., 1997
Meyer et al., 1997
Samson et al., 1996
Pool
0
0.5
1
OR
1.5
2
Работы по «генетике радиочувствительности»:
Слабые эффекты
Плохая воспроизводимость
Ассоциации с «неправильными» генами
Пример: GSTM1
Ген детоксикации ксенобиотиков
Делеция (18 Кб) в гомозиготном состоянии у 50%
Делеция ассоциирована с предрасположенностью к
широко распространенным заболеваниям
… и часто с пониженной частотой аберраций!
Chromosomal aberrations under basal conditions and after treatment
with X-ray in human lymphocytes as related to the GSTM1 genotype
B. Karahalil, S. Sardas, et al. Mut. Res., 515 (2002)
GSTM1- «положительный»
генотип: +/+ либо +/0
Аберрации, индуцированные 1 Гр:
GSTM1 0/0 > GSTM1 +
GSTM1- «нулевой»
генотип: 0/0
Assessment of individual sensitivity to ionizing radiation and
DNA repair efficiency in a healthy population
F. Marcona, C. Andreoli, et al. Mut. Res., 541 (2003)
Противоречия с предыдущей работой
могут быть связаны с «плохой» статистикой:
в обеих работах анализировали
50-100 метафаз для 15-30 доноров
Генотипы
Аберрации, индуцированные 2 Гр:
GSTM1 0/0 < GSTM1 +
Мета-анализ частот цитогенетических нарушений для
«нулевых» и «положительных» генотипов по GSTM1
Аберрации
хромосом,
МЯ, СХО
Overall
1,03±0,02
Среднее значение
FR=1,030,02
da Silva, 2008
da Silva, 2008
Salnikova, 2010
Salnikova, 2010
Villarinia, 2008
Villarinia, 2008
Hernandez, 2006
Iarmarcovai, 2006
Повышенная частота
цитогенетических нарушений
Karahalil, 2010
14 работ
Tuimala, 2004
для «положительных»
генотипов по GSTM1
22 выборки
Tuimala, 2004
В 14 случаях из 22:
по сравнению
с «нулевыми» недостоверна:
Rossi, 2009
GSTM1 0/0 < GSTM1+
Гетерогенность
Rossi, 2009
(Z-тест
для гипотезы FR=1 )
I2 = 10,6% р=0,11Marcon,
2003
Marcon, 2003
Kirsch-Volders, 2006
Kirsch-Volders, 2006
Karahalil, 2002
Catalan,
Chen, 2010
Chen, 2010
Tan, 2010
0.0
0.5
1.0
1.5
FR(GSTM1*+/GSTM1*0)
2.0
Факторы, приводящие к смещению оценок
при мета-анализе
Selection bias – смещение оценок за счет
необъективного подбора работ
Publication bias – смещение оценок за счет того,
что работы со значимыми эффектами
чаще публикуют
Winner's curse – в первой публикации эффекты
обычно сильно завышены
Publication bias : положительные результаты
публикуют чаще, чем отрицательные (нулевые)
Результат авторских предрассудков и редакторских предпочтений
plot: график
– воронка
Как выявить Funnel
«publication
bias»
Большие
выборки –
Зависимость «эффект - объем
выборки»
всегда публикуют
в совокупности работ, охваченных мета-анализом?
Funnel plot
7
6
Вес
5
4
3
2
Объем выборки
400
300
200
CCR5-32
funnel 100
plot
Асимметрия
незначима!
0
0
0.5
1
1.5
2
OR
OR
1
Маленькие эффекты,
Большие эффекты,
0
маленькие выборки –
маленькие выборки –
0
0.5
1
1.5
часто не публикуют!
OR
охотно публикуют
Несимметричный вид графика «funnel plot» - завышенный средний эффект!
Эффект «winner's curse»
«проклятие победителей» - аукционный термин
В первых публикациях эффекты всегда завышены
На публикацию
решается автор,
который получает
высокую значимость.
Многие
исследователи
при мета-анализе
отбрасывают
первую
19 она
- получили
значимые
публикацию,
особенно, если
сильнонулевые
влияетили
наслегка
однородность
20 исследователей
занимались важной
проблемой:
результаты и ничего не публиковали
1 - получил сильный положительный эффект
и опубликовал свои данные (1/20=0.05)
Последующие реплики: эффект есть,
но ниже, чем в первой публикации
Ассоциативные исследования рака простаты (GWAS) Eeles et al.,
Nat. Gen., 2008
Discovery:
Replication:
SNP
rs2660753
rs9364554
rs6465657
rs7920517
rs10993994
rs7931342
1854 cases/1894 controls 3268 cases/3354 controls
OR
95%CI
OR
95%CI
1.52
1.30-1.77
1.18
1.06-1.31
1.28
1.16-1.41
1.17
1.08-1.26
1.30
1.19-1.43
1.12
1.05-1.20
1.39
1.27-1.53
1.22
1.14-1.31 Потеря
1.62
1.47-1.78
1.25
1.17-1.34 значимости
1.39
1.23-1.57
1.03
0.94-1.14
>
«Мета-анализ» осваивается за 40 мин!
Для его практического применения не нужно
читать все эти толстые книги
На сегодня это все
и несколько заключительных лозунгов:
 Мета-анализ – это очень просто!
 Проводите мета-исследования! Пока их охотно публикуют!
 Мета-анализ – лучшее завершение всякого литобзора!
 Мета-анализ – это последнее средство для ответа
на «проклятые вопросы»!
Спасибо
Биофаку КазГУ
и Всем присутствующим !!!
С удовольствием предоставлю копию презентаций
курса заинтересованными коллегам.
Всегда Ваш
[email protected]