Transcript Введение в мета

Введение в мета-анализ
А.В. Рубанович
Учреждение российской академии наук
Институт общей генетики им. Н.И. Вавилова РАН
[email protected]
Копию презентации можно скачать на сайте ИОГен: www.vigg.ru
Мета-анализ:
количественное «исследование исследований»
[email protected]
Мета-анализ придумали
(точнее переоткрыли)
врачи!
Gene Glass, 1976
Клинические испытания метода или препарата
Smith,
1981
типичная ситуация:
Hunter, 1982
Много больниц,
Много противоречивых
Schmidt, 1982
но
в
каждом
публикаций;
эффекты,
как
Как подсчитать баланс значимых и незначимых эффектов?
Jackson, 1982
исследовании
правило, статистически
Что
и средней величине эффекта?
маломожно
больныхсказать о значимости
незначимы
Rosenthal, 1984
p=0.04
p=0.09
p=0.07
p=0.20
p=0.05
p=0.12
Обратный
эффект
Обратный
эффект
Так или иначе, для оценки «среднего эффекта»
необходимо объединить выборки из различных
исследований
Осторожно, страты!
Чем чревато объединение выборок?
10% SNP «ассоциированы»
с цветом кожи, т.е. с расовой
При объединение гетерогенных
выборок возможно все!
принадлежностью
Появиться
Эффект может:
Исчезнуть
Приобрести противоположное направление!
Парадокс Симпсона
Парадокс Симпсона (1951)
Мальчики поступали лучше девочек!
10 выпускников (5 Мальчики
мальчиков
и 5 девочек)
поступают в МГУ:
поступали
хуже девочек
5 девочек
5 мальчиков
Мехмат
Поступили 3 из 4 (75%) < Поступили 1 из 1 (100%)
Биофак
Поступили 0 из 1 (0%) <
Всего
Осторожно, страты!
3 из 5 (60%)
>
Поступили 1 из 4 (25%)
2 из 5 (40%)
Первые сообщения о парадоксе:
Карл Пирсон (1899), Джордж Юле (1903)
Это не статистка! Это геометрия …
Объединяем данные двух экспериментов…
Число лиц с эффектом
25
Опыты 1+2
(контроль)
Опыт 2
(контроль)
20
15
Опыты 1+2
(больные)
Опыт 2
(больные)
В обоих
экспериментах
После
слияния
выборок среди
больных
частота
лиц с эффектом
частота
лиц
с эффектом
выше, чем
в контроле
в контроле
выше!
10
Опыт 1
(больные)
5
Опыт 1
(контроль)
0
Осторожно, страты!
50
100
Наклон равен частоте лиц
с наблюдаемым эффектом
(в данном случае 3/100)
150
200
Объем
выборки
Парадокс Симпсона
при объединениеОтрицательная
количественных
данных
корреляция между
температурой и расходом энергии!
Температура в комнате, оС
30
Июль
25
20
Сентябрь
Температура на даче в зависимости
Октябрь
от расхода электроэнергии
15
10
0
Осторожно, страты!
5
10
15
20
Расход
энергии,
25 кВт/день
Принципы мета-анализа (Glass&Cohen, 70-s)
 Слияние выборок недопустимо. Усреднять данные из различных
публикаций надо «с весами», которые должны быть
пропорциональны объемам выборок.
META
Inverse variance method (Glass, 1976):
 Эффекты, полученные в различных исследованиях необходимо
стандартизировать таким образом, чтобы их можно было сравнивать
друг с другом.
Эффект
Стандартизированный эффект ES :
Effect Size (Cohen, 1970)
Главное, чтобы ES не зависел от N
META
Среднее
Среднее
Как сравнивать
эффекты,
геометрическое
гармоническое
Исследования
препаратовразличаются
отличаются
если выборки
существенно
по объему?
Среднее
арифметическое
по количеству
человек и уровню значимости.
Номер исследования или,
Какой
препарат
лучше?
например,
препарата
Например, эффекты одинаковы, если
выборка (2) является
выборки (1)
Опыт частью
N t-статистика
р
Эффект
1
256
4.0
0.000008
4/256=0.25
2
64
2.0
0.049
2/64= 0.25
3
16
1.0
0.374
1/16= 0.25
в единицах
На самом
деле эффекты
одинаковы!
 Эффект

  Объем выборки
Статистика t  
о отклонения
Статистика
t всегда
~ Объемвыборки
 стандартог
Точнее говоря,
t
x1  x 0
2
0
2
1
s
s

N 0 N1

x1  x 0
s s
2
0
2
1
N HM
– среднее гармоническое объемов выборок
в опыте (N1) и в контроле (N0)
Стандартное отклонение для
Стандартизированный
эффект (ES)
объединенной выборки
для«контроль+опыт»
количественных признаков
Cohen (1970):
( N 0  1) s02  ( N1  1) s12
x1  x 0
ES 
, где s01 
N 0  N1  2
s01
Эффект
№
Значимость
ES
Маленький Обычно
0.2 приводят
Едва значимые
отличия
при N>200
ошибки
средних,
сбивает с толку!
Средний
0.5 и это Значимые
отличия при N>32
Перейдем к стандартным отклонениям,
Большой
0.8
Значимые
отличия
даже при N=12
домножая
наожидали!
N
Все не совсем так,
какКмы
каком эксперименте эффект
по универсальной шкале (ES) выше?
Контроль
Опыт
В этом опыте эффект
N0
s0
N1 минимальным
s1
s0+1
ES
оказался
x
100
2.00.4 4.0
1
3.53 0.283
300 1.00.4 6.9
300
3.00.5 8.7
2
7.85 0.255
25 1.00.3 1.5
25
2.00.4 2.0
1
1.77 0.566
1
100 1.00.3
2
3
3
Стандартизированный эффект (ES)
для количественных признаков
ES 
x1  x 0
,
s01
META
Эффект
ES
Значимость
Маленький
0.2
Едва значимые отличия при N>200
Средний
0.5
Значимые отличия при N>32
Большой
0.8
Значимые отличия даже при N=12
Контроль
№
Опыт
N0
s0
N1
s1
x
s0+1
1
100 1.00.3
3
100
2.00.4 4.0
1
3.53 0.283
2
300 1.00.4 6.9
300
3.00.5 8.7
2
7.85 0.255
3
25 1.00.3 1.5
25
2.00.4 2.0
1
1.77 0.566
ES
Стандартизированный эффект (ES)
для количественных признаков
ES 
x1  x 0
,
s01
META
Эффект
ES
Значимость
Маленький
0.2
Едва значимые отличия при N>200
Большой
0.8
Значимые отличия даже при N=12
w ~ N HM
1
2
Ничего
этого
 1
 знать не нужно!
1
( ES )

Значимые отличия при N>32
Средний

 0.5
Простые
общедоступные
программы все посчитают
N
N
2
(
N

N
)
Но
1 понимать концепцию!
 0для 1этого0 надо
№
x
s0+1
w
ESw
1
1
3.53 0.283
48.0
13.9
2
2
7.85 0.255
147.6
37.7
3
1
1.77 0.566
11.6
6.6
Сумма:
208.2
58.1
ES
Представление результатов мета-анализа: Forest plot
Номер опыта
или название
исследования
Размер точки
пропорционален
объему выборки
Эффекты с
доверительными
интервалами
Среднее значение
эффекта ES
Effect size
Нулевой
эффект
Проверка однородности данных
Меры гетерогенности совокупности выборок
 Q-статистика или «межвыборочная» варианса эффекта или Cochrane Q-test
Распределена как 2 с df=k-1 (k = #выборок).
Выборки однородны при р > 0.1 (не 0.05!)
Что делать, если выборки гетерогенны по эффектам?
 I2 - доля изменчивости, обусловленная неоднородностью выборок.
При I > 50% выборки считаются гетерогенными
Если I < 50% , то совокупность данных однородна,
а наблюдаемые различия эффектов случайны
(связаны с выборочной вариансой)
В нашем примере Q=1.05 при df=2, p=0.59
Контроль
№
1
2
3
Опыт
N0
s0
N1
s1
100 1.00.3
300 1.00.4
25 1.00.3
3
6.9
1.5
100
300
25
2.00.4 4.0
3.00.5 8.7
2.00.4 2.0
ES
w
0.283
0.255
0.566
48.0
147.6
11.6
Модели с фиксированными и случайными эффектами
Все, что мы обсуждали до сих пор – это мета-анализ в рамках
т.н. «модели с фиксированными эффектами»
Forest plot
I2 < 25%
I2 > 50%
Модель с
фиксированным
эффектом
Модель со
случайным
эффектом
2
OR
ES
1
ES
Для всех работ
В различных исследованиях
эффектыКомпьютерные
одинаковы. программы обычно
считают
обе оценки
–
могут
быть разные
эффекты.
Различия случайны
для «fixed model» и для Распределение
«random model»эффектов по
исследованиям.
В модели со случайными эффектами все формулы остаются в силе, только
меняются «веса» :
Неоднородность
DerSimonian and Laird (1986)
Компьютерные программы для мета-анализа:
Надписи в
обязательный набор вычислений
опциях
программы
Выбор типа и ввод данных:
количественные или качественные
Binary or
numerical (continues)?
Вычисление среднего эффекта,
ошибки и значимости для модели
с фиксированными эффектами
Fixed effects:
Mantel-Haenszel
Нет
Проверка гетерогенности:
вычисление Q, I2
Measures of heterogeneity:
Q and I-squared,
Да
Вычисление среднего эффекта
для модели со случайными эффектами
Random effects:
DerSimonian-Laird
ВПочему
конце ХХ
века идеология
мета-анализа
подверглась
мета-анализ
приобрел
такую популярность
серьезному
испытанию
за последние
20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Почему мета-анализ приобрел такую популярность
за последние 20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Мета-анализ опасностей, связанных с
использованием мобильных телефонов
Mobile Phone Use and Risk of Tumors: A Meta-Analysis
Seung-Kwon Myung et al. Journal of Clinical Oncology (2009)
Из 465 публикаций отобраны 23 исследования типа case-control:
12 344 больных (опухоли мозга) и 25 572 здоровых
Существенная неоднородность данных:
8 работ – небольшой значимый отрицательный эффект
15 работ – небольшой значимый положительный (протективный) эффект
Общий баланс по всем работам:
Больные, использующие мобильные телефоны, против
здоровых, не использующие мобильные телефоны
Незримый признак-конфаундер?
OR=0.98 (95%CI=0.89-1.07)
по модели со случайными эффектами
Например, социальная активность
Длительное и активное использование мобильных телефонов (более 10 лет):
13 работ – небольшой значимый отрицательный эффект
OR=1.18 (95%CI=1.04-1.34)
Почему мета-анализ приобрел такую популярность
за последние 20 лет?
 Накопление однотипных публикаций по социально значимым проблемам:
- диагностика и терапия широко распространенных заболеваний;
- медицинские и социальные последствия вредных привычек;
- анализ устойчивых догм в гуманитарных науках;
 Слабые эффекты трудно выявить в отдельном исследовании:
- эффекты малых доз облучения;
- влияние электромагнитных полей;
- вред использования ГМО
 Ассоциативные исследования генетической предрасположенности.
Доступность PCR-генотипирования и быстрое развитие методов
полногеномного сканирования (GWAS)
Реальный пример мета-анализа:
ассоциативные исследования полиморфизма гена
CCR5 у ВИЧ-инфецированных
Хемокиновый
рецептор: делеция 32 п.н. (Хр. 2),
Мутация CCR5-32
CCR5
(ко-рецептор
к
обнаружена
у здоровых
лиц, практикующих
рецептору
CD4)
незащищенный
Поверхность секс с ВИЧ-инфецированными
(N. Samson et. al., Nature, 1996)
Т-лимфоцита
10-25% европейцев гетерозиготны по делеции 32.
/ : сильная защита от заражения ВИЧ и оспой
Обеспечена
ли им хотя бы частичная
w/ : задержка развития СПИДа (на  2 года)
защита от ВИЧ-инфецирования?
Частота встречаемости
делеции CCR5-32
Северная Европа 14-17%
4-8%
Южная Европа
Африка, Азия
0%
Пониженная частота CCR5-32
в пределах границ Римской Империи?
Частота гетерозигот CCR5-delta 32
Частота гетерозигот по CCR5-32
среди защищенных
Если это принять за 4-ое
от ВИЧ-инфецирования (по данным
18р=0.015
авторов)
превышение, то
30%
Только в 3 выборках из 18 частота
гетерозигот w/ у ВИЧ+ выше, чем у ВИЧ20%
10%
0%
Монета достоверно несимметрична!
Гетерозиготы w/ чаще встречаются среди ВИЧНо какое OR?
Публикации собраны студентом А. Залесовым (МФТИ),
рук. С.А. Боринская (ИОГен РАН)
ВИЧ+
ВИЧ-
Если ассоциации нет, то случаи «больше-меньше» должны появляться с вероятностью ½
Вероятность выпадения 3 (и менее) орлов в 18 бросаниях монеты равна
18
18
18
18
3 1
2 1
1 1
0 1
p  C18    C18    C18    C18    0.0038
2
2
2
2
Протективное
гетерозиготы
CCR5-32
withдействие
WinPepi:
результаты
w/ CCR5 достоверно, но не велико: OR=1.15
Мета-анализ
OR
Unadjusted оценка
(по всем данным)
0.78
Mantel-Haenszel оценка
0.867 (1.15)
95%-довер. интервал
0.77 - 0.97
DerSimonian-Laird оценка
0.858
I2, %
22.6
Значимость
гетерогенности (р)
Итоговая
значимость различий
(Fisher’s two-tailed)
0.131
Слияние всех выборок
RR = p+ / без
p- мета-анализа
p = сp- - p+
Модель
фиксированными
эффектами
0.801
0.027
0.887
0.016
Модель со случайными
эффектами эффектами
0.81 - 0.98
0.007-0.023
Гетерогенность
не0.015
значима.
0.881
Оценки для обеих моделей
24.8 совпадают 0.0
0.236
0.014
0.451
Forest plot: влияние гетрозиготности по делеции 32
на риск ВИЧ-инфецирования (OR  95%CI)
Parczewski et al., 2009
Oh et al., 2008
Reiche et al., 2008
Adojaan et al., 2007
Bogner et al., 2004
Liu et al., 2004
Phillpot et al., 2003
Barber et al., 2001
Ruiz et al.,2001
Visco-Comandini et al., 1998
Zimmerman et al., 1998
Eugen-Olsen et al., 1997
Zimmerman et al., 1997
Совпадает со
Среднее
средним для
для модели
модели
с фиксированными
со случайными
эффектами
эффектами
Stewart et al., 1997
Balotta et al., 1997
Zimmerman et al., 1997
Meyer et al., 1997
Samson et al., 1996
Pool
0
0.5
1
OR
1.5
2
Publication bias : положительные результаты
публикуют чаще, чем отрицательные (нулевые)
Результат авторских предрассудков и редакторских предпочтений
plot: график
– воронка
Как выявить Funnel
«publication
bias»
Большие
выборки –
Зависимость «эффект - объем
выборки»
всегда публикуют
в совокупности работ, охваченных мета-анализом?
Funnel plot
7
6
Вес
5
4
3
2
Объем выборки
400
300
200
CCR5-32
funnel 100
plot
Асимметрия
незначима!
0
0
0.5
1
1.5
2
OR
OR
1
Маленькие эффекты,
Большие эффекты,
0
маленькие выборки –
маленькие выборки –
0
0.5
1
1.5
часто не публикуют!
OR
охотно публикуют
Несимметричный вид графика «funnel plot» - завышенный средний эффект!
Эффект «winner's curse»
«проклятие победителей» - аукционный термин
В первых публикациях эффекты всегда завышены
На публикацию
решается автор,
который получает
высокую значимость.
Многие
исследователи
при мета-анализе
отбрасывают
первую
19 она
- получили
значимые
публикацию,
особенно, если
сильнонулевые
влияетили
наслегка
однородность
20 исследователей
занимались важной
проблемой:
результаты и ничего не публиковали
1 - получил сильный положительный эффект
и опубликовал свои данные (1/20=0.05)
Последующие реплики: эффект есть,
но ниже, чем в первой публикации
Ассоциативные исследования рака простаты (GWAS) Eeles et al.,
Nat. Gen., 2008
Discovery:
Replication:
SNP
rs2660753
rs9364554
rs6465657
rs7920517
rs10993994
rs7931342
1854 cases/1894 controls 3268 cases/3354 controls
OR
95%CI
OR
95%CI
1.52
1.30-1.77
1.18
1.06-1.31
1.28
1.16-1.41
1.17
1.08-1.26
1.30
1.19-1.43
1.12
1.05-1.20
1.39
1.27-1.53
1.22
1.14-1.31 Потеря
1.62
1.47-1.78
1.25
1.17-1.34 значимости
1.39
1.23-1.57
1.03
0.94-1.14
>
Распределение выборочных значений OR
сильновычисления
несимметрично
3000 компьютерных симуляций
OR:
Группа здоровых (100) - частота маркера 0.1
Группа больных (100) - частота маркера 0.2
25
Вычисленная в эксперименте оценка OR
в среднем на 30% выше истинного значения!
Частота, %
20
15
10
В этот «бокс с усами»
попадает 50% значений OR
5
0
1
Истинное
значение
OR=2.25
2
3
4
5
Среднее
OR
значение
OR=2.92
6
7
8
9
10
Мета-мета-анализ
Рейтинг полиморфизмов
 Кардиоваскулярные заболевания – 10
По данным 50 мета-анализов

Цреброваскулярные
по количеству значимых
ассоциаций
в заболевания – 3
генетической предрасположенности
к
 Шизофрения – 7
исследованиях
генетической
предрасположенности
широко распространенным заболеваниям  Деменция – 4
 Диабет
–3
(J. Ioannidis;к2007,
2009)распространенным
широко
заболеваниям
 Раки -7
Рейтинг
Ген
Белок
Ассоциации
в метаанализе
1
ACE
Ангиотензин 1
6
731
2
MTHFR
Метил-тетра-гидро-фолат
редуктаза
5
729
3
APOE
Аполипротенин Е
5
905
4
GSTM1
Глутатион-S-трансфераза
3
538
5
DRD3
Рецептор дофамина D3
3
65
Публикации
«Мета-анализ» осваивается за 40 мин!
Для его практического применения не нужно
читать все эти толстые книги
и несколько заключительных лозунгов:
 Мета-анализ – это очень просто!
 Проводите мета-исследования! Пока их охотно публикуют!
 Мета-анализ – лучшее украшение всякого литобзора!
 Мета-анализ – это последнее средство для ответа
на «проклятые вопросы»!
 Ищите страты! Неоднородная выборка – источник фальшивых
открытий и упущенных возможностей!
Копию презентации можно скачать на сайте ИОГен: www.vigg.ru