Transcript Introduction to meta-analysis

메타-분석 입문
Introduction to
meta-analysis
코크란 체계적 문헌고찰의 과정
Steps of a systematic review
1. 연구 질문 설정
2. 선정 기준 계획
3. 연구 방법 계획
4. 연구자료 (연구자료) 검색
5. 선정 기준 적용
6. 자료 수집
7. 분석 대상 연구들의 비뚤림 위험 평가
8. 결과 분석 및 제시
9. 분석결과의 해석 및 결론 도출
10.문헌고찰 개선 및 주기적 갱신
cochrane training
세션 개요
Session outline
• 메타-분석의 원리
• 메타-분석 과정
• 결과의 표현
See Chapter 9 of the Handbook
cochrane training
개별 원문 수준
↓
Study A
결과 자료
효과 측정
Study B
결과 자료
효과 측정
문헌고찰 수준
↓
효과 추정
Study C
결과 자료
효과 측정
Study D
결과 자료
효과 측정
Source: Jo McKenzie & Miranda Cumpston
cochrane training
메타-분석이란?
What is a meta-analysis?
• 두 개 이상의 연구자료 결과를 결합함
• ‘평균’ 혹은 ‘공통 (common)’ 효과를 추정함
• 체계적 문헌고찰의 부가적 요소
체계적
문헌고찰
Source: Julian Higgins
메타분석
cochrane training
왜 메타-분석을 하는가?
Why perform a meta-analysis?
•
•
•
•
•
•
치료 효과 및 효과의 불확실성을 정량적으로 측정
검정력 증가
정확성 제고
연구자료 간 차이점 탐색
연구자료들 간 상반된 결과에 대한 논란을 해결
새로운 가설 제기
Source: Julian Higgins
cochrane training
언제 메타-분석을 하지 말아야 하는가
When not to do a meta-analysis
• 사과와 오렌지의 혼합
• 선정된 각 연구자료는 동일한 연구질문을 다루어야
함
• 군 간 대조, 결과평가를 고려
• 문헌고찰 저자의 주관적 판단 필요함
• 광범위한 종류의 연구자료들이 결합되면, 광범위한
연구질문에 대한 대답을 얻게 됨
• 연구자료들의 성격이 지나치게 폭넓을 경우,
분석결과의 의미가 없어지거나 참 효과값 (genuine
effects) 이 불명확해질 수 있음
Source: Julian Higgins
cochrane training
언제 메타-분석을 하지 말아야 하는가
When not to do a meta-analysis
• 연구자료의 비뚤림이 너무 심하면, 메타-분석 결과를
신뢰할 수 없게 됨 (garbage in – garbage out)
• 메타-분석 결과는, 분석에 포함된 연구자료에 좌우된다
• 만약 연구자료의 비뚤림 위험이 높다면:
• 메타-분석 결과 역시 부정확할 것이다
• 보다 높은 신뢰도와 좁은 신뢰구간을 보일 것이다
• 만약 보고 비뚤림이 유의하게 높다면:
• 전체 연구결과를 대표하지 못하는, 일부 연구자료들만의
조합으로 인해 결과가 오도될 수 있다
Source: Julian Higgins
cochrane training
언제 메타-분석을 수행할 수 있는가?
When can you do a meta-analysis?
• 2개 이상 연구자료에서, 효과 측정이 이루어졌을 때
• 의미 있고 유용한 결과가 도출될 만큼, 연구자료들이
충분히 유사할 때
• 결과 측정이 유사한 방식으로 이루어졌을 때
• 분석 가능한 형태의 자료를 추출할 수 있을 때
cochrane training
세션 개요
Session outline
• 메타-분석의 원리
• 메타-분석 과정
• 결과의 표현
cochrane training
메타-분석 과정
Steps in a meta-analysis
•
•
•
•
•
•
비교 분석할 대조군 선정
보고할 결과도구 및 사용할 통계기법 선정
각 연구자료 내 자료 추출
요약 통계량 산출을 위해 연구자료들의 결과 취합
연구자료들 간 차이점 탐색
결과 해석
cochrane training
비교 분석할 대조군 선정
Selecting comparisons
가상의 문헌고찰: 주간 졸음방지를 위한 카페인 섭취
카페인 커피
•
•
•
vs
디카페인 커피
전체 연구 질문을 몇 개의 양 군 간 비교대조 형태로 세분
각 리뷰 당 양 군 간 비교대조는 하나 혹은 그 이상
(다양한 중재군이 존재할 경우) 어떤 중재군을 하나로
묶을지, 어떤 비교대조를 독립적으로 시행할 것인지 판단을
내려 결정할 것
cochrane training
결과 및 효과측정 방법 선정
Selecting outcomes & effect measures
가상의 문헌고찰: 주간 졸음방지를 위한 카페인 섭취
카페인 커피
vs
디카페인 커피
• 각성 상태 (RR)
• 과민성 (MD/SMD)
• 두통 (RR)
•
•
각 대조군에 대해, 결과 평가도구 선정
각 평가도구에 대해, 효과 측정 방법 선정
•
문헌고찰에 포함된 연구자료의 내용에 따라 좌우될 수
있음
cochrane training
요약 통계량의 계산
Calculating the summary result
• 각 연구자료 내 요약 통계량 추출
• 이를 어떻게 취합하는가?
• 마치 한 개의 연구인 것처럼 취합 – 치료군은 치료군대로,
대조군은 대조군대로 합산?
• 무작위 배정 위반으로, 잘못된 결과 도출됨
• 단순 평균?
• 모든 연구자료가 동등한 비중인 것처럼 간주 – 참값에 보다
가까운 일부 연구도 있음
• 가중치가 부여된 평균 (weighted average)
cochrane training
연구자료에 가중치 부여
Weighting studies
• 더 많은 정보를 주는 연구에 보다 많은 가중치 부여
• 더 많은 참여자, 많은 사건 수, 보다 좁은 신뢰구간
• 효과 추정 및 변이 (variation) 를 사용하여 계산
• 역-분산 방법 (inverse-variance method):
1
1
weight 
 2
varianceof estimate SE
sum of (estimate  weight)
pooled estimate 
sum of weights
cochrane training
예시
For example
두통
카페인
디카페인
Amore-Coffea 2000
2/31
10/34
Deliciozza 2004
10/40
9/40
Mama-Kaffa 1999
12/53
9/61
Morrocona 1998
3/15
1/17
Norscafe 1998
19/68
9/64
Oohlahlazza 1998
4/35
2/37
Piazza-Allerta 2003
8/35
6/37
가중치
cochrane training
예시
For example
두통
카페인
디카페인
가중치
Amore-Coffea 2000
2/31
10/34
6.6%
Deliciozza 2004
10/40
9/40
21.9%
Mama-Kaffa 1999
12/53
9/61
22.2%
Morrocona 1998
3/15
1/17
2.9%
Norscafe 1998
19/68
9/64
26.4%
Oohlahlazza 1998
4/35
2/37
5.1%
Piazza-Allerta 2003
8/35
6/37
14.9%
cochrane training
메타-분석 시 선택사항
Meta-analysis options
• 이분형 혹은 연속형 자료의 경우
• 역-분산법
• 이해하기 쉬우며, 일반적인 방법
• 이분형 자료만 있는 경우
• 맨텔-핸젤 (Mantel-Haenszel) 추정법 (기본 사양)
• 사건 수가 적을 수록 적합 – 코크란 리뷰에서 일반적
• 가중치 부여 체계는 효과 측정치에 따라 달라짐
• Peto 추정법
• 오즈비에서만 사용 가능
• 사건 수가 적고 치료 효과 크기가 작을수록 적합
(오즈비가 1에 가까움)
cochrane training
메타-분석 시 선택사항
Meta-analysis options
cochrane training
세션 개요
Session outline
• 메타-분석의 원리
• 메타-분석 과정
• 결과의 표현
cochrane training
A forest of lines
cochrane training
Trees Joyce Kilmer Forest by charlescleonard http://www.flickr.com/photos/charlescleonard/3754931947/
Forest plots
24시간 시점의 두통 사건 수
• 치료군 / 대조군 표시
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• (메타분석에 포함된) 연구자료 목록
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 각 연구자료의 원시 자료 (raw data)
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 모든 연구자료의 전체 자료
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 각 연구자료에 부여되는 가중치
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 각 연구자료의 효과 추정 (신뢰구간도 함께 제시)
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 각 연구자료의 효과 추정 (신뢰구간도 함께 제시)
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 척도 및 긍정적 효과의 방향
cochrane training
Forest plots
24시간 시점의 두통 사건 수
• 모든 연구자료의 통합 효과 추정치 (신뢰구간과 함께)
cochrane training
신뢰구간의 해석
Interpreting confidence intervals
• 항상 신뢰구간과 함께 효과추정치를 보고할 것
• 정확성 (precision)
• 점 추정 (point estimate) 은 효과에 대한 최선의 추측임
• 신뢰구간은 불확실성을 표현함 – 참 효과값을 포함하며
합리적으로 수긍할 수 있는 수치의 범위
• 유의성 (significance)
• 만약 신뢰구간이 귀무값 (null value) 을 포함한다면,
• ‘효과가 없다’는 근거를 의미하는 경우는 거의 없음
• 현존하는 근거는 ‘효과’를 확인하거나 반박할 수 없음을
의미
• 어느 정도의 변화량이 임상적으로 중요한지 고려
cochrane training
임상적 유의성의 고려
Considering clinical significance
Based on Sanders S, Glasziou PP, Del Mar C, Rovers MM. Antibiotics for acute otitis media in children. Cochrane
Database of Systematic Reviews 2004, Issue 1. Art. No.: CD000219. DOI: 10.1002/14651858.CD000219.pub2.
cochrane training
문헌고찰의 ‘결과’ 부분
The Results section of your review
• 체계적이며 서술적인 결과 요약
• forest plots
• 핵심 forest plots 은 그림(figures)으로 링크시킴
• 보통 1차 평가변수
• 모든 forest plots 은 보조 자료 (supplementary data) 로 출판됨
• 단일 연구자료만으로 그려진 forest plots 은 지양할 것
• 기타 자료 표를 추가할 수 있음
• 단일 연구자료의 결과
• 각 군 간 요약 자료, 효과 추정, 신뢰 구간
• 비-표준형 자료 (non-standard data)
• 중요도가 떨어지는 결과의 보고나, 높은 비뚤림 위험이
있는 결과들의 보고에는 (forest plot 의 사용이) 유용하지
않음
cochrane training
연구계획서에 포함시킬 내용
What to include in the protocol
• 메타-분석을 수행하는 것이 적절한지 어떻게 결정할
것인가?
• 문헌고찰에 활용할 메타-분석 방법의 구체적 서술
cochrane training
cochrane training
핵심 전달 사항
Take home message
• 메타-분석 수행은 많은 장점이 있지만, 항상
가능하거나 적절한 분석 방법이진 않음.
• 주의 깊게 분석을 설계할 것 (대조 방법, 결과 평가,
메타-분석 방법)
• forest plots 은 메타-분석 결과를 그림으로 표현함.
• 분석 결과를 주의하여 해석해야 함.
cochrane training
References
•
•
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking
meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic
Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane
Collaboration, 2011. Available from www.cochrane-handbook.org.
Schünemann HJ, Oxman AD, Higgins JPT, Vist GE, Glasziou P, Guyatt GH. Chapter 11:
Presenting results and ‘Summary of findings' tables. In: Higgins JPT, Green S (editors).
Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated
March 2011]. The Cochrane Collaboration, 2011. Available from www.cochranehandbook.org.
Acknowledgements
•편집 Miranda Cumpston
•Sally Hopewell, Julian Higgins, the Cochrane Statistical Methods Group and the Dutch
Cochrane Centre 교육 자료를 연구자료로 함
•본 교육자료는 Cochrane Methods Board 가 승인하였음
•Translated by Kun Hyung Kim, Dong Hyo Lee
cochrane training