Transcript Exploring heterogenity 이질성 탐색

이질성 탐색
Exploring heterogeneity
코크란 체계적 문헌고찰의 과정
Steps of a systematic review
1. 연구 질문 설정
2. 선정 기준 계획
3. 연구 방법 계획
4. 연구자료 (원자료) 검색
5. 선정 기준 적용
6. 자료 추출
7. 분석 대상 연구들의 비뚤림 위험 평가
8. 결과 분석 및 제시
9. 분석결과의 해석 및 결론 도출
10. 문헌고찰 개선 및 주기적 갱신
cochrane training
개요
Outline
•
•
•
•
이질성이란?
이질성과 관련된 가정
이질성 확인
이질성 원인에 대한 조사
See Chapter 9 of the Handbook
cochrane training
이질성이란?
What is heterogeneity?
변동 혹은 차이
• 이질성의 3가지 유형:
• 임상적 이질성
• 방법론적 이질성
• 통계적 이질성
cochrane training
임상적 다양성
Clinical diversity
• 연구참여자
• 질환, 연령, 성별, 지역, 연구 참여 기준 등
• 중재법
• 강도/용량, 중재 기간, 중재 시행 방법, 추가적인 중재
요소, 시술자의 경력, 대조군 유형 (플라시보, 무처치,
표준 치료) 등
• 평가 도구
• 추적관찰 기간, 측정 방법, 사건발생의 정의, 절사점
(cut-off points)
cochrane training
방법론적 다양성
Methodological diversity
• 연구 설계
• 예) 무작위배정 vs 비무작위 배정, 교차 vs 병행, 개인 vs
군집 무작위 배정
• 수행
• 비뚤림 위험 (은닉 배정, 맹검 등), 분석 방법 등
cochrane training
통계적 이질성
Statistical heterogeneity
• 여러 연구들의 결과 간에는 언제나 일정 수준의 무작위
(추출) 변동이 있음.
• 이질성은 여러 연구들에서 측정된 효과 간 변동을
의미함
• 임상적 / 방법론적 다양성에 의해 유발됨
• 동질성과 대비되는 개념 (모든 연구에 해당되는 동일한
참 효과)
• 무작위 추출 변동이, 중재법의 측정 효과 간 차이의
유일한 원인이라면, 연구 결과들 간 차이는 더 클 것임
cochrane training
개요
Outline
•
•
•
•
이질성이란?
이질성과 관련된 가정
이질성 확인
이질성원인에 대한 조사
cochrane training
고정 효과 대 변량 효과
Fixed-effect vs random-effects
• RevMan 의 메타-분석 시 사용 가능한 두 가지 모형
• 이질성에 대한 서로 다른 가정에 기반함
• 어떤 모형을 사용할지, 연구계획서 단계에서 사전에
명시할 것
cochrane training
고정 효과 모형
Fixed-effect model
무작위 (추출)
변동
• 모든 연구가 동일한 치료
효과를 가지고 있다고
가정
• 가정한 단일 효과를 추정
• 무작위 (추출) 변동이
없다면, 모든 연구 결과는
동일할 것임
연구
결과
Source: Julian Higgins
공통적인
참 효과
cochrane training
변량 효과 모형
Random-effects model
무작위
변동
• 각 연구 별로 치료 효과가
차이가 있다고 가정함
• 각 연구별 효과들의 분포
평균을 측정
• 연구 내 및 연구 외 변동
모두에 대해 가중치 부여
(tau2, 2)
각 연구별효과
Source: Julian Higgins
참 효과들 간 평균
cochrane training
차이점
What’s the difference?
• 변량-효과 메타 분석은:
• 이질성이 없을 경우, 고정-효과 모형의 결과와 거의 동일
• 이질성이 존재할 경우, 고정-효과모형 결과와 비슷하지만,
신뢰구간이 넓어짐
• 각 연구 별 표본 수가 연구결과에 영향 미치는 경우, 고정
효과 모형과 달라지게 됨.
• 변량효과 모형은 소규모 연구에 보다 더 가중 치 부여
1
1
가중치 

연구 내 변동  연구간 변동 SE 2  tau2
cochrane training
이질성 없음
No heterogeneity
Fixed
Random
Adapted from Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in
preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.
cochrane training
일정 정도 이질성 있음
Some heterogeneity
Fixed
Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus
placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
소규모 효과 영향
Small study effects
Fixed
Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
어떤 모형을 사용해야 하는가?
Which to choose?
• 연구계획서 단계에서 분석 모형 계획
• 연구자는 분석 결과가 매우 이질적일 것이라고
예측하는가?
• 분석 모형 별 가정을 고려
• 고정 효과
• 비현실적일 수 있음 – 이질성 무시
• 변량 효과
• 이질성 인정
• 비뚤림 위험이 있거나, 소수의 연구, 효과 추정 대상
사건이 소수일 경우 연구 간 효과 분포 추정이 정확하지
않을 수 있음
cochrane training
개요
Outline
•
•
•
•
이질성이란?
이질성과 관련된 가정
이질성 확인
이질성 원인에 대한 조사
cochrane training
이질성 확인
Identifying heterogeneity
• 그래프 (Forest plot)를 이용한 시각적 조사
• 카이 제곱 (c2) 검정 (Q test)
• 이질성 계량적 측정 위한 I2 통계량
cochrane training
시각적 조사
Visual inspection
Forest plot A
Forest plot B
cochrane training
카이 제곱 검정
The chi-squared (c2) test
• 동질성을 귀무가설로 설정한 검정법
• 소수의 연구에 대해서는 검정력이 낮음
• 연구의 수가 많을 때는 임상적으로 중요하지 않은
이질성을 찾아낼 수 있음
• 이질성이 불가피한 경우, (예/아니오) 형태의 협소한
질문은 실용적이지 않음
• RevMan 에서 자동 계산됨
cochrane training
I2 통계량
The I2 statistic
• I2 통계량은 이질성으로 인한 변동이 우연으로 설명될
수 없는 정도의 분율을 나타냄 (0 – 100%)
• 낮은 수치는 이질성이 적거나 없음을 의미
• 높은 수치는 이질성이 큼을 의미
• RevMan 에서 자동 계산됨
• 해석 시 주의가 필요함
cochrane training
I2 통계량
The I2 statistic
cochrane training
Source: Julian Higgins
chi2 = 29.55 df = 13 P = 0.0055
I2 = 56%
chi2 = 6.14 df = 3 P = 0.11
I2 = 51%
이질성 확인 시 무엇을 해야 하는가?
What to do about heterogeneity
• 자료 입력을 정확히 하였는지 확인
• 결과 해석 시 이질성을 함께 고려
• 특히, 효과 크기의 방향이 상반될 경우
• 만약 이질성이 매우 높다면
• 고정-효과 메타분석 수행 결과를 주의하여 해석
• 민감도 분석 고려 – 변량-효과 메타 분석 결과와 중요한 차이를
나타내는가?
• 메타 분석을 하지 않을 수도 있음
• 효과들의 평균값은 실제로는 별 의미가 없을 수도 있음
• 연구들 간 임상적/ 방법론적 유사성 (comparability) 을 고려
• 아래와 같이 하지 말 것
• 효과 측정 / 분석 모델의 변경
• 이상값을 보이는 연구 배제
• 이질성의 원인을 탐색
cochrane training
개요
Outline
•
•
•
•
이질성이란?
이질성과 관련된 가정
이질성 확인
이질성 원인에 대한 조사
cochrane training
이질성 원인에 대한 조사
Exploring your results
• 효과에 영향을 미치는 것으로 보이는 요인은?
• 임상적 다양성 (인구집단, 중재법, 평가 도구)
• 방법론적 다양성 (연구설계, 비뚤림 위험)
• 조사 전략을 연구계획서 단계에서 구상할 것
• 조사에 필요한 중요 요소를 몇 가지로 축약하여 파악
• 각 조사 요소 선정에 대한 과학적 논리를 제시
• 사후-분석 시 반드시 이를 고지
cochrane training
두 가지 방법
Two methods available
• 하위그룹 분석
• 개별 연구를, 사전 계획된 요소를 기준으로 그룹 별 분류
• 결과, 이질성 면에서 차이가 있는지 탐색
• 메타-회귀분석
• 범주형 및 연속형 변수들 간의 상호작용 (interaction) 검정
• RevMan 에서는 사용 불가
cochrane training
수행 시 유의사항
Proceed with caution
• 하위그룹 분석 결과는 관찰에 의한 것이며, 무작위
배정에 의한 것이 아님
• 다중 및 사후 비교임을 유의할 것
• 개별 연구 개수가 작을 경우 유용하지 않을 수도 있음
• 합계된 자료에 대한 조사는 불가능할 수도 있음
• 혼란 요소를 찾을 것
• 특정 발견을 과하게 강조하지 말고, 연구계획서에
사전 명시된 분석 방법을 준수할 것
결정적인 분석 결과를 얻는
경우는 거의 없음
cochrane training
하위그룹 분석의 해석
Interpreting subgroup analyses
• 하위그룹 범주 내에서 분석 결과 및 이질성을 확인
• 하위그룹 간 진정한 차이가 있는가?
• 2개 그룹일 경우 – 신뢰구간이 중첩되는가?
• 하위그룹 간 차이의 통계적 검정
• 아래의 경우 분석 결과를 보다 신뢰할 수 있음:
• 사전-계획된 분석
• 개별 연구 내 원시자료를 활용한 분석
• 효과가 임상적 개연성이 있으며, 간접적 근거가 이를
뒷받침함
• 효과가 임상적으로 중요하며, 권고 수정을 이룰 수 있음
cochrane training
인구집단 하위 그룹
Participant subgroups
cochrane training
Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of
Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.
Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of
Systematic Reviews 2008, Issue 4. Art. No.: CD000448. DOI: 10.1002/14651858.CD000448.pub3.
중재법 하위 그룹
Intervention subgroups
cochrane training
민감도 분석
Sensitivity analysis
• 하위그룹 분석과는 다름
• 문헌고찰 수행 과정에서 내린 결정들의 영향을 검정
•
•
•
•
•
•
개별 연구 선정 과정
낮은 비뚤림 위험의 정의
효과 측정법의 선택
결측치에 대한 가정
순위 척도값의 이분형 자료화에 쓰인 절사점
상관계수
• 대안적 방법 / 가정을 이용하여 분석 재시행
• 그래프를 다시 여러 개 보일 필요 없음 – 결과만 보고
• 차이가 근소할 경우, 원래의 결론에 보다 확신을 가질 수
있음
• 차이가 클 경우, 분석 결과를 유의하여 해석
cochrane training
연구계획서에 포함시킬 내용
What to include in your protocol
• 이질성 평가
• 메타 분석 전, 개별 연구 간 유사성을 평가
• 시각적 조사 및 통계량 사용 (I2 등)
• 자료 합성
• 고정-효과 혹은 변량-효과 모형 (둘 다 사용도 가능)
• 하위그룹 분석 및 이질성 조사
• 사전계획된 하위그룹 분석
• 이질성 탐색을 위한 기타 다른 전략
cochrane training
cochrane training
핵심 전달 사항
Take home message
• 통계적 이질성은, 표본 추출 변동으로 예상할 수 있는
것보다 더 큰 정도로 개별 연구들의 효과 간 차이가 있음을
의미함
• 이는 임상적, 방법론적 다양성에 의한 것일 수 있음
• 고정 및 변량-효과 모형은 이질성에 대한 각각 다른 가정에
기반함
• 이질성을 발견할 경우 그 원인을 탐색할 것
cochrane training
References
•
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The
Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Acknowledgements
•
•
•
Miranda Cumpston 편집
Georgia Salanti, Julian Higgins, Steff Lewis, 코크란 통계방법 그룹 (the Cochrane
Statistical Methods Group), 호주 코크란 센터 (the Australasian Cochrane Centre)
와 네덜란드 코크란 센터 (the Dutch Cochrane Centre) 의 교육자료를 원자료로
함
cochrane training
Translated by Kun Hyung Kim, Hyung Sik Ahn