Transcript Small study effects and reporting biases

소규모-연구 영향 및
보고 비뚤림
Small-study effects and
reporting biases
코크란 체계적 문헌고찰의 과정
Steps of a Cochrane review
1. 연구 질문 설정
2. 선정 기준 계획
3. 연구 방법 계획
4. 연구자료 (원자료) 검색
5. 선정 기준 적용
6. 자료 추출
7. 분석 대상 연구들의 비뚤림 위험 평가
8. 결과 분석 및 제시
9. 분석결과의 해석 및 결론 도출
10. 문헌고찰 개선 및 주기적 갱신
cochrane training
개요
Outline
• 소규모-연구 영향의 확인
• 보고 비뚤림의 이해
See Chapter 10 of the Handbook
cochrane training
무작위 (추출) 변동
Reminder: random error
무작위(추출)
변동
• 여러 연구들의 평균 효과 추정 시,
각 연구는 무작위 (추출) 변동의
영향을 받음
• 연구결과들은 참 효과 값 부근에
산포됨 – 일부는 낮게, 일부는
높게 분포
연구결과
효과
Source: Julian Higgins
cochrane training
무작위 (추출) 변동과 소규모 연구
Random error and small studies
• 무작위 (추출) 변동은 아래와 같이 가정함:
• 소규모 연구들은 대규모 연구보다 정확성이 떨어짐
• 각 연구결과 값들이 평균 값 주위로 보다 넓게 분포함
• 소규모 연구 영향
• 소규모 연구는 보다 큰 규모의 연구에 비해, 일관성있게
더 긍정적이거나 부정적인 결과를 나타냄
• 이질성의 한 종류
• 여러 가지로 설명할 수 있음
cochrane training
소규모-연구 영향의 확인
Identifying small-study effects
• 각 결과 변수에 대해 별도로 평가
• 방법:
• 그래프 (funnel plots)
• 통계적 검정
• 민감도 분석
• 주의 깊게 진행해야 하며, 통계전문가의 자문이
필요함
cochrane training
그래프
Funnel plots
• 표본 크기 대비 효과 크기의 도표화
• 표본 크기는 대개 표준 오차 등의 측정지표로 나타냄
• 각 연구들의 결과는 효과 추정치 부근에 산포될 것임
• 큰 연구들은 그래프의 위쪽에, 작은 연구들은 아래쪽에
분포
• 작은 연구들은 보다 폭넓게 분포할 것으로 예측함
• 그래프가 대칭적일 경우, 삼각형 혹은 깔때기를 뒤집은
모양처럼 보임
• RevMan에서 그래프 (funnel plots) 생성 가능
• 다양한 표본 크기를 가진 연구가 최소 10개 이상일
때에만 적합한 분석이 가능
cochrane training
대칭적 그래프
Symmetrical funnel plot
Standard Error
0
1
2
3
0.1
0.33
0.6
Effect
Source: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
비대칭적 그래프
Asymmetrical funnel plot
Standard Error
0
1
미출간된
자료
2
3
0.1
0.33
0.6
Effect
Source: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
비대칭적 그래프
Asymmetrical funnel plot
Standard Error
0
1
소규모
연구들이 모두
긍정적 효과를
보고함
2
3
0.1
0.33
0.6
Effect
Source: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
수액 소생 시 교질 대 정질 용액의 비교
Colloids vs crystalloids for fluid resuscitation
Death
Adapted from Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in
critically ill patients. Cochrane Database of Systematic Reviews 2011, Issue 3.
cochrane training
심근경색에 대한 마그네슘의 효과
Magnesium for myocardial infarction
Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
비대칭 그래프가 나타나는 이유
Reasons for funnel plot asymmetry
• 우연
• 인위적 요인 (artefact)
• 일부 통계량 (예; OR) 은 표준오차와 연관되어 있음
• 임상적 다양성
• 각 소규모 연구들 간 다양한 연구 대상 집단
• 각 소규모 연구들 간 다양한 중재 시행
• 방법론적 다양성
• 소규모 연구 내 더 높은 비뚤림 위험
• 보고 비뚤림
cochrane training
Source: Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629
Contour-enhanced funnel plots
cochrane training
Source: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
이질성으로 인한 비대칭
Asymmetry due to heterogeneity
cochrane training
Source: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
비대칭 그래프에 대한 검정
Tests for funnel plot asymmetry
• 표본 크기와 효과 크기 간, 우연히 나타날 수 있는
정도를 상회하는, 더 큰 연관성이 존재하는가?
• 세 가지 검정법이 추천됨
• 보고 비뚤림을 배제하기 위한 검정력은 대체로 낮음
• 그래프의 시각적 검토 또한 활용됨
• 다양한 표본 크기를 가진 연구가 최소 10개 이상일
때에만 적합한 분석이 가능
See Section 10.4.3 of the Handbook
cochrane training
민감도 분석
Sensitivity analysis
• 소규모-연구 영향 확인 시, 분석 결과에 얼마나 큰 영향을
미치는가?
• 분석 전, 통계학자와 상의
• 이질성 존재 시 (I2 > 0), 고정-효과 모형 및 변량-효과 모형
효과 추정치를 비교
• 차이가 있는가?
• 만약 있다면, 작은 연구에서 중재효과가 더 크게 나타나는
이유가 있는가?
• 선택 모형 및 기타 방법 가능
cochrane training
민감도 분석
Sensitivity analysis
Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
개요
Outline
• 소규모-연구 영향의 확인
• 보고 비뚤림의 이해
cochrane training
근거의 보급
The dissemination of evidence
일부 가능
불가능
(학위논문,
이용 원활
(미출간)
컨퍼런스,
(Medline-등재)
Source: Matthias Egger
소규모 저널)
적극적인 보급
(뉴스,
제약회사)
cochrane training
보고 비뚤림
Reporting biases
• 연구결과의 보급은 그 결과의 성격 및 방향 (효과 있음,
효과 없음) 에 영향을 받음
• 통계적으로 유의하며, ‘긍정적인’ 결과는 보다 잘
출판되는 경향이 있음…
• …따라서, 분석에 보다 잘 포함되는 경향이 있음
• 효과를 과장되게 산출
• 큰 연구들은 결과와 무관하게 출간되는 경향이지만,
작은 연구들은 가장 많이 영향을 받을 수 있음
• 통계적으로 유의성이 없는 연구결과 역시,
통계적으로 유의한 연구만큼, 문헌고찰 시 중요함
cochrane training
보고 비뚤림 존재의 근거
Evidence for reporting bias
미출간된
연구의 비율
Significant
Non-significant trend
Null
연구 개시 후 경과 년도
Source: Stern JM, Simes RJ. Publication bias: evidence of delayed publication
in a cohort study of clinical research projects BMJ 1997;315:640-645.
cochrane training
긍정적 연구들은 보다 잘…
Positive studies are more likely to be
계획됨
수행됨
투고됨
출판됨
• 출판을 위해 투고됨...
• …게재 승인됨 (publication bias)
• …빨리 승인됨 (time lag bias)
• …두 편 이상의 논문으로 출판됨
(multiple publication bias)
• …영어로 출판됨 (language bias)
• … 주요 DB 에 등재된 영향력 있는
저널에 출판됨 (location bias)
• … 긍정적 연구결과가 포함됨
인용됨
Source: Julian Higgins
(selective outcome reporting)
• …인용됨 (citation bias)
cochrane training
예시: alpha blockers
Example: alpha blockers
• 10 개 연구에서, 다양한 약물 용량의 효과를 측정함
• 약물이 사용승인 되기 위해서는, 연구가 반드시
종료되어 규제기관에 그 결과를 보고해야 함
• 대다수 연구결과는 검색 시 확인할 수 없었음
• 규제기관이 승인한 약물 용량의 상당수는, 사용을
승인할 만한 충분한 근거를 갖추지 못하였음
• 일부 약물 용량에 대해서는, 출판된 연구결과가 아예
없었음
Source: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering
efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4
cochrane training
예시: 항우울제
Example: antidepressants
cochrane training
Source: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of
antidepressant trials in the FDA trial registry database and related journal publications. BMJ 2009, 339.
출판 비뚤림의 영향
Impact of publication bias
Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized
trials of health care interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
문헌고찰 시 적용방법
What does this mean for my review?
• 예방
• 여러 자료 출처들의 종합적 검색
• 회색 (미출간) 자료, 비-영어 자료, 수기 검색
• 임상시험 등록 사이트
• 진단
• 소규모-연구 영향의 존재 여부를 확인
• 민감도 분석을 통해 잠재적 영향력을 확인
• 출판 비뚤림만으로는 소규모-연구 영향을 설명할 수 없음
• 완전한 해결책은 없음
• 어떠한 소규모-연구 영향이라도 탐색할 것
• 문헌고찰 작성 시, 보고 비뚤림의 가능성 언급
cochrane training
연구계획서에 포함시킬 내용
What to include in your protocol
• 보고 비뚤림의 평가
• 그래프 및 그 비대칭에 대한 통계적 검정의 조건부 사용
cochrane training
핵심 전달 사항
Take home message
•
•
•
•
문헌고찰 시 소규모-연구 영향 존재 여부를 확인
다양한 요인이 있음을 인지
분석 결과에 대한 보고 비뚤림의 잠재적 영향력을 고려
불명확한 부분은 통계적 자문 요청
cochrane training
References
•
•
•
Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases.
In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of
Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration,
2011. Available from www.cochrane-handbook.org.
Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;
315: 629
Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and
interpreting funnel plot asymmetry in meta-analyses of randomised controlled
trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
Acknowledgements
•
•
•
•
Miranda Cumpston 편집
Based on materials by Jonathan Sterne, Matthias Egger, Julian Higgins, David Moher,
Nancy Santesso, Holger Schünemann, the Cochrane Bias Methods Group, the
Australasian Cochrane Centre) and the Cochrane Applicability and Recommendations
Methods Group 의 교육자료를 원 자료로 함
본 교육자료는 Cochrane Methods Board 가 승인하였음
cochrane training
Translated by Kun Hyung Kim, Hung Sik Ahn