Transcript Document
系統性回顧文獻的評讀 李智雄醫師 高雄醫學大學附設醫院 實證醫學中心 Critical Appraisal 文獻評讀 • Validity – 研究方法評析以判斷結果之可信與否 • Importance – 結果差異的重要性及對臨床的意義 • Practicability – 可否用來照顧我的病人 對大量醫學相關訊息的真實性和可用 性進行去偽存真，擷取精華的步驟 系統性回顧文獻 • • • • • • 什麼是系統性回顧文獻？ 跟統合分析文獻或一般回顧文獻有何不同？ 什麼是統合分析？ 何謂文獻的同質性與異質性？ 如何解讀森林圖？ 什麼是出版偏差？如何檢驗？ Systematic Reviews and Meta-Analyses 系統性回顧與統合分析 Important Clinical Question 某一臨床問題 Study 1 研究一 Study 2 研究二 Study 3 研究三 Study 4 研究四 ……....... Study n 研究 n 1. Comprehensive survey of the primary studies of the highest level of evidence 嚴格搜尋高證據度的研究 2. Meta-analysis: A survey in which the results of all included studies are similar enough statistically that the results are combined and analyzed as if they were one study 統合分析：以統計方法將結論相似的各研究的結果整合分析做出結論 對臨床問題做出結論 Pitfalls to Meta-Analysis 統合分析的陷阱 • It’s rare that the results of different studies precisely agree • Difficult to have research with exactly the same measuring techniques, definitions of variables • The number of patients in a single study is not large enough to come up with a decisive conclusion • Authors selection bias • Publication bias Forest Plot 森林圖 Explore Heterogeneity 檢驗異質性 • Statistical Heterogeneity – “Eyeball” test – Cochran chi-square ( Cochran Q ) • Definite heterogeneity (確定有差異) – Cochran Q ( P < 0.1 ) • Possible heterogeneity (可能有差異) – Cochran Q is not statistically significant – Cochran Q / degrees of freedom (Q/df) > 1 • Heterogeneity unlikely (有差異機會不大) – Cochran Q is not statistically significant – Q/df < 1 – I2 test • <25%異質性不大；>50%異質性大，不宜統合 • Clinical Heterogeneity – Differences in patients, interventions, outcomes • Methodological Heterogeneity – Different study designs, degree of bias control Forest plots of two distinct hypothetical meta-analysis Fixed effect model: The summary result provided the best estimate of an assumed common treatment effect Same summary estimate and 95% CI Random effect model: The summary result gives the average from distribution of treatment effects across studies BMJ 2011; 342:d549 Publication Bias and Funnel Plot Symmetric Funnel Plot Asymmetric Funnel Plot Critical Appraisal of Systematic Review (I) “系統性回顧”的評析 （一） • Are the results of the review valid (效度如何)? – Did the review address a clearly focused question (問題 清楚聚焦)? – Did the authors look for the right type of papers (文獻類 型正確)? – Do you think the important, relevant studies were included (納入相關重要的文獻)? – Did the review’s authors do enough to assess the quality of the included studies (嚴謹的文獻品質的評估)? – If the results of the review have been combined, was it reasonable to do so (將各研究結果做統合，合理嗎)? 解答不同類型臨床問題之最佳研究設計 Question type (問題類型) Study design (研究設計) Diagnostic test 診斷性檢驗或檢查 Prospective, blinded cross-sectional study comparing with gold standard 前瞻性、盲法、與黃金標準進行比較之斷面研究 Prognosis 預後 Cohort study > Case control study > Case series study 世代研究 > 病例對照研究 > 病例系列研究 Etiology 病因 Cohort study > Case control study > Case series study 世代研究 > 病例對照研究 > 病例系列研究 Therapy 治療 Randomised control trial (RCT) 隨機對照試驗 Prevention 預防 Randomised control trial (RCT) 隨機對照試驗 Cost effectiveness 成本效益 Economic analysis 經濟分析 Did the review address a clearly focused question 問題清楚聚焦? 最理想狀況為何？ 何處找到相關訊息？ 應清楚闡明文章想要回答 題目、摘要或前言的末段 的問題，暴露因子(包括 應清楚描述所關心的問題。 治療、檢驗等)與結果的 因果關係簡單明瞭 (PICO) □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Did the authors look for the right type of papers 文獻類型正確? 最理想狀況為何？ 何處找到相關訊息？ 1. 回答臨床問題 搜尋到的文獻皆適合回答臨床問題，即PICO 一致。 事先清楚界定“收入”及“排除”文 章的準則，準則的描述應包括病人群的特性， 介入治療的方法或暴露因子、有興趣的研究結 果 2. 研究設計正確 例如：治療文獻以RCT為主 “研究方法”詳細描述要搜 尋的文獻題目，內容，及研 究設計類型。並訂有納入及 排除條件 □是 □否 “研究結果”詳列所搜尋到 的文獻， □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Do you think the important, relevant studies were included 納入相關重要的文獻? 最理想狀況為何？ 何處找到相關訊息？ 資料搜尋是否完整，包含 “研究方法”詳細描述搜尋 -- 重要的資料庫如Medline, Cochrane, EMBASE等 字彙與策略 -- 相關研究的參考文獻 “研究結果”詳列回顧的題 -- 向專家請教，特別是尚未刊載的研究 目、摘要、全文數目，排 -- 不只限於英文資料 除的文章及排除理由，並 -- 搜尋策略包括MESH term及text words 以圖表或流程圖呈現 □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Did the review’s authors do enough to assess the quality of the included studies 嚴謹的文獻品質的評估? 最理想狀況為何？ 何處找到相關訊息？ 應描述所回顧的每篇文章研究的品 “研究方法”應描述品質的評估 質 及所使用的準則 “研究結果”應說明各研究的品質 研究品質的判定準則依不同臨床問 題而事先擬定的，如隨機分配、雙 盲、追蹤的完整度等 □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ If the results of the review have been combined, was it reasonable to do so 統合各研究結果合理嗎? 最理想狀況為何？ 何處找到相關訊息？ 各研究結果公開呈現 最理想的狀況是各研究的結論一致 或差異不大 如果各研究的結果有差異，作者以 統計的方法檢驗是否達到有統計意 義的差別 “研究結果”應說明各研究的結果是 否有差異，並討論可能的原因 “Forest plot”應顯示差異性的檢驗 結果。 探討各研究結論差異的原因 □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Critical Appraisal of Systematic Review (II) “系統性回顧”的評析 （二） • What were the results (結果為何)? – What are the overall results of the review (回顧文獻的整體結 果為何)? – How precise are the results (結果的準確性如何)? • Will the results help locally (結果對本地有幫助 嗎)? – Can the results be applied to the local population (結果適用 於本地病人嗎)? – Were all important outcomes considered (所有重要結果是否都 考慮到了)? – Are the benefits worth the harms and costs (考量利弊，花費， 是否值得)? 不同類型的研究結果分析 (1) • Therapy / Prevention (治療/預防) – Relative risk reduction (RRR, 相對風險性降低度) – Absolute risk reduction (ARR, 絕對風險性降低度) – Number needed to treat (NNT, 益一需治數) • Harm / Etiology (傷害/病因) – Relative risk (RR, 風險比) – Odds ratio (OR, 勝算比) – Number needed to harm (NNH, 害一需治數) 不同類型的研究結果分析 (2) • Diagnosis (診斷) – Sensitivity (敏感度) – Specificity (特異度) – Positive predictive value (陽性預測值) – Negative predictive value (陰性預測值) – Likelihood ratio (相似比) • Prognosis (預後) – Event rate (事件發生率) – Odds ratio (OR, 勝算比) – Survival curve What are the overall results of the review 回顧文獻的整體結果為何? 最理想狀況為何？ 何處找到相關訊息？ 清楚呈現回顧文獻重要的結果，包 含各重要的臨床結果 “研究結果”應說明各研究的結果， 並以“Forest plot”呈現出來 結果是以何種方式呈現，數字為何？ 如NNT, Odds ratio等 □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ How precise are the results 結果的準確性如何? 最理想狀況為何？ 何處找到相關訊息？ 各重要的臨床結果除了呈現是否達 到統計上有意義的差別外，也應呈 現95%信賴區間，做為可信度的判 斷 “研究結果”應說明各研究的結果， 除了呈現Ｐ值外，也呈現95%信賴區 間 “Forest plot”清楚呈現95% CI □是 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Meta-analysis Treatment reduces mortality by 34% Forest Plot Comparison: Treatment VS Placebo Outcome: Effect of treatment on mortality Study Brown 1998 Treatment n/N 24/472 Geoffrey 1997 120/2850 Mason 1996 56/2051 Control n/N OR (95% CI) Weight % OR (95% CI) 35/499 9.6 0.71(0.42, 1.21) 182/2838 51.8 0.64(0.51, 0.81) 84/2030 24.4 0.65(0.46, 0.92) 1.1 1.22(0.31, 4.71) Peters 2000 5/81 4/78 Scott 1998 31/788 46/792 13.1 0.66(0.42, 1.06) Total (95% CI) 236/6242 351/6237 100.0 0.66(0.56, 0.78) .1 .2 Test for heterogeneity chi-square=0.92 df=4 p=0.92 Test for overall effect z=-4.82 p<0.00001 Favors treatment 1 5 10 Favors control No effect of treatment Explore Heterogeneity Eyeball test – Overlap of the confidence intervals of the trials with the summary estimate Vertical light blue line through the combined Cochran Q and Q / df Study Brown 1998 Treatment n/N 24/472 Geoffrey 1997 120/2850 Mason 1996 56/2051 Control n/N odds ratio crosses the horizontal lines of all the individual studies OR Weight OR (95% CI) % (95% CI) 35/499 9.6 0.71(0.42, 1.21) 182/2838 51.8 0.64(0.51, 0.81) 84/2030 24.4 0.65(0.46, 0.92) 1.1 1.22(0.31, 4.71) Peters 2000 5/81 4/78 Scott 1998 31/788 46/792 13.1 0.66(0.42, 1.06) Total (95% CI) 236/6242 351/6237 100.0 0.66(0.56, 0.78) .1 .2 Test for heterogeneity chi-square=0.92 df=4 p=0.92 Test for overall effect z=-4.82 p<0.00001 Favors treatment 1 5 10 Cochran Q p=0.92 Q / df = 0.92 / 4 = 0.23 (<1) Favors control Can the results be applied to the local population 結果適用於本地病人嗎? 最理想狀況為何？ 何處找到相關訊息？ 病人的生物特性，疾病狀況等與文 獻中探討的族群相似 社會，經濟的因素相似 評估應用在病人身上的效果如何？ □是 “研究方法”中描述所要搜集文獻的研 究族群的特性 “研究結果”中說明所搜集到的文獻 之研究族群 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Were all important outcomes considered 所有重要結果是否都考慮到了? 最理想狀況為何？ 何處找到相關訊息？ 涵蓋了各種臨床重要的結果，並做 分析比較 結果清楚呈現在Forest plot中 □是 “研究結果”中探討各種臨床重要的 結果，分析治療的效果與差異 Forest plot中呈現各種結果的分析 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ Are the benefits worth the harms and costs 考量利弊花費，是否值得? 最理想狀況為何？ 何處找到相關訊息？ 除了探討益處之外，亦提出可能的 副作用或害處，及可能的花費與付 出的代價 □是 經濟效益分析 □否 □不清楚 評論：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ BMJ 2011; 342:d549 BMJ 2011; 342:d549 Methodology for a Systematic Review of RCTs