Transcript 請點選此處進行下載

Critical appraisal
張祐泟
100-2-25





EBM 五大步驟
Asking answerable question
Finding the best evidence
Appraising the evidence
Making a decision
Evaluating your performance
 在評讀之前須先瞭解各種研究是屬何種設
計方式，研究方法介紹
 醫學統計學介紹
 評讀方法和工具
 如何應用
所有研究
描述性研究
橫切調查
質性研究
分析性研究
介入性試驗
隨機對照試驗
交叉設計
觀察性分析
世代研究
橫切研究
病例對照研究
4
簡介幾種常用的研究設計
系統性回顧
 隨機對照試驗
 交叉設計
 世代研究
 病例對照研究
 橫切研究
5
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
系統性回顧
試驗A
試驗B
試驗C
試驗D
整合分析
6
系統性回顧 (Systematic review)
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
集合多個目的和方法十分相近的研究報告整合在
一起進行分析
 若有將各研究的結果合併進行統計則稱為

meta-analysis (後設分析)
7
隨機對照試驗
(Ramdomized Control Studies)
追
蹤
及
分
析
治
療
結
果
隨
機
分
組
病人族群
治療組
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
對照組
8
隨機對照試驗
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
研究對象：某種疾病的患者或具備某種特徵的人
 研究內容：
 以隨機方式將受試者分為治療組及控制組
 前者接受試驗性的治療，後者接受傳統治療或
安慰劑（外表如試驗藥物但實際不含活性藥物
）
 比較兩組受試者的狀況而了解試驗藥物的療效
及安全性
 首選領域：探討某種處置或藥物之效益

9
隨機對照試驗
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
Advantages:
 無偏誤地均攤干擾因素
 較能作盲性試驗
 隨機分配有利於統計分析
Disadvantages:
 耗費時間和金錢
 志願者的偏差
 時有倫理問題
10
交叉設計 (Crossover Design)
隨
機
分
組
病人族群
追
蹤
及
比
較
兩
種
用
藥
的
結
果
交
換
用
藥
治療用藥
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
對照用藥
11
交叉設計



系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
研究對象：某種疾病的患者或具備某種特徵的人
研究內容：
 受試者會先後接受試驗治療及控制治療
 受試者被隨機分配先接受其中一種治療，在經
過交叉點後便接受另一種治療
 評估指標為比較受試者在接受兩種不同治療時
所發生的效應
設計限制：類試驗僅限於相關治療之效力屬可逆
性者
12
交叉設計
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
Advantages:
 因所有受試者均與自己比較，減少誤差而所需受試者
人數可以較少
 所有受試者均有接受治療（起碼有一段時間）
 統計方法可比照隨機分配試驗者
 試驗盲性可以維持
Disadvantages:
 所有受試者在某一段時間會接受安慰劑或非試驗性的
治療
 廓清期（washout period）或許很長或尚不清楚
 不能用於具永久效應的治療
13
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
世代研究 (Cohort Study)
探
討
危
險
因
子
的
角
色
長
期
追
蹤
具危險因子者
無危險因子者
發病者
14
世代研究



系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
研究對象：從資料庫中找出曾經曝露及沒有曝露
於研究標科技或因素的兩個族群
研究內容：研究者不涉入任何處置，僅作追蹤以
了解兩個族群的結果及預後
首選領域：探討某預期風險因素對預後影響
15
世代研究
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
Advantages:
 較無倫理的顧慮
 可對兩組受試者的條件作配對
 可建立timing and directionality of events
 納入條件及結果評估能標準化
 較RCT在行政上較為簡易及便宜
Disadvantages:
 對照組可能不易識別
 可能潛藏著干擾因素
 難以保持盲性
 欠缺隨機分組
 研究罕見疾病時仍需頗大的個案數目或長久的追蹤時間
16
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
病例對照研究
(Case-Control Studies)
探
討
危
險
因
子
的
角
色
回
顧
及
分
析
病
史
患有某病者
未患該病者
具危險因素者
17
病例對照研究


系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
研究對象：某種疾病的疾患（研究組）與未罹病
的人（對照組）
研究內容：比較兩組曾經曝露於某些推測的危險
因子之狀況，進而了解該等因子與疾病的關係
18
病例對照研究
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
Advantages:
 快速及便宜
 對罕見疾病或曝露效應需很長期的追蹤等情況唯
一較實際可行的方法
 較一般橫斷研究需要較少的受試者.
Disadvantages:
 依賴回憶或紀錄來判斷曝露情形
 存有許多干擾因素
 對照組的選擇不易
 潛在偏誤：回憶、取樣
19
橫切研究
(Cross-Sectional Survey)
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
某一時間點
檢查某些項目
特定族群
具一項或多項危險因素、罹病或檢查異常者
分
析
特
定
族
群
中
各
種
異
常
與
族
群
特
色
之
相
關
20
橫切研究



系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
研究對象：某一時間點中之特定族群
研究內容：檢視該族群中疾病與欲探討變項間的
關係
首選領域：探討疾病盛行率、診斷檢測方法的精
確度
21
橫切研究
系統性回顧
隨機對照試驗
交叉設計
世代研究
病例對照研究
橫切研究
Advantages:
 便宜及簡單
 倫理上安全
Disadvantages:
 只了解是否相關，但無法確立因果關係
 回憶易生偏誤
 干擾因素分配可能不均勻
 bias
 組別大小可能會不對等
22
嚴格評讀證據(for therapy)
 研究方法的探討:
Validity (Reliability) 效度/
信度
Can we believe it ?
 研究結果的分析: Importance (Impact) 重要
性
We believe it ! But does it matter?
 如何在臨床運用: Practice (Applicability) 臨
床適用性
If we believe it ‐ does it apply to our
patients?
依問題性質選最佳的研究方法
Different study design has different
level of evidence, the best quality study
design for each question:
 Frequency ‐ Prevalence (case control),
Incidence (cohort)
 Etiology / Harm ‐ cohort
 Diagnosis – case control
 Prognosis ‐ cohort
 Treatment / Intervention ‐ RCT

解答不同類型臨床問題之最佳研究設計
Question type
(問題類型)
Study design
(研究設計)
Diagnostic test
診斷性檢驗或檢查
Prospective, blinded cross-sectional study comparing with
gold standard
前瞻性、盲法、與黃金標準進行比較之斷面研究
Prognosis
預後
Cohort study > Case control study > Case series study
世代研究 > 病例對照研究 > 病例系列研究
Etiology
病因
Cohort study > Case control study > Case series study
世代研究 > 病例對照研究 > 病例系列研究
Therapy
治療
Randomised control trial (RCT)
隨機對照試驗
Prevention
預防
Randomised control trial (RCT)
隨機對照試驗
Cost effectiveness
成本效益
Economic analysis
經濟分析
探討醫學統計學
 假設檢定的核心是推論H0
 當H0是真實的，拒絕H0就是錯誤的；不拒
絕H0則是正確的
 當H0是不真實的，拒絕H0就是正確的；不
拒絕H0則是錯誤的
α : 拒絕H0時的最大允許誤差， α
是拒絕了實際上成立的H0的概率
 習慣上常用的檢定水準為 α= 0.05
 若P ≦ α 則拒絕H0 ，接受H1 ，可以認為樣
本與群體的差別不僅僅是抽樣誤差造成的
，可能存在本質上的差別，屬顯著差別
 P 質的大小代表了多大的誤差拒絕H0
 P 質越小，風險越小
 檢定水準
拒絕H0 ，接受 H1
不拒絕H0
H0 真實
I 型錯誤 (α )
正確推論 (1-α )
H0不真實
正確推論 (1-β)
II 型錯誤 (β)
H0
H1
型錯誤概率用α表示
 II 型錯誤概率用β表示
 Power of a test: 1- β
I
 醫學研究的目的之一即對未知的群體參數
進行估計
 點估計 (point estimation): 是直接用樣本統
計量作為對應的群體參數的估計值
 例如: 2011年對大台南市7歲男童的身高作
調查，真正母群體的平均身高及身高分佈
不易獲取，隨機抽取120名測得平均身高為
123.62 cm, 標準差 s= 4.75 cm，這就是點
估計
 區間估計是按一定的概率或可信度
(1-α) 用
一個區間估計母群體參數所在範圍，這個
範圍稱作可信度為 (1- α) 的信賴區間
(confidence interval, CI)
 例如取α= 0.05, 從一母群體中重複抽取100
個樣本，理論上有95個包含群體均數，有5
個不包含群體均數
Diagnostic test
disease
non-disease
positive
A
B
negative
C
D
 Sensitivity: A/A+C
 Specificity: D/B+D
 Positive predictive value(PPV): A/A+B
 Negative predictive value(NPV): D/C+D
In therapy study
 Relative risk (RR) :
Odd ratio
 Relative risk reduction (RRR)
 Absolute risk reduction (ARR)
 Number needed to treat (NNT): 1/ARR
Relative risk(相對風險)/ Risk ratio (風險
比)
 用A藥治療一疾病 100 人就有一個會產生副
作用, Relative risk: 1/100= 0.01
 用B藥治療一疾病 50 人就有一個會產生副
作用, Relative risk: 1/50= 0.02
 B藥相較於A藥的 risk ratio= 0.02/0.01= 2
 Odds
(勝算) / Odds ratio (勝算比)
 Odds (勝算): 事件發生次數除以事件無發生
次數
 用A藥治療一疾病, 100 人就有一個會產生
副作用, 產生副作用的odds (勝算)=
1:99=1/99= 0.0101
 什麼是odds
ratio( 勝算比):
 Odds ratio: 病人組中對某危險因子暴露的勝算
除以對照組的勝算
 舉例: 兩勝算相比。如罹患A疾病機率是 0.5 ，
罹患B疾病機率是 0.2;
 以勝算來比較, 則罹患A疾為 1(=0.5/0.5)
 罹患B疾為1/4 (=0.2/0.8)
 罹患A疾和罹患B疾的勝算比(odds ratio), 即: 1
比 ¼ 為 4。
 勝算比為1表示兩組的風險是沒有差別的
Effect of Therapy (治療效果）
接受某治療
不接受某治療
一年的死亡人數
300
800
一年的存活人數
700
200
實驗組事件發生率 (EER) = 300 / (300+700) = 30%
對照組事件發生率(CER) = 800 / (800+200) = 80%
風險比 (Risk Ratio, RR) = EER / CER = 0.3 / 0.8 = 0.375
絕對危險性降低度 (ARR) = CER – EER = 80% - 30% = 50%
相對風險性降低度 (RRR) = CER – EER / CER = (80% - 30%) / 80% = 62.5%
EER: Experimental event rate
CER: Control event rate
ARR: Absolute risk reduction
RRR: Relative risk reduction
Number Needed to Treat (NNT)
“益一需治數＂
“益一需治數＂：為了預防一個不良結果
或減少一人死亡所需治療的病人數
例如：治療五人可減少一人死亡 VS 治療兩千人可減少一人死亡
NNT = 1 / ARR or 100 / ARR (%)
How large was the treatment effect
治療效果有多大？
某一研究追蹤二年，對照組死亡率15%，治療組死亡率10%，
結果的呈現方式有：
呈現方式
Relative Risk (相對風險)
RR = 0.10 / 0.15 = 0.67
代表的意義
治療組發生風險相對於對照組的倍數。RR=1兩組無差別，
RR<1治療可降低風險，
RR>1治療會增加風險
RR<1表示治療可降低死亡的風險
Absolute Risk Reduction
(絕對危險性降低度)
ARR = 0.15 – 0.10 = 0.05 or 5%
治療組與對照組發生風險的絕對差異
Relative Risk Reduction
(相對風險性降低度)
RRR = 0.05 / 0.15 = 0.33 or 33%
Or RRR = 1 – 0.67 = 0.33 or 33%
相對於對照組，治療組降低風險的比率
(最常見的呈現方式)
Number Needed to Treat
(益一需治數)
NNT = 1 / ARR = 1 / 0.05 = 20
要預防一位不良結果發生所必需治療的病人數
治療的益處是降低5%的死亡率
相對於對照組，治療可以降低死亡的的機率33%
必需治療20位病人2年才能預防1人死亡
Critically Appraising the Evidence
(VIP)

Critically appraising the evidence for its (VIP)
– Validity (closeness to the truth)
• 1. Was the assignment of patients to treatment randomized?
• 2. Was follow-up of patients sufficiently long and complete? (> 80%)
• 3. Were all patients analyzed in the groups to which they were
randomized? (ITT, Intension To Treat analysis)
• 4. Were patients and clinicians kept blind to treatment?
• 5. Were groups treated equally, apart from the experimental therapy?
• 6. Were the groups similar at the start of the trial?
– Validity: selection bias, information bias, confounding
– Reliability of measurement: intraobserver, interobserver, internal consistency
» SD, variance, 95% CI (confidence interval), p value
– Impact (size of the effect):
• NNT (number needed to treat) = 1/ARR (absolute risk reduction)
• NNH (number needed to harm) = 1/ARI (absolute risk increase)
– Applicability (usefulness in our clinical practice)
• Integrating the evidence with our clinical expertise and patients’ values and preferences.
The RAMMbo* acronym: assessing study
bias
Recruitment
P
P
Allocation
E
E
C
C
O
O
T
T
Maintenance
Measurement of
outcomes blind or
objective
Critical Appraisal Skills Programme
(CASP)
10 questions to help you make sense of
randomised controlled trials
 How to use this appraisal tool
 Three broad issues need to be considered
when appraising the report of a
 randomised controlled trial:
– • Is the trial valid?
– • What are the results?
– • Will the results help locally?
1. Did the study ask a clearly-focused
question? -> Yes, Can’t tell, No
Consider if the question is ‘focused’ in
terms of:
– the population studied
– the intervention given
– the outcomes considered
2. Was this a randomised controlled trial
(RCT) and was it appropriately so?
-> Yes, Can’t tell, No
Consider:
– why this study was carried out as an RCT
– if this was the right research approach for
the question being asked
3. Were participants appropriately allocated
to intervention and control groups?
4. Were participants, staff and study
personnel ‘blind’ to participants’ study
group?
5. Were all of the participants who entered
the trial accounted for at its conclusion?
6. Were the participants in all groups
followed up and data collected in the
same way?
7. Did the study have enough participants to
minimise the play of chance?
8. How are the results presented and what is
the main result?
9. How precise are these results?
10. Were all important outcomes considered
so the results can be applied?
Will the Results Help Me in Caring
for My Patients ?

Are the people in the study like my patient ?
–
–
–
–

Age
General state of health
Type and severity of disease process
Time in the course of the disease
Did the study cover all aspects of problem ?
– eg treatment effect on symptom relief, quality of life, mortality etc



Is the treatment feasible in my setting ?
Will the potential benefits of treatment outweigh the
potential harms of treatment for my patients ?
Does it suggest a clear and useful plan of action ?
– Help to clarify a patient’s prognosis
– Suggest a useful plan to improve patient’s state of health
Systematic reviews

Meta-analysis (統合分析)
– If the results of the individual studies are similar
– Gives weighted values to each of the individual studies
according to their size
– The individual results of the studies expressed in a standard
way, eg relative risk, odds ratio or mean difference between
groups
– Results are displayed in a figure called “forest plot”

Exploring heterogeneity (檢驗差異性)
– Cochran chi-square ( Cochran Q test)
• Definite heterogeneity (確定有差異)
– Cochran Q ( P < 0.1 )
• Possible heterogeneity (可能有差異)
– Cochran Q is not statistically significant
– Cochran Q / degrees of freedom (Q/df) > 1
• Heterogeneity unlikely (有差異機會不大)
– Cochran Q is not statistically significant
– Q/df < 1
Meta-analysis
Forest Plot
Comparison: Treatment VS Placebo
Outcome: Effect of treatment on mortality
Study
Brown 1998
Treatment
n/N
24/472
Geoffrey 1997 120/2850
Mason 1996
56/2051
Control
n/N
OR
(95% CI)
Weight
%
OR
(95% CI)
35/499
9.6
0.71(0.42, 1.21)
182/2838
51.8
0.64(0.51, 0.81)
84/2030
24.4
0.65(0.46, 0.92)
1.1
1.22(0.31, 4.71)
Peters 2000
5/81
4/78
Scott 1998
31/788
46/792
13.1
0.66(0.42, 1.06)
Total (95% CI)
236/6242
351/6237
100.0
0.66(0.56, 0.78)
.1 .2
Test for heterogeneity chi-square=0.92 df=4 p=0.92
Test for overall effect z=-4.82 p<0.00001
Favors treatment
1
5
10
Favors control
Meta-analysis
Treatment reduces
mortality by 34%
Forest Plot
Comparison: Treatment VS Placebo
Outcome: Effect of treatment on mortality
Study
Brown 1998
Treatment
n/N
24/472
Geoffrey 1997 120/2850
Mason 1996
56/2051
Control
n/N
OR
(95% CI)
Weight
%
OR
(95% CI)
35/499
9.6
0.71(0.42, 1.21)
182/2838
51.8
0.64(0.51, 0.81)
84/2030
24.4
0.65(0.46, 0.92)
1.1
1.22(0.31, 4.71)
Peters 2000
5/81
4/78
Scott 1998
31/788
46/792
13.1
0.66(0.42, 1.06)
Total (95% CI)
236/6242
351/6237
100.0
0.66(0.56, 0.78)
.1 .2
Test for heterogeneity chi-square=0.92 df=4 p=0.92
Test for overall effect z=-4.82 p<0.00001
Favors treatment
1
5
10
Favors control
No effect of treatment
Explore Heterogeneity
Eyeball test – Overlap of the confidence intervals of the trials with the summary
estimate Cochran Q and Q / df
Study
Brown 1998
Treatment
n/N
24/472
Geoffrey 1997 120/2850
Mason 1996
56/2051
Control
n/N
Vertical light blue line through the
combined odds ratio crosses the horizontal
lines of all the individual studies
OR
Weight
OR
(95% CI)
%
(95% CI)
35/499
9.6
0.71(0.42, 1.21)
182/2838
51.8
0.64(0.51, 0.81)
84/2030
24.4
0.65(0.46, 0.92)
1.1
1.22(0.31, 4.71)
Peters 2000
5/81
4/78
Scott 1998
31/788
46/792
13.1
0.66(0.42, 1.06)
Total (95% CI)
236/6242
351/6237
100.0
0.66(0.56, 0.78)
.1 .2
Test for heterogeneity chi-square=0.92 df=4 p=0.92
Test for overall effect z=-4.82 p<0.00001
Favors treatment
1
5
10
Cochran Q p=0.92
Q / df = 0.92 / 4 = 0.23 (<1)
Favors control
Thanks for your attention
Happy weekend