Transcript 系统评价概述与制作简介

系统评价/Meta分析概述
康德英
华西医院循证医学/临床流行病学教研室
2012-12
一、背景
 为提高效率，应在短时间获取、阅读
高质量的文献综述。
 高质量的文献综述-Meta-分析/系统评价
应运而生。
文献综述(review)
 综述是专题性、概述性、评论性的一类文献。
 基于特定目的、需要或兴趣，收集有关的文献资料，
采用定性分析的方法，对论文中阐述的研究目的、方
法、结果、结论和观点等进行分析和评价，并基于自
己的观点和判断，将一系列相关文献，加以综合归纳、
条理化，最后成文。
 存在问题：
 原始研究文献的搜集不够全面，比较片面局限；
 未对原始研究文献的质量进行严格评价；
 综述过程欠透明、重复性较差，结论不一定正确、
可信。
系统评价(Systematic Review)

系统评价(综述)是一种全新的文献评价方法

针对某一具体临床问题（如疾病的病因、诊断、
治疗、预后），系统、全面地收集全世界所有
已发表或未发表的临床研究，采用临床流行病
学的原则和方法严格评价文献，并筛选出符合
质量标准的文献，进行定性或定量合成
（meta-analysis，荟萃分析或汇总分析），
从而得出综合可靠的结论。
一般文献综述与系统评价的甄别
特征
一般文献综述(review)
系统评价
(systematic review)
研究问题
较广泛
某一具体临床问题
原始研究文献来源
常不全面
全面，常为多途径
检索方法
检索策略常未报告
检索策略明确、可重复
原始研究文献的筛选 缺乏具体标准、有潜在偏倚
纳入、排除标准明确
原始研究文献的评价 评价方法不统一或未评价
有严格的评价方法
结果的综合
多采用定性描述方法
多采用定量方法meta分析
结论的形成
较主观，受综述者自身水平、观点制约 较客观，基于研究证据
更新
未更新
定期更新,时效性
Cochrane系统评价




已故英国著名流行病学家和内科医生Archie Cochrane1979
年提出“应该根据特定病种/疗法将所有相关随机对照试
验联合起来进行综合分析，并随着新的临床试验的出现不
断更新，以便得出更为可靠的结论”。
Cochrane于 1987年对过去20余年发表的、有关妊娠和分
娩后随访的大样本随机对照试验结果，进行了里程碑式的
系统评价。
1992年底，由Cochrane的学生Iain Chalmers爵士发起，在
英国国家卫生服务部资助下，成立了以Cochrane 命名的、
全球首个Cochrane中心-英国Cochrane中心。
1993年秋在英国牛津正式成立国际Cochrane协作网，邀请
David Sackett担任首届主席，确定每年召开一次国际
Cochrane年会。
系统评价与Meta分析

文献的定性综合评价


有关汇总多个医学文献结果的思路，在很早就
有；1904年Karl Pearson提出数据合并的概念。
上个世纪20年代，Fisher介绍了对若干独立试验
结果的P值合并方法。
Meta分析


Meta analysis：Meta为希腊词，
“after/more comprehensive/secondary”
中文译名:
Meta分析
荟萃分析
综合分析
元分析
二次分析





Meta分析

Meta分析是对具有相同研究问题的、多
个独立的研究，所进行的一种定量汇总
分析。 实际上是文献综合评价与统计学
方法相结合的分析过程。
Meta分析

通过对多个同类独立研究的结果进行汇总和
合并分析；



达到增大样本含量、提高检验效能的目的；
提高效应量的估计精度；
当多个研究结果不一致或都无统计学意义时，
用Meta分析可得到更加接近真实情况的统计分
析结果。
系统评价与Meta分析
系统评价可分为定性与定量评价，两者有密
切联系。一个系统评价可能包括多个Meta分
析，有时可能一个都没有。
Meta分析帮助系统评价实现定量化。

二、系统评价的制作方法与步骤









确定题目(问题提出明确具体)
制定计划书(Protocol)：
检索文献(包括检索策略，查全所有相关研究)
文献纳入与筛选(确定纳入与排除原始研究标准)
纳入研究文献的严格评价(逐一严格评价每个研究的方法
与结果)
数据提取与收集(研究结果提取与标准化)
Meta分析 (研究结果间的异质性检验，运用合适的统计方
法，进行汇总分析)
结果报告、讨论及结论(评价、解释、报告Meta分析结果，
敏感性分析)
系统评价的更新
（一）确定题目
构建可回答的、具体的、前景性问题，
提出立题依据( well formulated question &
rationale)
基本格式： Medicine For Disease/symptom
（二）制定计划书-protocol
明确目的、范围和相关标准(objective and
scope referral standard)
 Background: why is this important?
 Specify the research question (or questions)
 Provide an overview of your methods, including
search strategy, inclusion/exclusion criteria,
quality assessment, how you will abstract the
data, and analysis plan
 Specify if you plan on doing subgroup analyses
or sensitivity analyses (best if these are a priori)
（三）检索文献
系统全面地收集所有相关的文献资
料；必须使用检索工具, 制定检索方法和检
索策略 ( Retrieve relevant literatures )
要求：
检索策略合理可行，检索过程透明、可重复
 检索手段多样（机检+手检）
 联合选择多种文献检索源（两个以上）

系统、全面检索文献

同时检索两个以上数据库: Medline, Embase,
CINAHL, CBM, CNKI, VIP

检出文献的参考文献 Reference lists

手工检索：核心杂志， conference proceedings,
books

注册临床试验数据库：CENTRAL

与相关领域专家、药企、作者联系
Corresponding or first authors of published studies
检索实例(Chinese medicinal herbs for
symptomatic carriers of hepatitis B virus
infection)

Electronic searches




The trials registers of The Cochrane Hepato-Biliary Group
The Cochrane Library, and of The Cochrane
Complementary Medicine Field were searched
MEDLINE (March 1966 - Obtober 2000)
EMBASE (January 1980 - October 2000).
A search strategy for the Cochrane Library was developed by
the Cochrane Hepato-Biliary Group. MEDLINE and
EMBASE were searched using the MeSH terms: hepatitis-B,
carrier-state, medicine-Chinese-traditional, plants-medicinal,
drugs-Chinese-herbal, plants extracts, and herbs. No language
restrictions were applied.
（四）文献纳入与筛选
根据研究问题(PICOS)来确定纳
入与排除标准，进而选择文献 (Selecting
good studies)，并非所有文献都可纳入。
筛选分三步进行 :



初筛：相关性(文题+摘要)
阅读全文：纳入与排除标准
与作者联系：报告不充分或未报告
检索
通过数据库检索的文献数
通过其他途径检索的文献数
筛查
去重后的文献数
筛查过的文献数
排除的文献数
合格
合格的全文文献数
排除的全文文献数及原因
纳入
纳入的定量综合文献数（Meta分析）
纳入的定性综合文献数
文
献
筛
选
纳
入
流
程
图
文献纳入与排除标准的制定

PICOS:
 similar
patient populations: P
 similar
interventions: I
 similar
control/comparison: C
 similar
outcomes: O
 similar
study design: S
Cochrane SR的 “纳入标准” 基本格
式




S:研究设计类型 (e.g., RCT)
P:研究对象或人群 (risk group)
I:干预措施 (dosage strength, regimen)
O:主要结局指标 (definitions, follow-up
period)
（五）纳入研究文献的严格评价


对入选的文献, 须用临床流行病学评价文献
的原则和方法,进一步分析评价,以防止和减
少偏倚(assessment of study quality) 。
原始研究的主要偏倚:



选择性偏倚
随访偏倚
测量偏倚
Cochrane协作网偏倚风险评价工具
Cochrane风险评价工具(RCT)
评价条目
评价内容描述
具体评价问题
1．随机分配方法
详细描述产生随机分配序列的方
法，有助于评估组间可比性
随机化分配序列的产生
是否正确？
2．分配方案隐藏
详细描述隐藏随机分配序列的方
法，从而帮助判断干预措施分配
情况是否可预知
分配方案是否有效地隐
藏？
3．盲法
描述对受试者或试验人员实施盲
法的方法，以防止他们知道受试
者的干预措施，提供判断盲法是
否成功的相关信息
盲法是否完善？
4．结果数据的完整性
报告每个主要结局指标的数据完
结果数据是否完整？
整性，包括失访和退出的数据。
明确是否报告以上信息及其原因，
是否采用意向性分析（ITT）
5．选择性报告研究结果
描述选择性报告结果的可能性及
情况
研究报告是否提示无选
择性报告结果？
6．其它偏倚来源
除以上5个方面，是否存在其他引
起偏倚的因素？若事先在计划中
提到某个问题或因素，应在全文
中作答
研究是否存在引起高度
偏倚风险的其他因素？
（六）数据提取与收集

收集和提取数据资料(collecting of data),
判断收集数据的可靠性.




一般资料
研究特征(疾病/患者，干预措施，设计方案)
结果测定
随访失访
（七）Meta分析

汇总分析与结果报告(analysis and presenting
results)


定性分析:用描述的方法,对研究的设计
方法和结果进行总结.
定量分析:
1) 异质性检验
2) Meta-分析
Meta分析的统计步骤

包括：
异质性（同质性）检验；
 计算合并效应量；
 合并效应量的假设检验与区间估计 。
 敏感性分析/亚组分析

步骤1：异质性检验
(Heterogeneity Test)
检验多个原始研究结果间的一致性:
Q检验法及I2指数
图形法
异质性分类

统计异质性: Variability in the intervention
effects being evaluated
 临床异质性：Variability in the participants,
interventions and outcomes studied
 方法学异质性：Variability in
risk of bias
study design and
统计异质性检验结果



森林图目测：可信区间的重叠交叉程度
Q检验：P>0.10和P<0.10
I Square(I2):
0% to 40%: might not be important;
 30% to 60%: may represent moderate
heterogeneity;
 50% to 90%: may represent substantial
heterogeneity*;
 75% to 100%: considerable heterogeneity*.

步骤2．多个研究的效应量合并


将多个研究的结果合并（或汇总）成为一个
合并效应量，以反映多个研究综合结果。
常用效应量的表达方式有：


数值变量资料：均数差值（或标准化均数差值）
分类变量资料： OR (比数比)、RR (相对危险
度) 。
步骤3．合并效应量的统计推断


检验合并效应量在总体上是否具有统计学意义。
合并效应量的总体推断方法:
 假设检验(Hypothesis Test)
 合并效应量的95%可信区间估计
步骤4．敏感性分析或亚组分析

考察Meta分析结果的稳健性与可靠性。
一） 数值变量资料- Meta分析
基本过程
异质性检验（Q检验法及森林图目测法）
 效应量：合并分析MD合并
 假设检验及合并效应量MD合并的95%可信
区间估计
 敏感性分析

分析数据提取与准备

根据现有数据判断资料是否满足正态分布。

结果是否包括了所有观察对象，有无缺失
／失访情况，其比例有多大？

纳入研究间度量衡单位是否一致、有无方
向性（正向指标、负向指标）
1、Meta分析所需数据
组
别
治疗开始前
均数标准差
治疗组
对照组
合 计
治疗后
均数标准差
前后差值
均数标准差
2、确定单个研究的效应量
效应量为试验组与对照组的均数之差；
 包括两种形式：
1、观察终点的均数之差
2、治疗前后变化值均数间的差值。
根据基线比较的结果而定。

3、多个研究合并效应量

均数差值：样本量相差较大

均数差值的标准化值：标准或度量衡单位
不统一
例1 某研究者为分析某降血脂药物的疗效，
纳入了5个RCT，结果如下
表1
研究
nt
1 13
2 30
3 35
4 20
5 8
合计
合并均数差值计算过程及结果
治疗组
xt sd1
5.0 4.7
4.9 1.7
22.5 3.4
12.5 1.47
6.5 0.76
对照组
nc xc sd2
13 6.5
3.8
50 6.1
2.3
25 24.9 10.7
20 12.3 1.66
8 7.38 1.41
s*i
di
wi
4.27
2.10
7.91
1.57
1.13
0.35
0.57
0.30
-0.13
0.78
6.50
18.75
17.5
10.00
4.00
56.75
diwi
d2iwi
2.28 0.80
10.71 6.11
5.30 1.61
-1.27 0.16
3.12 2.43
20.14 11.11
4、实例分析结果
异质性检验
Q = 5.45, P = 0.24>0.10, I2=27%,满足同质性。
 合并效应量估计：-0.70 (固定效应模型)
 假设检验及95%可信区间估计
Z=2.50, P=0.01<0.05，有统计学意义。
95%可信区间（-1.25，-0.15）

5、敏感性分析(sensitivity analysis)

定义：是指在排除结果异常的研究后，
重新进行Meta分析的结果并与未排除前
的结果进行比较，以探讨该研究对合并
效应量的影响程度及结果可靠性。

若敏感性分析未从实质上改变结果，说
明结果较为可信；若敏感性分析得到不
同结论，表明在解释结果和下结论时应
非常慎重，提示有潜在的重要因素影响
干预措施效果，需明确争议的来源。
有缺陷的数值变量资料的处理

 偏态数据资料，不能处理
 只有标准误，无标准差，需转换。
 变化值均数差值：终点指标的选择
 有无临床意义的判定(有临床意义最小值)
二）分类变量资料-Meta分析
目前对分类变量资料进行Meta分析，比
较成熟的方法，主要是两组比较的二分
类变量资料；
 效应量主要采用OR、RR，对于临床试验
中罕发不良事件，两者基本等价。否则
倾向使用RR。

二分类变量Meta分析
异质性检验（Q检验法及森林图目测法）
 效应量合并：OR合并
 假设检验及OR合并的95%可信区间估计
 敏感性分析

1、Meta分析所需数据
组
别
治疗组
对照组
合 计
例数
n1
n2
阳性数
a
c
a+c
阴性数
性率
b
d
b+d
阳
p1
p2
2、效应量的确定

效应量为试验组与对照组的暴露比的比
值（OR）或者两组率的比值（RR）；当
发生事件率低于10%时，两者基本等价。
例2 纳入5个多中心临床试验研究，用以评价阿司
匹林治疗心肌梗塞的疗效，资料见表2
表2
合计
研究 死亡
1
49
2
44
3
27
4
102
5
85
5个随机对照试验结果一览
阿司匹林组
存活
病死率
566
8.0 67
714
5.8 64
290
8.5 32
730
12.3 126
725
10.5 52
死亡
557
707
277
724
354
存活
10.7
8.3
10.4
14.8
12.8
对照组
病死率
1239
1529
626
1682
1216
3、Meta分析结果


异质性检验结果:
Q=10.85-(38.03)2/141.15=0.63，无统计学意
义，I2=0%, 满足同质性。
合并效应量结果:OR为0.76 (固定效应模型)
假设检验: P<0.01，有统计学意义；
95%可信区间为0.65 ~ 0.90。
Experimental
Study or Subgroup
Events
Control
Odds Ratio
Total Events Total Weight
Odds Ratio
M-H, Fixed, 95% CI
CDPA2
49
615
67
624
19.0%
0.72 [0.49, 1.06]
GAMS3
44
758
64
771
18.6%
0.68 [0.46, 1.01]
PARIS5
27
317
32
309
9.2%
0.81 [0.47, 1.38]
UK1
102
832
126
850
34.0%
0.80 [0.61, 1.06]
UK2
85
810
52
406
19.3%
0.80 [0.55, 1.15]
2960 100.0%
0.76 [0.65, 0.90]
Total (95% CI)
Total events
3332
307
341
Heterogeneity: Chi² = 0.63, df = 4 (P = 0.96); I² = 0%
Test for overall effect: Z = 3.20 (P = 0.001)
Q检验结果
M-H, Fixed, 95% CI
0.05
0.2
1
5
20
Favours experimental Favours control
合并分析检验结果
合并效应量及95%可信区间
三）Meta分析的统计方法抉择


Meta分析是一类定量汇总分析方法；
结合分析目的/效应量指标的资料类型，与
同质性检验结果，进行综合抉择。
RevMan提供的统计分析方法
三、如何批判性阅读系统评价/Meta分析
结果

任何研究结果在用于指导实践之前都需要进行质
量评价，系统评价也不例外。

报告质量工具：PRISMA

方法学质量工具：AMSTAR、OQAQ
“中药系统评价”的方法学质量评价

纳入165个公开发表的、有关中药或中药制剂、
中药复方的系统评价/Meta分析（截止2010年）

•
•
•
文献检索与文献纳入环节
有3个SR未提及任何检索所用数据库(1.82%)；有
40个（24.24%）只检索了中文数据库；有52个
（31.52%）限定的检索日期并非数据库收录起始
日期而未说明原因。
有66个SR（40.00%）所纳入的原始研究全部为中
文文献，仅有27个同时纳入了中、英文或其他语
种发表的原始研究。
另有42.42% 的SR对发表性偏倚进行了分析。

原始研究文献的筛选与纳入环节



162个（98.2%）设置了原始研究纳入标准，但有明确
排除标准的只有98个（59.4%）。
94个（58.75%）只纳入随机对照试验（RCT）；有51
个（31.88%）纳入了两种及以上设计类型的原始研究；
另有15个SR中（9.38%）纳入原始研究类型不明。
原始研究文献的质量评价：126个（76.36%）选用
工具对原始研究的质量进行了严格评价。

临床异质性分析：
 干预措施：
试验药物所属类别一致者有97个（58.78%）。剂量完
全一致者仅有8个，占5%。
 成分全部相同者占38.75%（n=62），剂型相同有37.6%。


临床异质性分析：
 对照措施：

对照措施的成分、剂型、所属类别、剂量一致的比
例均低于25%，其中剂量一致的系统评价有17个，
有15个采用的是空白对照。

Meta分析：

有45个（27.27%）中药系统评价的汇总分析不合理。
（仅考虑数据的统计学异质性而忽略了其临床异质性，
结果导致临床明显异质的原始研究结果强行合并）
小



结
正确对待SR:系统评价本身并不能提高原始研究质
量“Garbage in, garbage out”
系统评价不是万能的(ISIS4-58050 MI, 硫酸镁 )；
一个系统评价不能回答所有问题：多个或单个系
统评价；
制作SR为系统工程，具有挑战性，工作量大! (高
质量系统评价)；先做user，后做doer；提倡团队
协作。