Transcript Method Evaluation and Method Validation วัตถุประสงค์ น.ศ.สามารถ 1. อธิบายวิธีการศึกษาเพื่อประเมินวิธีวิเคราะห์ได้

Method Evaluation and Method Validation
วัตถุประสงค์
น.ศ.สามารถ
1. อธิบายวิธก
ี ารศึกษาเพือ
่ ประเมินวิธวี เิ คราะห์ได้
2. วิเคราะห์และแปลความหมายผลการศึกษา
เพือ
่ ประเมินวิธวี เิ คราะห์ได้
Type of Analytical Method
Reference Method
Standard Method
Routine Method
http://home.kku.ac.th/wiskun/462313/MethodEvaluation.ppt
Method Evaluation
1
Select, Evaluate
Diagnostic Test
Process for Establishing
a Routine Test
Select Method
of Analysis
Acquire
Specimens
Validate Method
Performance
Develop Method
Improvements
Implement
Method
Maintain Method
Prevent Problems
Perform
Tests
Check with
Statistical QC
Report
Results
A Routine Laboratory Testing Process
From...http://www.westgard.com/lesson20.htm
2
Method characteristics
Application characteristics are factors that determine whether
a method can be implemented in a particular laboratory situation.
cost-per-test, types of specimens sample volume, turnaround time, workload,
equipment and personnel requirements, space, portability, and
safety considerations
Methodology characteristics are factors which, in principle,
should contribute to best performance
analytical sensitivity and analytical specificity of the method of analysis
choice of chemical reaction, optimization of reaction conditions,
principles of standardization and calibration, and
the rigor of the analytical procedure
Performance characteristics are factors which, in practice,
demonstrate how well a method performs.
working range, precision, recovery, interference, accuracy,
and sometimes detection limit
3
Ideal Clinical Laboratory Test
• Perfect accuracy and precision
• High analytical sensitivity
(a limit of detection of zero)
• Absolute analytical specificity
(No interferences)
• Diagnostic sensitivity and
specificity of 100%
Area under ROC Curve closest to 1.0
(Receiver Operating Characteristic)
Likelihood ratios, LR >10 or LR <0.1
Analytical
Performance
Diagnostic
Performance
Method Evaluation
4
ความถูกต้อง (Accuracy) คือ ความสามารถเข้าใกล้คา่ จริง
(True Value) ของผลการวัด
True Value ในทีน
่ ี้คอ
ื Conventional True Value (of a Quantity)
คือ ค่าซึง่ แสดงคุณลักษณะของปริมาณเฉพาะเจาะจงทีต
่ กลง
ยอมรับร่วมกันจากทีป
่ ระชุม
โดยมีคา่ ความไม่แน่ นอน(uncertainty)ทีเ่ หมาะสมสาหรับ
จุดประสงค์ทก
ี่ าหนด
คาศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology
(Thailand)]. [Online] sited on 27 April 2010.
Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation
5
ความแม่นยา (Precision) คือ
1. องศาของความสอดคล้อง และเป็ นไปตามกันของการวัดที่
้ึ ต่อกันของปริมาณอันหนึ่งภายใต้เงือ
ไม่ขน
่ นไขเดียวกัน
2. ค่าความใกล้เคียงกันของผลการวัดซา้ หลายๆ ครัง้ ซึง่ การ
วัดหลายๆ ครัง้ จะต้องกระทาภายใต้สภาวะและเงือ
่ นไข
เดียวกัน
ความคลาดเคลือ
่ น (Error) คือ ผลของการวัดลบด้วยค่าจริง
ของปริมาณทีถ
่ ูกวัด
Error = Measured Value - True Value
คาศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology
(Thailand)]. [Online] sited on 27 April 2010.
Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation
6
ความไม่แน่ นอน (Uncertainty) คือ
1. ขอบเขตทีก
่ าหนดไว้แน่ นอน (Parameter) ร่วมกับ
ผลการวัด ซึง่ บอกลักษณะการกระจายของค่าทีไ่ ด้จากวัด
ซา้ ๆ กันทีส
่ ามารถทาให้อา้ งได้สมเหตุสมผลว่า
เป็ นของปริมาณทีถ
่ ูกวัด (Measurand)
2. การรายงานผลการวัด จะต้องรายงานค่าความไม่แน่ นอน
ปริมาณ = ค่าทีว่ ดั ได้ + ความไม่แน่ นอน ทีร่ ะดับความเชือ่ มั่น …... %
คาศัพท์ทางด้านมาตรวิทยา. สถาบันมาตรวิทยาแห่งชาติ [National Institute of Metrology
(Thailand)]. [Online] sited on 27 April 2010.
Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation
7
Performance specifications of a new method are
•
•
•
•
Accuracy (ความถูกต้อง)
Precision (ความแม่นยา)
Analytical sensitivity (ความไวต่อการวิเคราะห์ปริมาณ)
Analytical specificity to include interfering substances
(ความจาเพาะต่อสารทีว่ เิ คราะห์)
• Reportable range of patient test results
(ช่วงทีว่ เิ คราะห์ได้ในตัวอย่างของวิธต
ี รวจ)
• Reference range
(ช่วงค่าอ้างอิง/ปกติ ทีพ
่ บในคนปกติ)
• Any other performance characteristic required for
test performance
Method Evaluation
8
Analytical Method Evaluation
เป้ าหมาย
วิธีวเิ คราะห์
/วิธีตรวจวัด
การประเมิน
ต้องมี
• ข้อมูล/สารสนเทศ
• เกณฑ์การตัดสินใจ
ผลตรวจเชือ
่ ถือได้
•ถูกต้อง (accuracy)
•แม่นยา (precision)
การประเมินวิธวี เิ คราะห์วา่ ให้ผลตรวจน่ าเชือ
่ ถือหรือไม่
Method Evaluation
9
Observed Distribution And Error concept of Accuracy
True
Value
Observed
Mean
X
X
X
X
X
X X
X X
X X X
X
X
X
X
X
X
X
X
X
X
X
Westgard JO. The Meaning and Application of Total Error
Site on 5Jun09 From..http://www.westgard.com/essay111.htm
X
Systemic error, SE Random error, RE
Total error, TE
Method Evaluation
10
Systemic error & Random error
ผลตรวจ (y)
Constant error
y=x
ผลตรวจ = ค่าจริง
No error
Proportional error
ค่าจริง (x)
Systemic error (SE) มีรูปแบบ error ทีค
่ าดการณ์ ได้
Constant error (CE)
Proportional error (PE)
Random error (RE) มีรูปแบบ error ทีค
่ าดการณ์ ไม่ได้
Method Evaluation
11
Analytical Method Evaluation Study
•Application characteristics study
ศึกษาหลักปฏิกริ ยิ าตรวจและวิธต
ี รวจ
•Linearity study
ช่วงการวิเคราะห์ของวิธี => Lower & Upper limit
•Precision study
ความแปรปรวนของผลวิเคราะห์ (within run & between run)
•Interference study
การรบกวนวิธวี เิ คราะห์ของสารทีอ
่ าจพบในตัวอย่างตรวจ
•Recovery study
ประมาณการ proportional error
•Method comparison study
เปรียบเทียบผลตรวจกับวิธอ
ี า้ งอิง (Reference method)
Method Evaluation
12
ลาดับการศึกษาเพือ
่ ประเมินความผิดพลาดของวิธวี เิ คราะห์
ชนิดความผิดพลาด
ความผิดพลาดแบบสุม
่
(Random Error)
การประเมินขัน
้ ต้น
การประเมินขัน
้ ปลาย
ความแม่นยาภายในชุด ความแม่นยาระหว่างชุด
การวิเคราะห์
การวิเคราะห์
Within-run study
การศึกษาการรบกวน
Interference study
Between-run study
การศึกษาเปรียบเทียบผล
ความผิดพลาดคงที่
การตรวจกับวิธอ
ี า้ งอิง
(Constant Error)
Comparison study
การศึกษารีคอเวอรี
การศึกษาเปรียบเทียบผล
ความผิดพลาดแบบ
และการศึกษาไลเนียลิตี การตรวจกับวิธอ
ี า้ งอิง
สัดส่วน
Comparison study
(Proportional Error) Recovery study
and Linearity study
การศึกษาเปรียบเทียบผล
ความผิดพลาดแบบ
การตรวจกับวิธอ
ี า้ งอิง
ระบบ (Systematic
Comparison study
Error)
Method Evaluation
13
Linearity ของการวิเคราะห์ดว้ ยวิธวี ดั การดูดกลืนแสง
คานวณความเข้มข้นจากค่า absorbance
ความสัมพันธ์ตามการคานวณของ
สมการ Beer’s law
Absobance
A = a·b·C
0.00
A
C
ab
ความสัมพันธ์จริง
ช่วงการวิเคราะห์
analytical range
ตา่
Linearity
ความเข้มข้น
Higher limit of detection
Lower limit of detection
สูง
Method Evaluation
14
Linearity ของการวิเคราะห์ดว้ ยวิธวี ดั ศักย์ไฟฟ้ า
ช่วงการวิเคราะห์
analytical range
ศักย์ไฟฟ้ า
Higher limit of detection
High Cal
Lower limit of detection
Low Cal
Lower limit
ความเข้มข้น
Higher limit
Method Evaluation
15
Linearity study โดยใช้ตวั อย่างค่าสูงๆ
ค่าวิเคราะห์ได้จากวิธีวเิ คราะห์ (y)
ตัวอย่างค่าสูง
เจือจาง
ค่าครอบคลุมช่วงตัง้ แต่
0 ถึง 1.5 เท่าของค่าทีต
่ รวจพบ
ในงานประจาวัน
Linearity = ค่าสูงสุดของกลุม
่ ข้อมูลทีท
่ าให้
slope = 1.00 + 0.03 และ
intercept = 0.0 + within run precision
หรือ %diff ไม่เกิน 10% และ +/- %diff
( x  y)
เป็ นทิศทางเดียวกัน
%diff 
x
 100
ค่าคานวณจากการเจือจางตัวอย่าง (x)
Method Evaluation
16
Precision study
วิเคราะห์ตวั อย่างเดิมซา้ 20 ครัง้ แล้วนาผลการวิเคราะห์มา
SD
์ วามแปรปรวน (%CV)
คานวณสัมประสิทธิค
CV 
Mean
 100
•ความแม่นยาของการตรวจวิเคราะห์ซา้ ในชุดการวิเคราะห์
(Within Run Precision)
มีผลตรวจมากกว่า 1 ข้อมูล ออกนอกช่วง mean + 2 SD
ไม่ควรนาวิธน
ี ี้มาใช้
%CV < ½ ของ Intra-individual variation ของสารในร่างกาย
เช่น Total protein มี Intra-individual variation = 3%
%CV ไม่ควรมากกว่า 1.5%
•ความแม่นยาของการตรวจวิเคราะห์ซา้ ระหว่างชุดการวิเคราะห์
(Between Run Precision)
Method Evaluation
17
Precision study
•ความแม่นยาของการตรวจวิเคราะห์ซา้ ระหว่างชุดการวิเคราะห์
(Between Run Precision)
%CV ไม่ควรเกินค่าความผิดพลาดทีย่ อ
่ มรับได้ (allowable error)
ของสารนัน
้
Total protein
CLIA Acceptable Performance 10%
Medical Decision Level
7.0 g/dl
CLIA Allowable Error
0.70 g/dl
Medically Allowable Error
0.51 g/dl
%CV ไม่ควรเกิน
0.51
 100=
7 .0
7.28%
CLIA = Clinical Laboratory Improvement Amendments
Method Evaluation
18
http://www.westgard.com/lesson22.htm
For short-term imprecision,
the within-run standard deviation (sw-run) or
the within-day standard deviation (sw-day) should be ¼ or
less of the defined allowable total error to be acceptable,
i.e., sw-run or sw-day < 0.25 TEa
Select at least 2 different control materials that represent low and
high medical decision concentrations for the test of interest
For long-term imprecision,
the total standard deviation (stot) should be 1/3 or
less of the defined TE, i.e., stot < 0.33 TEa .
Analyze 1 sample of each of the 2 materials on 20 different days
to estimate long-term imprecision
การประมาณค่า Random error (RE) จาก %CV
Random error ทีค
่ า่ mean คานวณจากสูตร
%CV
SD 
 Mean
RE = 1.96 x imprecision
100
RE = 1.96 x 5 = 9.8%
%CV = 5.0%
Medical Decision level = 7.0
5
SD 
 7.0  0.35
100
RE = 1.96 x 0.35 = 0.69
CLIA Acceptable Performance
Medical Decision Level
CLIA Allowable Error
Medically Allowable Error
0.51
 100  7.28 %
7 .0
Total protein
10%
7.0 g/dl
0.70 g/dl
0.51 g/dl
Method Evaluation
20
Interference study
ตัวอย่างตรวจทางเคมีคลินิกส่วนมากเป็ น serum/plasma
สารรบกวนการวิเคราะห์ทม
ี่ โี อกาสพบได้แก่
- hemoglobin จากการแตกของเม็ดเลือดแดง
- ไขมันทีม
่ ม
ี ากในบาง serum
- บิลริ ูบน
ิ ทีม
่ ม
ี ากในบาง serum
- ยาบางชนิดทีอ
่ าจมีมากใน serum
ตัวอย่างสาหรับศึกษา
•ตัวอย่างทีไ่ ม่มส
ี ารรบกวน
ความเข้มข้นทีร่ ะดับค่าอ้างอิง
•ตัวอย่างทีม
่ ส
ี ารรบกวน
hemoglobin 0
mg/dl
bilirubin
< 1.5 mg/dl
triglyceride < 150 mg/dl
ความเข้มข้นสารรบกวน ตัง้ แต่ระดับตา่ ไปจนถึงมากสุดทีค
่ าดว่าจะพบได้
ในตัวอย่างของงานประจาวัน
Method Evaluation
21
ตัวอย่างศึกษาผลการรบกวนของ bilirubin ต่อการตรวจวัดกลูโคส
Bilirubin,
200 mg/dl
Diluents
Bilirubin
(mg/dl)
Diluents
1.0 ml
2.0 ml
3.0 ml
3.0 ml
2.0 ml
1.0 ml
50
100
150
1.0 ml
1.0 ml
1.0 ml
1.0 ml
ผลตรวจวัดกลูโคส (mg/dl)
ตัวอย่างทีไ่ ม่
มีสารรบกวน
Bilirubin
(mg/dl)
9.0 ml
9.0 ml
9.0 ml
9.0 ml
0
5
10
15
Bilirubin
(mg/dl)
1
2
3
เฉลีย่
0
99
100
101
100
5
103
101
102
102
102-100 = 2
10
104
105
103
104
104-100 = 4
15
112
111
110
111
111-100 = 11
ผลรบกวน, mg/dl
Method Evaluation
22
ศึกษาการรบกวนของการแตกของเม็ดเลือดแดง (hemolytic serum)
Hemoglobin
(mg/dl)
ผลตรวจวัดกลูโคส (mg/dl)
1
2
3
เฉลีย่
ผลรบกวน, mg/dl
0
100
300
500
700
ศึกษาการรบกวนของไขมัน (Lipimic serum)
ผลตรวจวัดกลูโคส (mg/dl)
Triglyceride
(mg/dl)
1
2
3
เฉลีย่
ผลรบกวน, mg/dl
0
300
500
700
Method Evaluation
23
Recovery study
การศึกษาโดยการเติมสารในปริมาณทีท
่ ราบว่ามีความเข้มข้นเท่าใด
ลงในตัวอย่างศึกษาแล้วนามาตรวจวัดและนามาวิเคราะห์ดวู า่
ตรวจวัดได้เป็ นร้อยละเท่าใดของปริมาณทีเ่ ติมเข้าไปในตัวอย่าง
ตัวอย่างศึกษา Recovery ของการตรวจวัดกลูโคส
ตัวอย่าง
ศึกษา
1
2
3
4
ตัวอย่าง
ผูป
้ ่ วย
A
A
B
B
2.0 ml
2.0 ml
2.0 ml
2.0 ml
สารมาตรฐานกลูโคส
1,000 mg/dl
Diluents
(DW)
กลูโคสทีเ่ ติม
(mg/dl)
0.1 ml
1,000  0.1
2.1
0.1 ml
0.1 ml
0.1 ml
= 47.6
-
1,000  0.1
2.1
= 47.6
Method Evaluation
24
ตัวอย่าง
ศึกษา
ผลตรวจวัดกลูโคส (mg/dl)
1
2
3
เฉลีย่
วัดกลูโคสทีเ่ ติม
ได้ (mg/dl)
1
51
53
54
52.7
-
-
2
97
100
98
98.3
98.3-52.7
= 45.6
45 .6
 100  95 .80
47 .6
3
124
120
121
121.7
-
-
4
169
166
164
166.3
166.3-121.7 44 .6
 100  93 .70
= 44.6
47 .6
Proportional error (PE) = | 100 - %Recovery |
PE = | 100 – 94.75 | = 5.25%
MD Level
50
120
200
Med.AE
5.35
12.7
21.4
%Recovery
PE
2.6
6.3
10.5
Average = 94.75
5.25
 50
100
5.25

 120
100
5.25

 200
100

Method Evaluation
25
ตัวอย่าง
ศึกษา
ผลตรวจวัดกลูโคส (mg/dl)
1
2
3
เฉลีย่
วัดกลูโคสทีเ่ ติม
ได้ (mg/dl)
1
51
53
54
52.7
-
-
2
97
100
98
98.3
98.3-52.7
= 45.6
45 .6
 100  95 .80
47 .6
3
124
120
121
121.7
-
-
4
169
166
164
166.3
%Recovery
166.3-121.7 44 .6
 100  93 .70
= 44.6
47 .6
Average = 94.75
%Expectation
[1] วัดได้ 52.7 [2] เติมสาร 47.6 จึง expected จะตรวจวัดได้ 100.3 (52.7+47.6)
แต่ตรวจวัดได้ 98.3
98 .3
%Expectatio n 
100 .3
 100  98 .0
[3] วัดได้ 121.7 [4] เติมสาร 47.6 จึง expected จะตรวจวัดได้ 169.3 (121.7+47.6)
แต่ตรวจวัดได้ 166.3
166 .3
%Expectatio n 
169 .3
 100  98 .2
Method Evaluation
26
ผลตรวจจากวิธใี หม่ (y)
Method comparison study
ใช้ตวั อย่างศึกษาอย่างน้อย 40 ตัวอย่าง
• y-intercept ใช้ประมาณค่า CE
CE = y-intercept
• slope ใช้ประมาณค่า PE
PE = (slope-1)x100
• สัมประสิทธิส์ หสัมพันธ์ (r) และ sy/x
ใช้ประเมิน RE
ผลตรวจจากวิธอ
ี า้ งอิง (x)
หรือ วิธท
ี ใี่ ช้ในปัจจุบน
ั
ใช้ประมาณค่า systemic error (SE)
SE = | Yc – Xc |
Yc คานวณจากสมการ y = a x + b โดยกาหนดค่า x = Xc
Method Evaluation
27
ผลการศึกษาเปรียบเทียบการตรวจกลูโคส
•วิธอ
ี า้ งอิง (x)
•วิธใี หม่ (y)
y = 0.973x - 5.7, r = 0.9941, n = 82, sy/x = 3.7
y  161 .9
x  172 .3
MD Level Med.AE PE SE Xc
Yc
50
5.35
1.3 7.1 50 42.9 <=0.973x50 - 5.7
120
12.7
3.2 8.9 120 111.1 <=0.973x120 - 5.7
200
21.4
5.4 11.1 200 188.9 <=0.973x200 - 5.7
ผลต่างใช้บอก SE
น.ศ. ลองตอบคาถามนี้ เพือ
่ ทบสอบความเข้าใจ
ค่าทีใ่ ช้บอก RE คือ...
ค่าทีใ่ ช้บอก CE คือ...
ค่าทีใ่ ช้บอก PE คือ...
Method Evaluation
28
X
Y
X2
Y2
XY
Yc
Y-Yc
(Y-Yc)2
1
5.1
8.5
26.01
72.25
43.35
6.53
1.97
3.88
2
5.4
2.8
29.16
7.84
15.12
6.85
-4.05
16.40
3
3.6
3.2
12.96
10.24
11.52
4.94
-1.74
3.03
4
6.8
3.6
46.24
12.96
24.48
8.34
-4.74
22.43
5
6.6
7.4
43.56
54.76
48.84
8.12
-0.72
0.52
6
6.5
7.1
42.25
50.41
46.15
8.02
-0.92
0.84
7
11.4
10.0
129.96
100.00
114.00
13.22
-3.22
10.35
8
5.3
6.2
28.09
38.44
32.86
6.74
-0.54
0.30
9
4.9
3.3
24.01
10.89
16.17
6.32
-3.02
9.12
10
9.8
8.4
96.04
70.56
82.32
11.52
-3.12
9.73
11
5.5
4.1
30.25
16.81
22.55
6.96
-2.86
8.16
12
6.3
4.6
39.69
21.16
28.98
7.80
-3.20
10.27
13
4.9
2.9
24.01
8.41
14.21
6.32
-3.42
11.69
14
3.5
2.5
12.25
6.25
8.75
4.83
-2.33
5.44
15
6.5
4.4
42.25
19.36
28.60
8.02
-3.62
13.08
16
11.1
7.1
123.21
50.41
78.81
12.90
-5.80
33.63
17
7.3
5.2
53.29
27.04
37.96
8.87
-3.67
13.44
18
6.2
6.9
38.44
47.61
42.78
7.70
-0.80
0.64
19
14.6
17.8
213.16
316.84
259.88
16.61
1.19
1.41
20
11.9
15.2
141.61
231.04
180.88
13.75
1.45
2.11
21
8.8
11.2
77.44
125.44
98.56
10.46
0.74
0.55
22
16.0
19.9
256.00
396.01
318.40
18.10
1.80
3.24
23
21.0
20.7
441.00
428.49
434.70
23.41
-2.71
7.32
24
3.4
2.4
11.56
5.76
8.16
4.73
-2.33
5.42
25
8.0
6.2
64.00
38.44
49.60
9.61
-3.41
11.62
26
8.2
6.5
67.24
42.25
53.30
9.82
-3.32
11.03
27
17.1
12.4
292.41
153.76
212.04
19.27
-6.87
47.15
28
11.4
7.4
129.96
54.76
84.36
13.22
-5.82
33.84
29
11.0
11.5
121.00
132.25
126.50
12.79
-1.29
1.67
30
12.7
13.8
161.29
190.44
175.26
14.60
-0.80
0.64
S
260.8
243.2
2818.3
2740.9
2699.1
310.3
-67.1
298.9
Y  aX  b
r 
a
N  xy   x  y
[N  x 2  ( x )2 ][N  y 2  ( y )2 ]
N xy   x  y
N x 2  ( x )2
b  y  ax
sy / x
x
x
y
y
N
N
( Y  Yc )2


N2
Method Evaluation
29
Evaluated method
Evaluated method
25.0
y = 1.0612x - 1.1191
R2 = 0.8068
20.0
15.0
10.0
5.0
0.0
0.0
5.0
10.0
15.0
20.0
25.0
4.2 =1.0612x5-1.1191
Acceptable
Performance 5% Allowable error
20.0
15.0
10.0
5.0
0.0
5.0
10.0
15.0
20.0
25.0
Reference method
MD level SE Yc
10
0.5 9.5 =1.0612x10-1.1191
15
0.2 14.8 =1.0612x15-1.1191
0.8
y = 1.005x - 0.1175
R2 = 0.9965
0.0
Reference method
5
25.0
SE Yc
0.1 9.9 =1.005x10-0.1175
0.0 15.0 =1.005x15-0.1175
0.1
4.9 =1.005x5-0.1175
5
5
5
 5  0.25
 10  0.5
 15  0.75
100
100
100
Method Evaluation
30
Sigma, คือ ค่าเบีย่ งเบนมาตรฐานของข้อมูล
กรณีขอ
้ มูลมีการกระจายแบบรูประฆังคล่า (ปกติ)
ช่วง Mean + SD ใช้ประมาณสัดส่วนจานวนข้อมูลทีอ
่ ยูใ่ น
ขอบเขตนัน
้ ดังตาราง
-6s -5s -4s -3s -2s -1s
1s 2s 3s 4s 5s 6s
Within + SD
Out of
range + SD
(%)
(Per million)
1
68.26894921%
317,310.51
2
95.44997361%
45,500.26
3
99.73002039%
2,699.80
4
99.99366575%
63.342
5
99.99994267%
0.5733
6
99.99999980%
0.0020
SD
+ 1SD
+ 2SD
+ 3SD
+ 4SD
+ 5SD
+ 6SD
Six Sigma; 6
Method Evaluation
31
ความคาดเคลือ
่ นของกระบวนงาน
(ประสบการณ์ จากบริษท
ั โมโตโรล่า; เกิด shift ได้ 1.5SD)
เป้ าหมายการผลิตสินค้า ต้องการให้ผลผลิต
มีจานวนเสียหายคิดเป็ น Sigma metric = 6
ภายใต้การผลิตที่ shift ไป 1.5s
จานวนสินค้าทีเ่ สียหายต้องไม่เกิน 3.4 DPM
-6s -5s -4s -3s -2s -1s
1s 2s 3s 4s 5s 6s
1.5 SD
Defects Per Million
Sigma
Metric
DPM
without shift
DPM
with 1.5s
shift
1.00
317,400
697,700
2.00
45,400
308,637
2.50
12,419
158,686
3.00
2,700
66,807
3.50
465
22,750
4.00
63
6,210
4.50
6.8
1,350
5.00
0.57
233
5.50
0.038
32
6.00
0.002
3.4
Accept region
Method Evaluation
32
ยางรถยนต์จานวน 6,000,000 เส้นทีผ
่ ลิตและนาไปใช้
พบว่า เป็ นสาเหตุทาให้เกิดอุบตั เิ หตุจานวน 2,000 ครัง้
และมีคนเสียชีวต
ิ จานวน 100 ครัง้
2,000
333
Defect of production is 6,000,000 = 1,000,000
Sigma
Metric
DPM
without shift
DPM
with 1.5s
shift
1.00
317,400
697,700
2.00
45,400
308,637
2.50
12,419
158,686
3.00
2,700
66,807
3.50
465
22,750
4.00
63
6,210
4.50
6.8
1,350
5.00
0.57
233
5.50
0.038
32
6.00
0.002
3.4
= 333 DPM
Process performance is
3.5 sigma metric using the DPM
without shift column.
5.0 sigma metric using the DPM
with 1.5s shift column.
Method Evaluation
33
Six Sigma provides a new methodology
for measuring process performance and
refines earlier methodologies
for making process improvements.
ปัจจุบน
ั องค์การธุรกิจชัน
้ นา ใช้ Sigma metric เป็ นตัวชี้
วัดความสาเร็จ และมีเป้ าหมายให้ได้ ระดับ 6
Airline baggage handling shows 4.15 Sigma
Airline safty shows more than 6 Sigma
Method Evaluation
34
Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with
the six sigma scale. Arch Pathol Lab Med 2000;124:516-519
Q-Probe QUALITY INDICATOR
Order accuracy
% ERROR
DPM SIGMA*
1.8 %
18,000
3.60
Duplicate test orders
1.52
15,200
3.65
Wristband errors (not banded)
0.65
6,500
4.00
TDM timing errors
24.4
244,000
2.20
Hematology specimen acceptability
0.38
3,800
4.15
Chemistry specimen acceptability
0.30
3,000
4.25
Surgical pathology specimen accessioning
3.4
34,000
3.30
Cytology specimen adequacy
7.32
73,700
2.95
Laboratory proficiency testing
0.9
9,000
3.85
Surg path froz sect diagnostic discordance
1.7
17,000
3.60
PAP smear rescreening false negatives
2.4
24,000
3.45
Reporting errors
0.0477
477
*Conversion using table with allowance for 1.5s shift
4.80
From.. http://www.westgard.com/lesson66.htm
Method Evaluation
35
Two Approaches for Measuring Process Performance
Measure Outcome
Measure Variation
Inspect Outcomes
and Count Defects
Measure Variation
of Process
Calculate Defect
Per Million (DPM)
Calculate SD and
Process Capability
Convert DPM
to Sigma Metric
Convert Capability
to Sigma Metric
Method Evaluation
36
ความผิดพลาดทีย่ อ
่ มรับได้ (total allowable error), TEa
True
Measured value
Systemic error
Bias
Imprecision
Random error
Total Error (TE)




Method Evaluation
37
Sigma metric concept
TE = Bias + Imprecision
TE = Bias + z CV
True
Measured value
Allowable total error, TEa
TEa = Bias + z CV
TE a  Bias
z 
CV
Bias
Imprecision
Total Error (TE)
ใช้ค่า z ประเมินค ุณภาพผลการตรวจของห้องวิเคราะห์ และ
ติดตามการพัฒนาค ุณภาพงานของห้อง
ค่า Z คือค่า Sigma ในทางสถิตวิ เิ คราะห์
Method Evaluation
38
Method Evaluation Decision (MEDx) Chart
From… James O. Westgard
for Judging Method Performance CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283
Allowable Total Error (%):
10.00 % (at decision level)
Inaccuracy (%bias):
3.00 % (Observed at decision level)
Imprecision (%CV):
2.50 % (Observed at decision level)
Me tho d E v a lua tio n Cha rt fo r …………………………………………………….
Inaccuracy, %Bias
12
Region of Unacceptable TE = Bias + z Imprecision
Performance
(TE - Bias)
Imprecision = ------------z
Observed (2.5,3.0)
inaccuracy and imprecision
10
8
6
4
2
z=4
0
0
1
z=3
2
3
4
z=2
5
6
Imprecisio n, %CV
Method Evaluation
39
Different Concepts of detection limit
Lower Limit
of Detection
Biologic Limit
of Detection
LLD BLD
Z is 2 or 3.
Functional
Sensitivity
FS
Z sblk Z sspk
Measurement response
Zero or
“Blank”
“Spiked”
sample
“Spiked”
sample
LLD = meanblk + Z sblk
BLD = LLD + Z sspk
FS is estimated as the mean concentration for a spiked sample
whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm
Method Evaluation
40
ตัวอย่าง การศึกษา LLD และ BDL ของ PSA measurement
Blank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unit
Spike sample (10 ug/L) : mean = 2000 unit SD = 200 unit
LLD (ug/L) =
BDL (ug/L) =
0+2(
100
(2000-1000)
2 ug/L + 2 (
X 10 ) = 2 ug/L
200
(2000-1000)
X 10 ) = 6 ug/L
SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L
CV =
2 ug/L
10 ug/L
X 100 = 20 %
FS = 10 ug/L
Method Evaluation
41
•Reference Ranges
•Carryover
ลาดับการวิเคราะห์
การวิเคราะห์ดว้ ยเครือ
่ งวิเคราะห์อตั โนมัต.ิ ..
ตัวอย่างทีต
่ รวจก่อนมีโอกาสไปปนเปื้ อนในการตรวจวัด
ตัวอย่างต่อไป เนื่องจากใช้ sample probe เดียวกัน
Method Evaluation
42
Diagnostic Performance
Diagnostic sensitivity and specificity
Evaluated
Method
ผลตรวจ
บ่งชี้
Positive
Negative
รวม
Gold or Standard
Method
พยาธิสภาพ
Disease Non-disease
True Positive
a
False Negative
c
False Positive
b
True Negative
d
a+c
b+d
รวม
a+b
c+d
a+b+c+d
Method Evaluation
43
Diagnostic sensitivity and specificity
พยาธิสภาพ
ผลตรวจบ่งชี้
รวม
Disease
Non-disease
Positive
True Positive
a
False Positive
b (-error)
a+b
Negative
False Negative
c (-error)
True Negative
d
c+d
a+c
b+d
a+b+c+d
รวม
Sensitivity =
a
a c
Positive predictive value =
a
d
Specificity =
d b
a b
d
Negative predictive value =
d c
a c
a d
Prevalence =
Efficiency =
a b c d
a b c d
Method Evaluation
44
a
Sensitivity =
a c
Cut-off level
ไม่เป็ นโรค
Disease
Non-disease
Positive
True Positive
a
False Positive
b (-error)
Negative
False Negative
c (-error)
True Negative
d
ความไวสูง และ
ความจาเพาะสูง
เป็ นโรค
ข
ไม่เป็ นโรค
No False Positive
False Negative
True Negative
ค่าผลตรวจ
A
Cut-off level
No False Negative
False Positive
เป็ นโรค
True Positive
True Negative
A
B
True Positive
B
ค่าผลตรวจ
C D
C D
ความไวสูง และ
ความจาเพาะสูง
ไม่เป็ นโรค
ความถี่
ความถี่
ค
ความไวต่า แต่
ความจาเพาะสูง
Cut-off level
ความไวสูง แต่
ความจาเพาะต่า
ไม่เป็ นโรค
Cut-off level
เป็ นโรค
True Positive
True Negative
d
Specificity = d  b
ความถี่
No False Positive
No False Negative
ความถี่
ก
พยาธิสภาพ
ผลตรวจบ่งชี้
ง
เป็ นโรค
False
Negative
False
Positive
True Negative
ค่าผลตรวจ
A
True Positive
B
C D
ค่าผลตรวจ
Method Evaluation
45
Likelihood Ratio; LR
The likelihood ratio of a positive test result (LR+)
is sensitivity divided by 1- specificity.
LR+
Sensitivity
=
1-Specificity
The likelihood ratio of a negative test result (LR-)
is 1- sensitivity divided by specificity.
LR-
1-Sensitivity
=
Specificity
In general, a diagnostic test with an LR of >10 or <0.10 changes pretest
probability dramatically and is considered a strong diagnostic test.
Method Evaluation
46
การใช้ UPCR และ UA protein วินิจฉัยภาวะ
Proteinurea (>300mg/24-h urine)
Sensitivity(%)
Specificity(%)
PPV(%)
NPV(%)
UPCR > 0.15
96
53
66
91
UPCR > 0.17
91
58
67
88
UPCR > 0.19
89
70
74
88
UPCR > 0.24
73
87
84
78
UPCR > 0.28
66
95
93
75
UPCR > 0.39
55
100
100
71
UA protein > 1+
41
100
100
65
UA protein > 2+
23
100
100
28
UA protein > 3+
11
100
100
55
From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
Method Evaluation
47
Table 3 Likelihood ratios for the urine protein-creatinine ration and the
urinalysis for different ranges of test results.
Test Result
UPCR
< 0.15
0.15 – 0.27
> 0.28
UA
Negative
> 1+
Likelihood ratioa (95% CI) Interpretation
0.07 (0.02 – 0.27)
0.73 (0.44 – 1.20)
Negative
Indeterminate
13.21 (4.3 – 40.5)
Positive
0.59 (0.47 – 0.73)
49.29 (3.1 – 792.8)
Indeterminate
Positive
Abbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio.
a0.05 was added to empty cells to allow for the calculation of the likelihood ratios.
From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
Method Evaluation
48
Receiver Operating Characteristic curve
Method Evaluation
49