Transcript อคติในการเก็บข้อมูล [Information Bias]

การบริหารจัดการข้ อมูลระบบเครือข่ าย
โดยใช้ ScanTRIAD
รศ.ดร. บัณฑิต ถิ่นคารพ, PhD. (Statistics)
ผู้อานวยการศูนย์ บริหารจัดการข้ อมูลและสนับสนุนด้ านสถิติ
ภาควิชาชีวสถิตแิ ละประชากรศาสตร์
คณะสาธารณสุ ขศาสตร์ มหาวิทยาลัยขอนแก่ น
ส่ วนประกอบขององค์ ความรู้ จากการวิจัย
ความรู้ จากการวิจยั = ความจริง + สิ่ งรบกวน
อคติ
(Bias หรือ Systematic error
ผิดจากความเป็ นจริงไปอย่ างเป็ นระบบ
)
อคติในการเลือกตัวอย่ าง [Selection Bias]
อคติในการเก็บข้ อมูล [Information Bias]
อคติจากปัจจัยต่ างๆ ทีเ่ กีย่ วข้ อง [Confounding Bias]
ความบังเอิญ
(Random error)
ผิดจากความเป็ นจริงไปโดยบังเอิญ
เป็ นไปโดยธรรมชาติ
Data Management
ลดสิ่ งรบกวนโดยการออกแบบการศึกษาวิจัยทีด่ ี และมีการประกันคุณภาพการวิจัย
บทบาทการบริหารจัดการข้ อมูลต่ อองค์ ความรู้จากการวิจัย
ข้ อมูล
วิเคราะห์ /แปลผล
องค์ ความรู้ ทมี่ ีคุณภาพ
คุณภาพข้ อมูลทีเ่ ก็บมาได้ + การบริหารจัดการข้ อมูลทีด่ ี
ข้ อมูลผิดจากความเป็ นจริงอย่ างเป็ นระบบ
Selection Bias
[All eligible subjects vs. Lost to follow-up and Non-response]
Information Bias [Validity & reliability of tools vs. Data management]
Confounding Bias [All related predictors vs. what were collected]
ข้ อมูลผิดจากความเป็ นจริงโดยบังเอิญ
• Cancel out in large study
• Achieve precision by reducing measurement error
บทบาททีม่ กั เข้ าใจว่ าทาเพียงเท่ านี้
บทบาททีค่ วรทา
Data entry -> Data editing & cleaning -> Back-up storage
Systematic Approach -------> Statistical Coordinating Center
Systematic Approach
“Data Management and Statistical Support”
Availability of complete, clean data takes time, effort, and attention to details.
“งานทีห่ นักทีส่ ุ ดคือ Clean data ที่ได้ จากการขาดการวางแผนที่ด”ี
Researcher + Statistician ร่ วมวางแผนตั้งแต่ เริ่มโครงการวิจัย
มี Manual of Operation ที่ชัดเจน รวมทั้ง Plan for data analysis
Statistician + Data manager + Programmer ร่ วมทางานต่ อไปอย่ างใกล้ชิด
ทุกกระบวนการให้ มี Documentation
Detect ปัญหาให้ เร็ว แล้วแก้ไขอย่ างรวดเร็ว
สาคัญมาก
การประกันคุณภาพงานวิจยั
มาตรฐานสากลในการทาวิจัยทางการแพทย์
ICH-GCP ดูรายละเอียดที่ http://www.ich.org
ICH = International Conference on Harmonisation of
Technical Requirements for Registration of
Pharmaceuticals for Human Use
GCP = Good Clinical Practice
ริเริ่มโดย European Union (EU), Japan, และ USA เมือ่ 1996
หลายประเทศทั่วโลกตาม เช่ น Australia; Canada; the Nordic countries; WHO; etc.
ผลิตภัณฑ์ จากผลการวิจัยทีท่ าตาม ICH-GCP เท่ านั้นทีจ่ ะได้ รับพิจารณาขึน้ ทะเบียน
แนวทางทีก่ าหนดนั้น สามารถปรับใช้ ได้ กบั ทุกประเภทการวิจัย
เป้าหมายหลัก
Quality assurance and/or control
Prevent problems
Detect problems
Correct problems
Quality assurance elements
•
Prevention
–
–
–
–
–
–
–
Well-written protocol, manual of operations
Collection limited to essential items, uncomplicated forms,
criteria
Pre-test study forms and procedures
Investigators commitment to follow protocol
Training and certification of all staff
Data from central classification committees, specialized
equipment (calibration), central laboratories or reading
centers (internal replication; external duplication or standards)
Maintain study records; audit trails, archiving
Adopted from Shrikant I. Bangdiwala, Ph.D.
Quality assurance elements
•
Detection
–
Central monitoring of data on individual subjects:
•
•
•
–
–
Site visits: standard check-list, records audit
Comprehensive performance-monitoring reports: study
overall, by site, by staff
•
•
–
data entry system checks
logical, consistency checks
extreme values
recruitment, follow-up, adherence, completion of procedures
errors
Statistical investigations of aggregate data: by site, by staff
•
•
•
identify unusual patterns
lack of variability
unusual relationships in the data
Adopted from Shrikant I. Bangdiwala, Ph.D.
Quality assurance elements
• Correction
–
–
–
–
–
–
–
correct the errors and minimize the chance of future
occurrences
procedures must be implemented early in the study
empower individuals, committees, centers to address
problems
effect of systematic errors, bias, violations of protocol
address individual site or staff performance
redress misconduct or fraud
Document all actions
Adopted from Shrikant I. Bangdiwala, Ph.D.
RDM Processes
Data Entry Design Considerations
Design of data collection forms
Paper-based : ระบบบันทึกข้อมูล, ระบบลงรหัส, ความแน่นของเนื้อหา, ความซับซ้อน ฯลฯ
Electronic-based : CAPI, PDA, Web-based, Applications, Optical Scan, etc
Data collection methods
Self-administered ลายมือ, สภาพกระดาษที่ได้รับกลับ, ระบบตรวจกรองค่าที่ผดิ , ฯลฯ
Interview
Type of projects
Single site VS Multi-center
Cross-sectional or Longitudinal
Routine data collection
Others
Small size project VS Mega study VS Country census
Real-time monitoring, Urgent, Allow sufficient time
RDM Processes
Data Entry Design
Portal of data entry
Distributed data entry
Centralized data entry
Design of data entry interface
Direct VS Via CRF
Key punching VS Mouse clicking VS Optical scan
Spread sheet style VS WYSIWYG
Data entry, validation, and verification methods
Single VS Double data entry
Embedded validation at entry VS Validation externally
Verification tools : Paper VS Printout, Paper VS Screen,
Screen VS Screen, Two parts within a screen,
Data and images being integrated (SD and CRF can be integrated)
RDM Processes
• Data cleaning
– All variables or key variables?
– How much computerized vs manual?
– Consistency checks – across variables, across forms,
across time, across similar individuals
– Frequency and timing given rate of accumulation and
study needs
– Audit trail & documentation – ALL changes to original
data specify what, when, why, by whom
RDM Processes
• Audit trail & documentation – ALL changes to original data
specify what, when, why, by whom
• WHY?
– Monitor study integrity and quality assurance
• CC does this separately by personnel, collectively for trends
– Regulatory agencies wish to compare the information in original
data collection forms with that in reports
• Usually, sample 10% of subjects in database, 100% of data from
sampled subjects, and often 100% of subjects for key variables
• Tolerance of errors: < 25/10000 fields = 0.25%
Main Tasks
Data Management using
1. Scan
SCAN
Back Office
2. Verify
VERIFY
PURIFY
3. Purify
Front Office
ขั้นตอนการทางาน
1.Scan
Feed
paper
Scan and
activate
OMR & ICR
Check for
image error
and fix if any
Export both
images and data
as a ZIP file
Unzip to database server
2.Verify
Login to
the client
computer
3.Purify
Login to
the client
computer
Load
data
Verify
data
Check items
with validation
warnings
Save
data
Check items
with verification
remarks
Data ready for researchers
Send data
to the
server
Check items
based on EDA
results
ScanTriad
SCANNER
ADSL
DVD Backup
INTERNET
INTRANET SERVER
2. PURIFY
Downloading station
1. VERIFY
3. DELIVER
DVD Backup
HDD-USB
ศูนย์ บริหารจัดการข้ อมูลฯ
ตู้นิรภัยที่ สนง. โครงการวิจยั
Data Management System with Tools for
Optical Recognition, Verification, and Purification.
http://www.scantriad.com
จัดเตรียมแบบสอบถามที่ได้ รับจากไปรษณีย์
จัดเป็ น Lot เพือ่ เตรียมสแกน
แบบสอบถาม จัดเป็ น Lot เพือ่ เตรียมสแกน
สแกนแบบสอบถาม
สแกนแบบสอบถาม ดูให้ ละเอียด
Data Verification Center
Data Verification Center
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
Example that data verification is needed
คู่มอื Verify