Transcript Chapter 8

Desain Riset
Eksperimen
Ertambang Nahartyo, Ak. Ph.D.
Fakultas Ekonomika dan Bisnis
Universitas Gadjah Mada
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Garis Besar Pemaparan
1 Eksperimen: pengantar
2 Desain Eksperimen
3 Manipulasi
4 Validitas: internal vs. eksternal
5 Managemen subjek
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Baseline
Dongeng Tiga
Ekor Anak Babi
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Jenis manusia berdasarkan pengetahuan
yang dimiliki
Manusia yang tahu atas pengetahuannya
Manusia yang tahu atas ketidaktahuannya
Manusia yang tidak tahu atas pengetahuannya
Manusia yang tidak tahu atas ketidaktahuannya
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Sajak Taufik Ismail
Ternyata dunia ini
adalah sebuah peti
Dunia sebuah peti yang besar
dan tertutup di atasnya
dan kita membuat peti
di dalam peti ini
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
motto
Pengetahuan tak akan
berkembang jika sains
bersifat sepihak
Ketahuilah apa yang
kau tahu dan apa yang
tak kau tahu
Di atas langit masih
ada langit
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Epistemologi
Ciri pengetahuan dan cara pengetahuan diperoleh
Kebenaran (truth), kepercayaan (belief) dan
pembenaran (justification)
Pembenaran dapat bersifat empirik, berupa
kesaksian yang kredibel, atau deduksi logis.
Empirisisme menekankan pada bukti
pengetahuan yang diperoleh dari observasi di
dunia nyata.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Metoda saintifik
Tidak ada kemutlakan
Aksi berdasarkan pada peluang (jadi…tergantung
juga pada urutan prioritas)
Asumsi (e.g. ekonomika vs pemegang amanah)
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Sumber pengetahuan
Penalaran (logis dan analitik)
Deduksi (rasional)
Induksi (empiris)
 Mengarah pada pernyataan yang semakin fundamental
tetapi tetap tak mampu mereproduksi kenyataan
(pahitnya kopi, manisnya madu)
Intuisi (berpikir tanpa penalaran)
Wahyu/ilham
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Tiga aliran
Positivist
Reality is objectively given
and can be described by
objective & measurable
properties
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Epistemologi
Interpretive
Access to reality is
only through social
constructions such as
language and shared
meanings
Critical
Reality is produced by people and
therefore can be reproduced
Oppositions, contradictions, conflicts
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Metodologi
Dua kutub:
Natural vs. Social sciences
Quantitative vs. Qualitative
Objective vs. Subjective
Nomothetic vs. Idiographic
Prediction vs. Understanding
Outsider (Etic) vs. Insider (Emic)
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
PRINSIP-PRINSIP
4 N (Ki Hadjar Dewantara)
Niteni
Nithili
Nirokake
Nambahi
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Strategic Management Game
Company One (I)
Company Two
(II)
Strategy A
Strategy B
Strategy A
I: $3,000
II: $3,000
I: $5,000
II:
$0
Strategy B
I:
$0
II: $5,000
I: $1,000
II: $1,000
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Eksperimen: sebuah pengantar
Eksperimen adalah desain riset untuk
menginvestigasi suatu fenomena dengan cara
merekayasa keadaan atau kondisi lewat prosedur
tertentu dan mengamati hasil perekayasaan
tersebut serta menginterpretasikannya.
x → y
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Eksperimen: sebuah pengantar
Kontrol di tangan peneliti
Manipulasi
Eksperimen laboratorium dan lapangan
Unit eksperimental
Galat eksperimental
Hubungan sebab akibat (necessary & sufficient
conditions)
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Eksperimen: sebuah pengantar
Grup eksperimen dan grup kontrol
Yij = a + b1 Xi + b2 Vij + eij
Untuk menjamin kesetaraan grup
Randomisasi
Pemadanan (matching)
Analisis kovariansi
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Eksperimen: sebuah pengantar
Empat faktor penunjang eksperimen
α
β
ukuran sampel,
dan desain riset D
untuk meningkatkan power of the test:
meningkatkan jumlah sampel,
meningkatkan efek manipulasi,
dan mengontrol efek pengganggu.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Eksperimen: sebuah pengantar
Eksperimen adalah rute alternatif untuk
mengembangkan pengetahuan; bukan panasea.
Perkembangan teknologi dan teknik statistika
menaikkan mutu penelitian eksperimental (e.g.
multivariate analyses)
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Validitas Riset
Statistical-conclusion validity
Construct validity
Internal validity: did in fact the experimental
treatments make a difference on the phenomena
being observed?
External validity: to what extent (populations,
settings, treatment variables and measurement
variables) the effects can be generalized?
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Validitas Internal
Isu mendasar: seberapa besar kekuatan kontrol
peneliti atas variabel-variabel ekstrani dan
seberapa kuat hubungan kausalitas antar variabel
independen dengan variabel dependen
Validitas internal tidak otomatis ada dalam
penelitian eksperimental
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Ancaman terhadap Validitas Internal
1.
2.
3.
4.
5.
6.
7.
8.
Histori.
Maturasi.
Testing.
Instrumentasi.
Mortalitas.
Regresi.
Seleksi.
Interaksi antara seleksi dengan faktor lain.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Ancaman terhadap Validitas Internal
Ancaman Grup Tunggal (1-6)
X
O
........(1)
O1 X O2
.......(2)
dimana:
X adalah pemaparan manipulasi terhadap subjek;
O adalah proses observasi atau pengukuran;
O1 adalah pengukuran pra manipulasi (pretest);
O2 adalah pengukuran pasca manipulasi (posttest).
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Ancaman terhadap Validitas Internal
Ancaman Grup Jamak (7-8)
O1
O1*
X
O2
O2*
dimana:
X adalah pemaparan manipulasi terhadap subjek;
O1 dan O1* adalah pengukuran pra manipulasi (pretest) untuk grup 1 dan grup 2;
O2 dan O2* adalah pengukuran pasca manipulasi (pretest) untuk grup 1 dan grup
2.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Ancaman dari grup jamak
Seleksi
Interaksi antara seleksi dengan faktor lain.
Seleksi-histori
Seleksi-maturasi
Seleksi-testing
Seleksi-instrumentasi
Seleksi-mortalitas
Seleksi-regresi
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Ancaman dari Interaksi Sosial
Difusi atau Imitasi Perlakuan (Treatment)
Rivalitas Antargrup
Demoralisasi
Penyamaan Manipulasi atau Perlakuan
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Validitas Eksternal
Apakah kesimpulan yang ditarik dari sebuah
eksperimen berlaku juga untuk orang, waktu,
tempat, dan suasana yang berbeda?
Tiga perspektif:
generalisabilitas statistis,
replikabilitas konsepsual atau robustness, dan
validitas ekologis.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Validitas Eksternal
Terdapat dua jenis riset menurut tujuan
generalisasinya:
Riset aplikasi efek (effect application research)
Riset aplikasi teori (theory application research).
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Validitas Eksternal
RAE dg RAT berbeda dalam hal:
Subjek; RAE membutuhkan subjek yang mencerminkan kondisi
populasinya; RAT membutuhkan subjek sehomogen mungkin supaya
pengujian teorinya semakin kuat.
Operasionalisasi variabel independen dan dependen; variabel dalam
RAE harus menyamai variabel dalam dunia nyata; RAT tidak harus
menyerupai variabel dalam kehidupan sehari-hari.
Situasi yang digunakan dalam riset; RAE menggunakan situasi dalam
riset (eksperimen) yang realistis; situasi untuk RAT bisa bersifat tiruan atau
artifisial.
Desain penelitian; eksperimen lapangan cocok untuk RAE; eksperimen
murni (true experiment) lebih pas untuk RAT.
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Faktor-Faktor Pengancam Validitas
Eksternal
Interaksi antara manipulasi dengan testing
Interaksi antara manipulasi dengan seleksi
Interaksi antara manipulasi dengan tatanan (setting)
eksperimen
Interaksi antara manipulasi dengan variabel-variabel
lainnya
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Faktor-Faktor Pengancam Validitas
Eksternal
Interaksi antara manipulasi dengan testing
Interaksi antara manipulasi dengan seleksi
Interaksi antara manipulasi dengan tatanan (setting)
eksperimen
Interaksi antara manipulasi
Manipulasi-Instrumentasi
Manipulasi-Maturasi
Manipulasi-Histori
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Managemen Subjek
Prinsip-Prinsip Menarik Partisipan
Kesukarelaan
Keterbukaan
Kerahasiaan
Kesamaan perlakuan
Kualitas ekperimen
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Managemen Subjek
Meningkatkan Jumlah Partisipan Riset
Kejelasan kontak dengan calon subjek
Relevansi topik penelitian
Kredibilitas peneliti atau lembaga yang
menaungi penelitian
Penghargaan kepada subjek
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Karakteristik Subjek
Subjek naif atau subjek netral
Subjek positif atau subjek baik hati
Subjek negatif
Subjek tertekan
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Efek Subjek terhadap Riset
Threats to a valid inference
Subjects’ anxiety
Demand effect
Experimenters’ expectancies
Power difference
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
How to Treat Human Subjects
Deception is the last resort
always ask whether there is a proper balance between
interests of science and thoughtful treatment of
subjects
Implications of deception
ethical
methodological: subjects are not naïve anymore
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Student Subjects
Existing Evidence
attitude & attitude change and general decision
making
the best subject for tests designed to reflect the
businessman’s behavior is the businessman himself
for general decision making, cognitive process of human is
generally similar (e.g. heuristics, prejudice, etc)
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Student Subjects
Differences between students and non-students
skills or expertise
attitude
experience: automatic behavior and attention
wealth: experiment reward & risk
age: simbolic vs. verbal problems
IRB
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Pre-Experimental Design
One-group one-shot case study
x
o
One-group pretest-posttest
o1
x o2
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Pre-Experimental Design
Static-Group Comparison
x
o1
------------
o2
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
True Experimental Designs
Pretest-posttest control group design
R O1
R O3
X
O2
O4
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
True Experimental Designs
Solomon Four-Group Design
R O1
R O3
R
R
X
X
O2
O4
O5
O6
replications: O2 > O1 ; O2 > O4 ; O5 > O6 ; O5 > O3
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
True Experimental Designs
Posttest Only Control Group Design
R
R
X
O1
O2
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Quasi-Experimental Designs
X cannot be manipulated, other variables cannot
be controlled, but O can be measured anytime to
anybody.
Imperfect experiment; competing interpretation
of data
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Quasi-Experimental Designs
Time Series Experiment
O1O2 O3 O4 X O5 O6O7 O8
periodic measurement process
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
Quasi-Experimental Designs
Non-Equivalent Control Group Design
O1
X
O3
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009
O2
O4
Quasi-Experimental Designs
Counter-Balanced Design
X1 O
X2O
X3 O
X4 O
X 2O
X4O
X 1O
X 3O
X3O X4 O
X1 O X3O
X 4 O X 2O
X 2 O X1 O
Dipresentasikan pada workshop STIE Perbanas Surabaya, 27-28 Pebruari 2009