Transcript luento3
Kvantitatiiviset tutkimusmenetelmät
Luento 3 Mittaaminen ja tutkimuksen arviointi Kaisu Puumalainen
Tutkimuksen arviointi ja virheet
Hyvän tutkimuksen ominaisuuksia
− − Rigour − Hyvä tieteellinen käytäntö niin toteutuksessa kuin raportoinnissa − http://www.tenk.fi/hyva_tieteellinen_kaytanto/kayta nto.html
− http://www.aomonline.org/aom.asp?ID=268&page_ ID=240 − Validiteetti ja reliabiliteetti Relevance − Tutkimuksella on merkitystä − Ei nollatutkimusta − Käytännön relevanssi ja tieteellinen relevanssi
Virheitä voi tulla joka vaiheessa
ilmiö käsitteellistäminen kohderyhmän määrittely käsitteet operationalisointi muuttujat mittaaminen kohderyhmä otanta otos datamatriisi tiedonkeruu analyysi tulokset
Kohderyhmän määrittely ja otanta − − − − − − Valittu kohderyhmä ei palvele tutkimuksen tavoitetta Valintavirhe (selection bias eli survivor bias) Perusjoukon määrittelyvirhe Otantakehyksen virheet ja puutteellisuudet Liian pieni (tai suuri) otos Väärä informantti − Otantavirhe (sampling error) on virhe, joka liittyy aina otantaan ja joka otetaan huomioon tilastollisessa analyysissa (laskemalla otoksesta saatujen estimaattien keskivirheitä, luottamusvälejä ja tilastollisia testejä)
Tiedonkeruuvirheet
− Tutkijan virheitä − − kysymys esitetään väärin, seurauksena esim. vinot jakaumat, keskittyneisyys tai halo effekti vastaus tallennetaan väärin − häirintä tiedonkeruutilanteessa − Vastaajan vastausvirheet − − tahalliset Tahattomat − vastaamattomuusvirhe
Vastausvirheet − − tahattomat − ei tiedä /muista vastausta/ ei osaa muotoilla oikein − Common method/source variance/bias (jos kaikki kysymykset kysytään samalla tavalla samoilta henkilöiltä niin vastauksissa ilmenee näennäistä, pelkästä kysymystavasta johtuvaa korrelaatiota, voi todeta Harman’in testillä ja välttää käyttämällä useita eri informantteja tai kysymällä eri aikoina) − Vastaustyylit (esim. agreement bias, vastaaja on kaikesta samaa mieltä, ARS/DARS, ExtremeRS, RRange, MidPointR) tahalliset − haluaa antaa sosiaalisesti hyväksyttäviä vastauksia (social desirability, Crowne&Marlowe 1964) − − − haluaa ”kaunistella” tilannettaan Haluaa tehdä kiusaa hutiloi, on väsynyt
Vastaamattomuusvirheet (non-response bias)
− −
kaikki eivät vastaa ollenkaan, alhainen vastausprosentti − kannusteet − − − − uusinnat informointi etukäteen vastaamatta jättäneiden analysointi Aikaisten ja myöhäisten vastaajien vertailu epätäydelliset vastaukset − Hyödynnä, jos suurin osa kysymyksistä on vastattu ja hylkää kokonaan jos suurin osa puuttuu − Puuttuvien arvojen imputointi
Analysointivirheet
− − − − − − Väärä tai liian heikko tilastollinen testi Tulosten väärät tulkinnat Huolimattomuus (esim. outlier-tarkastelut) Mallien väärä spesifiointi Ylisovittaminen (overfitting, mallissa on liikaa muuttujia suhteessa havaintojen määrään, johtaa hyvään sopivuuteen otoksessa mutta heikkoon yleistettävyyteen) Johtopäätösten on oltava linjassa analyysitulosten kanssa
Mittaaminen
Mittaaminen
− − − − Yleistä Mittarin kehittämisprosessi ja vaiheiden yksityiskohdat Kirjallisuutta aiheesta Esimerkki ja reliabiliteetin arviointi SAS-ohjelmistolla 12
Yleistä mittaamisesta
− − − − − Tieteellisen tutkimuksen tavoitteena teorian kehittäminen Teoria muodostuu käsitteistä ja niiden välisistä yhteyksistä (käsitteet, typologiat, suhteet) Monet käsitteet ovat hypoteettisia: ei vastinetta fysikaalisessa maailmassa (älykkyys, sitoutuminen) Jotta tiede edistyisi, teorioiden (epä)pätevyys on todistettava Empiirinen tutkimus onnistuu vain, jos käsitteet on määritelty ja operationalisoitu 13
Miksi operationalisoinnilla on väliä?
− − − − operationalisointi = millä indikaattoreilla mitataan käsitettä, ja miten tieto kerätään ja analysoidaan data, jota keräämme on mittauksen tulos – se ei ole välttämättä todellinen arvo tai määrä käsitettä − todellinen ( käsite) = aineistosta saatu (mittari) + virhe virhe (error, bias) voi olla satunnaista tai systemaattista mittaamiseen liittyy aina virhettä, mutta tulisi pyrkiä mahdollisimman lähelle todellista 14
Yhdistetty mittari vai yksittäinen muuttuja?
− jos käsite on abstrakti, vaikeasti havaittava ja monitahoinen, niin yhdistetty on parempi Single-item Measure Multi-item Measures TRUE Actual Actual-1 Actual-2 TRUE valokuvat kohteesta useammasta suunnasta antavat paremman käsityksen Actual-3 kuin yksi valokuva 15
Mittaamisen kaksi näkökulmaa
− − − reflektiivinen perinteisesti yleisempi − latentti käsite vaikuttaa indikaattoreihin (items, väittämät, osiot) − indikaattori on käsitteen funktio − − − kaikki indikaattorit muuttuvat yhtä aikaa, jos käsite muuttuu Indikaattorit korreloivat keskenään Esim. kielitaito formatiivinen − indikaattorit vaikuttavat latenttiin käsitteeseen − − − käsite muuttuu, jos yksikin indikaattori muuttuu Indikaattorit eivät välttämättä korreloi keskenään esim. SES, HDI, maariski ym. indeksit − − Esim. liikunnan harrastaminen (Diamantopoulos, A. artikkeleita aiheesta ) matemaattiset menetelmät hieman erilaisia 16
Mittarin muodostamisprosessi (scale development)
− − − − − − − − − − − käsitteen määrittely väittämien laatiminen (item generation) muuttujien karsiminen tiedon keruu muuttujien karsiminen mittarin muodostaminen yksidimensioisuuden varmistaminen (unidimensionality) reliabiliteetin arviointi (reliability) validiteetin arviointi (validity) yleistettävyyden arviointi (replikointi, stability across samples) Ks. SERVQUAL.pdf
17
Käsitteen määrittely
− − − − − − Arkikielen määritelmä ja tieteellinen määritelmä Samalle käsitteelle löytyy yleensä monta erilaista määritelmää tieteellisistä tutkimuksista (esim. Kulttuuri yli 300 kpl) Mitä tämä diversiteetti aiheuttaa tieteen edistymiselle?
Operationaalinen määritelmä käyttää termejä, jotka ovat empiirisesti mitattavissa Ks. Marketorientation.xls
esim. Sitoutuminen: jatkuvuus, panostus, valmius uhrauksiin 18
Käsite: äidinkielen taito
AI suullinen viestintä kirjallinen viestintä sanaston käyttö kuuntelutaito puheviestintätaito lukutaito kirjoitustaito kielioppitaito sanavarasto 19
Käsitteen määrittelyn keinot
− − − − − − − kirjallisuuskatsaus ylivoimaisesti tärkein!
muista ottaa huomioon muut tutkimusalat ja erilaiset näkökulmat tai analyysin tasot miten käsite eroaa lähikäsitteistä mitä on, eikä miksi on (capability?) aiemmat tutkimukset ja niissä käytetty operationalisointi voi auttaa haastattelut oma kokemus 20
Väittämien laatiminen
− − − − Item generation deduktiivinen ja induktiivinen lähestyminen deduktiivinen − vaatii ilmiön ymmärtämistä − kirjallisuuskatsaus käsitteen määritelmistä induktiivinen − sopii kun ilmiö on vähemmän tutkittu − − laadullinen aineisto pohjana sisältöanalyysi ja teemoittelu − − kuvaile, miten esimiehesi kommunikoi kanssasi kriittisten tapausten tekniikka 21
Butler 1991 luottamuksen edellytysten operationalisointi
induktiivinen lähestyminen 1.
2.
3.
managerit kuvailivat henkilöä, johon luottavat ja henkilöä, johon eivät luota kuvailivat kriittisiä tapauksia, jotka olivat johtaneet luottamuksen syntyyn tai menettämiseen löytyi 280 + 174 edellytystä 4.
5.
6.
opiskelijat ryhmittelivät ne 10 luokkaan kirjoitettiin määritelmät kullekin luokalle laadittiin 4 väittämää kullekin luokalle 22
Väittämien laatiminen
− − − − − − − − − − − − − aiemmat empiiriset tutkimukset mittarikäsikirjat (handbook of …) kvalitatiivisia menetelmiä (critical incident) delphi, aivoriihi, GDSS, yms.
asiantuntijapaneelit, yrityshaastattelut mahdollisimman paljon, karsitaan myöhemmin Aluksi ainakin 10 per dimensio/alakäsite, lopulliseen 4-6 positiivisia sekä negatiivisia selkeitä ja yksikäsitteisiä käyttäytymistä vai asennetta vai mielipidettä vai aikomusta suoria vai projektiivisia mittaustapoja useita (Likert 5 tai 7, Osgood) vaihtelua on saatava, ja normaalijakaumia 23
Asenneväittämien laadinta (Metsämuuronen)
− − − − − − yksinkertaisuus (luennon hyödyllisyysaste oli korkea – luennosta oli minulle hyötyä) ei faktoja (matematiikan arvosanani oli kiitettävä – saan helposti hyviä arvosanoja matematiikassa) vältä ääritermejä: aina, ei koskaan, kaikki, ei kukaan, ainoa (en koskaan valehtele – pyrin olemaan rehellinen) lyhyitä väittämiä, max 20 sanaa yksiselitteisyys (rasismi on oikeusasia – ketään ei saisi aliarvostaa rodun tai ihonvärin perusteella) ei johdattelevia (myönnän, että jaettu materiaali oli hyvä – olen tyytyväinen …) 24
Asenneväittämien laadinta (Metsämuuronen)
− − − − − yksi asia per väittämä − pidän kirjallisuudesta, koska lukemalla opin uusia asioita – pidän kirjallisuudesta vältä ja-sanaa väittämässä pitää tulla vaihtelua − on hyväksi käydä koulua – minusta on hauskaa käydä koulua ei liikaa negatiivisia väittämiä väittämät satunnaiseen järjestykseen 25
Väittämien karsiminen I
Ennen varsinaista tiedonkeruuta Scale purification, item reduction asiantuntija-arviot ryhmittely käsitemääritelmät esitetään ja pyydetään asettamaan kukin item sitä vastaavaan käsitteeseen asiantuntijoiden yksimielisyyden arviointi (konkordanssikerroin) pilottitutkimus/esitestaus, josta saadaan itemien jakaumat korrelaatiot itemien välillä faktorianalyysit 26
Väittämien karsiminen II
− − − − − − − − Varsinaisen ison tiedonkeruun jälkeen varmistetaan normaalit jakaumat varmistetaan riittävä varianssi käännetään negatiiviset väittämät itemien väliset korrelaatiot (min .30) Item-total korrelaatiot Reliabiliteettikerroin Cronbach alpha eksploratiivinen faktorianalyysi − ei liian suuria sivulatauksia − − lataus min .40
faktorien määrän voi rajoittaa 27
Mittarin muodostaminen
− − − Kullekin dimensiolle itemien summa (SAS: filter&query, functions, sum) itemien keskiarvo (SAS: filter&query, functions, mean) − yleensä parempi kuin summa, koska haluat ehkä verrata keskenään sellaisia yhdistettyjä mittareita, joissa on eri määrät itemeita Faktoripistemäärä (voidaan tallentaa SAS-ohjelmassa faktorianalyysin yhteydessä) − Standardoitu muuttuja − Kaikki itemit vaikuttavat kaikkiin dimensioihin 28
Yksidimensioisuuden varmistaminen
− − − unidimensionality Tarkistetaan että väittämistä muodostuu oletettu määrä dimensioita, ja että kukin väittämä sijoittuu oikeaan dimensioon faktorianalyysi − eksploratiivinen vaatii min 150 havaintoa − − − konfirmatorinen parempi, vaatii 200 havaintoa alle .40 latautuvat väittämät poistetaan yleensä aineisto hyvä puolittaa niin että kehittely ja validointi tapahtuvat eri puolikkaissa 29
Mittareiden validiteetti ja reliabiliteetti
Reliabiliteetti ja validiteetti
Scale Evaluation Reliability Test-Retest Alternative Forms Internal Consistency Validity Content Criterion Construct Convergent Validity Discriminant Validity Nomological Validity
Reliabiliteetti
− − tarkoittaa vapautta satunnaisesta virheestä tyypit: − Stability (“test-retest reliability”) − Equivalence (“parallel forms reliability”, esim. ranking vs. rating) − Consistency (“split-half reliability”) − Homogeneity (“internal consistency reliability”) − Inter-rater reliability (concordance) 32
Reliabiliteetti
− Cronbach alpha − − − mittaa yhdistetyn summa asteikon sisäistä yhtenäisyyttä (internal consistency ), saa arvoja välillä 0…1.
Enemmän muuttujia -> korkeampi alpha kuinka paljon väittämät korreloivat keskenään positiivisesti (inter-item correlations, min.30) − − − − Alphan on oltava vähintään 0.60 alustavassa tutkimuksessa, 0.70 teorioiden testaamisessa (Nunnally) poista sellaiset väittämät, joiden item-total correlation on heikko (min. noin .50) Poista sellaiset väittämät, joiden Squared multiple correlation on heikko (yli .5 olisi hyvä, huom. SAS ei tulosta ko. lukua) Älä nosta reliabiliteettia validiteetin kustannuksella 33
Cronbach alpha N of items 5 5 7 9 2 2 2 3 3 3 5 Average inter item correlation Alpha 0,3 0,461538 0,5 0,666667 0,7 0,823529 0,3 0,5625 0,5 0,7 0,75 0,875 0,3 0,681818 0,5 0,833333 0,7 0,921053 0,3 0,75 0,2 0,692308
N
*
r
( 1 (
N
1 ) *
r
N=väittämien määrä r= väittämien välisten korrelaatioiden keskiarvo 34
Validiteetti tyypit: − ulkoinen validiteetti eli tulosten yleistettävyys ko. otoksen ulkopuolelle − − Sisäinen
tulosten
tehty ja tulkittu validiteetti eli onko analyysit oikein Sisäinen
mittarin
validiteetti eli mitataanko sitä mitä on tarkoitus mitata, onko mittari vapaa systemaattisesta virheestä − − − sisältö- eli ilmivaliditeetti kriteerivaliditeetti (ennustevaliditeetti) Käsite- eli rakennevaliditeetti
Mittarin reliabiliteetti ja validiteetti
Scale Evaluation Validity Reliability Test-Retest Alternative Forms Internal Consistency Content Criterion Construct Convergent Validity Discriminant Validity Nomological Validity 36
Sisältövaliditeetti − −
content validity onko mittarit laadittu siten että niiden avulla saadaan vastaukset tutkimuskysymyksiin
− − − − −
capture the domain of the construct ei voi arvioida matemaattisesti huolellinen käsitteiden määrittely pinnallisuuden välttäminen ulkopuolisten asiantuntijoiden arvioinnit 37
Kriteerivaliditeetti − −
criterion validity onko mittarit laadittu siten että niiden avulla saadaan hyvä selitysaste tai ennustetarkkuus
− −
concurrent tai predictive Esim. Yrityksen konkurssiriski ä kartoittavan mittarin kriteerivaliditeetti voidaan arvioida pitkitt äistutkimuksella, jossa verrataan myöhemmin konkurssiin menneiden aiempaa riskitulosta eloonj ääneiden vastaaviin riskilukuihin 38
Käsite- eli rakennevaliditeetti − − − − − −
construct validity onko käsite teoreettisesti validi ja onko mittari riittävän kattava (deficiency, contamination) kertooko mittari käsitteestä ”the whole truth and nothing but the truth ” convergent validity (samanlaiset tulokset kuin aiemmin käytetyillä vastaavilla mittareilla) − korrelaatio, MTMM discriminant validity − (eroaa muista käsitteistä) faktorianalyysi, MTMM nomological validity (suhteet teorian mukaiset) 39
Multitrait - Multimethod Matrix
(Campbell & Fiske, 1959) Method 1 Method 2 Trait
a
Trait
b
Trait
a
Trait
b
Method 1 Trait
a
Trait
b
b
1
m
1
b
1
Trait
a
d
Method 2 Trait
b
v
a d
b
2
m
2
v b b
2
Correlation coefficients {
b
1
v a m
1
d
=
reliability
for method 1 =
convergent validity
=
discriminant validity
= “nonsense”-correlation
Requirements:
•
v > 0 and "high enough"
•
v > d
• •
v > m d low
for both methods wrt trait
a
for method 1 40
Example Mosher Forced Choice Guilt Scale
3 traits − Guilt feelings about
sex
− − Hostile guilt Guilt concerning morality 3 methods − − Incomplete sentences "When I dream about sex …" Forced choice " When I dream about sex …" a) b) I don't remember a thing in the morning I feel happy when I get up − True / false − "When I dream about sex I wake up feeling happy" 41
MTMM matrix for the Mosher Forced Choice Guilt Scale
Sexual Hostile Morality
TF FC IS SG HG MC SG HG MC SG HG MC TF
(true/false)
FC
(forced choice)
IS
(incompl. sent.)
SG HG MC SG HG MC SG HG MC
.91
.52
.84
.68 .50
.86
.53
.63
.78
.24
.
.84
.56 .73
.83
54 .51 .63
.67
.47 .40
.53
.83
.23 .33
.66
.97
.61
.79
.96
.70 .58
FC very reliable, TF too, IS not .92
.54 .57
.73
.48 .49
.37
.70
Discriminant validity OK .72
.32
Good convergent validity .65
.49 .28
.55
42
Yleistettävyyden arviointi − − −
mittarin toimivuutta tulisi aina arvioida eri otoksella kuin se on laadittu replikointi hakee rajoja sille, missä konteksteissa teoriat pätevät (tai mittarit toimivat), esim. SERVQUAL erityyppiset palvelut kansainvälisen tutkimuksen invarianssi (cross cultural validation) 43
Kirjoja mittareista
http://www.socialsciencesweb.com/ tosi paljon kirjoja − Nunnally & Bernstein (1994) Psychometric Theory. McGraw Hill − DeVellis (1991) Scale Development: Theory and Applications. Sage − Marketing Scales Handbook: A Compilation of Multi-Item Measures, Vol. I-III Authors: G. Bruner , K. James , P. Hensel − − − Measures of Personality and Social Psychological Attitudes : Volume 1: Measures of Social Psychological Attitudes. Authors: J. Robinson , P.
Shaver , L. Wrightsman Mets ämuuronen (2004): Tutkimuksen tekemisen perusteet ihmistieteissä Price JL and Mueller CW. (1986).
measurement.
Handbook of organizational
Marshfield,Mass.: Pitman. − Rubin RB, Palmgreen P & Sypher HE. (1994).
measures: A sourcebook.
Communication research
New York: Guilford Pr. − Psykologian mittareita http://www.ull.ac.uk/subjects/guides/psycscales.shtml
44
Artikkeleita mittaamisesta
− − − − − − − Churchill (1979) A paradigm for developing better measures of marketing constructs. J Mark Res, 16(1):64-73 Campbell et al (1973) The development and evaluation of behaviorally based rating scales. J Appl Psych, 57:15-22 Mullen (1995) Diagnosing measurement equivalence in cross national research. J Int Bus Stud, 26(3):573-96 Campbell & Fiske (1959) Convergent and discriminant validity by the multitrait-multimethod matrix. Psych Bulletin 56(March):81 105 Gerbing & Anderson (1988) An updated paradigm for scale development incorporating unidimensionality and its assessment. J Mktng Res 25(May):186-192 Hinkin (1995) A review of scale development practices in the study of organizations. Journal of management, 21(5) jne … 45
SAS-esimerkki: Summamuuttujan reliabiliteetti ja muodostaminen
IGO väittämät
International Growth Orientation tarkoitus kuvata yrityksen tahtoa kansainväliseen kasvuun Kuusi väittämää, joista kaksi sanamuodoltaan käännettyjä IGO4: Growth can be achieved mainly through internationalization IGO5:There is still enough growth potential in domestic markets* IGO6: Risks related to internationalization are too high* IGO7: We need to internationalize in order to succeed in the future IGO10: It is important for our company to internationalize quickly IGO11: Internationalization is the only means to achieve the objectives of growth we have set *huom. Sanamuoto käännetty 47
IGO –väittämien korrelaatiomatriisi Analyze- multivariate - correlations
48
IGO –väittämien korrelaatiomatriisi
igo4
kasvu lhinnà kansainvÃlistymÃlllÃ
igo5
kotimaassa kasvupotentiaalia riittÃvÃsti
igo6
kansainvÃlistymisen riskit liian suuret
igo7
varten
igo10
tÃrkeÃà kansainvÃlistyà nopeasti
igo11 Pearson Correlation Coefficients Prob > |r| under H0: Rho=0 Number of Observations igo4
1.00000
igo5
-0.70955
<.0001
kansainvÃlistyminen vÃlttÃmÃtontà tulevaisuuden menestystà kansainvÃlistyminen ainoa keino saavuttaa kasvutavoitteet 287 -0.70955
<.0001
287 -0.37947
<.0001
285 0.67503
<.0001
285 0.56300
<.0001
285 0.73467
<.0001
286 287 1.00000
288 0.44797
<.0001
285 -0.59091
<.0001
285 -0.52070
<.0001
285 -0.67336
<.0001
286
igo6
-0.37947
<.0001
285 0.44797
<.0001
285 1.00000
igo7
0.67503
<.0001
285 -0.59091
<.0001
285 -0.42719
<.0001
283 1.00000
285 -0.42719
<.0001
283 -0.38194
<.0001
283 -0.41510
<.0001
284 285 0.63456
<.0001
285 0.72844
<.0001
285
igo10
0.56300
<.0001
285 -0.52070
<.0001
285 -0.38194
<.0001
283 0.63456
<.0001
285 1.00000
285 0.66460
<.0001
285
igo11
0.73467
<.0001
286 -0.67336
<.0001
286 -0.41510
<.0001
284 0.72844
<.0001
285 0.66460
<.0001
285 1.00000
286 Igo5 ja igo6 korreloivat negatiivisesti muiden kanssa, arvot on käännettävä 1->5, 2->4, 4->2, 5->1 49
Väittämien suunnan kääntäminen query builder – computed columns – new – recoded column
50
SAS koodit, väittämien suunnan kääntäminen
PROC SQL;
CREATE TABLE LUENTO3.igodataluento3b AS SELECT t1.igo4, t1.igo5, t1.igo6, t1.igo7, t1.igo10, t1.igo11, /* igo5kää */ (CASE WHEN
1 = t1.igo5 THEN 5
WHEN
2 = t1.igo5 THEN 4
WHEN
4 = t1.igo5 THEN 2
WHEN
5 = t1.igo5 THEN 1
ELSE t1.igo5
END) FORMAT=IGO5A. AS 'igo5kää'n, /* igo6kää */ (CASE WHEN
1 = t1.igo6 THEN 5
WHEN
2 = t1.igo6 THEN 4
WHEN
4 = t1.igo6 THEN 2
WHEN
5 = t1.igo6 THEN 1
ELSE t1.igo6
END) FORMAT=IGO6A. AS 'igo6kää'n FROM WORK.IGODATALUENTO3 AS t1;
QUIT;
Footer
Reliabiliteetin laskeminen Analyze- multivariate - correlations
Tänne aina yhden
mittarin kaikki
väittämät kerrallaan 52
Esimerkki: IGO reliabiliteetti Analyze- multivariate - correlations
53
SAS-koodit, korrelaatiomatriisi ja reliabiliteetti
PROC CORR DATA=LUENTO3.IGODATALUENTO3B
PLOTS=NONE ALPHA PEARSON VARDEF=DF; VAR igo4 igo7 igo10 igo11 igo5kää igo6kää;
RUN;
Sana ALPHA tulostaa reliabiliteettitunnusluvut Footer
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Simple Statistics Variable igo4 igo5kää igo6kää igo7 igo10 igo11 N Mean
287 3.62021
288 3.55556
285 3.60000
285 3.65965
285 2.81404
286 3.37413
Std Dev Sum
1.31373
1.26479
1.05216
1.20443
1.07327
1.40046
1039 1024 1026 1043 802.00000
965.00000
Minimum Maximum Label
1.00000
1.00000
1.00000
1.00000
1.00000
1.00000
5.00000
5.00000
5.00000
5.00000
5.00000
5.00000
igo4 igo5kää igo6kää igo7 igo10 igo11 55
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Cronbach Coefficient Alpha Variables
Raw Standardized
Alpha
0.890422
0.888217
Katso tätä, jos muuttujilla on kovin erisuuruiset keskiarvot 56
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Cronbach Coefficient Alpha with Deleted Variable Deleted Variable Raw Variables Correlation with Total Alpha Standardized Variables Label Correlation with Total Alpha igo4
0.774771
igo5kää 0.735935
igo6kää 0.48161
igo7
0.767328
igo10 igo11
0.682471
0.81675
0.860229 0.766160
0.866803 0.730886
0.90235 0.483720
0.861979 0.764493
0.876013 0.679342
0.85290 0.812711
0.858630
0.864388
0.902578
0.858904
0.872662
0.850910
igo4 igo5kää igo6kää igo7 igo10 igo11 IGO6 poistaminen hieman parantaisi reliabiliteettia, IGO11 poistaminen huonontaisi aika paljon 57
igo4
igo4
igo5kää
igo5kää
igo6kää
igo6kää
igo7
igo7
igo10
igo10
igo11
igo11
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
igo4
1.00000
287 0.70955
<.0001
287 0.37947
<.0001
285 0.67503
<.0001
285 0.56300
<.0001
285 0.73467
<.0001
286
igo5kää
0.70955
<.0001
287 1.00000
288 0.44797
<.0001
285 0.59091
<.0001
285 0.52070
<.0001
285 0.67336
<.0001
286
Pearson Correlation Coefficients Prob > |r| under H0: Rho=0 Number of Observations igo6kää
0.37947
<.0001
285 0.44797
<.0001
285 1.00000
285 0.42719
<.0001
283 0.38194
<.0001
283 0.41510
<.0001
284
igo7
0.67503
<.0001
285 0.59091
<.0001
285 0.42719
<.0001
283 1.00000
285 0.63456
<.0001
285 0.72844
<.0001
285
igo10
0.56300
<.0001
285 0.52070
<.0001
285 0.38194
<.0001
283 0.63456
<.0001
285 1.00000
285 0.66460
<.0001
285
igo11
0.73467
<.0001
286 0.67336
<.0001
286 0.41510
<.0001
284 0.72844
<.0001
285 0.66460
<.0001
285 1.00000
286 58
Esimerkki: IGO reliabiliteetti
IGO6 on huono item > jätetään pois summamuuttujasta ja tarkastellaan reliabiliteettiluvut uudelleen
Cronbach Coefficient Alpha Variables
Raw Standardized
Alpha
0.902357
0.902578
59
Esimerkki: IGO reliabiliteetti
Cronbach Coefficient Alpha with Deleted Variable Raw Variables Standardized Variables Deleted Variable igo4 igo5kää igo7 igo10 igo11 Correlation with Total
0.790887
0.725578
Alpha
0.873191
0.887444
0.767385
0.681770
0.829704
0.878715
0.896764
0.864607
Correlation with Total
0.786684
0.720087
0.767536
0.681543
0.830065
Nyt ok: minkä tahansa poistaminen heikentäisi reliabiliteettia
Alpha
0.874558
Label
igo4 0.888912
igo5kää 0.878728
igo7 0.897031
igo10 0.864983
igo11 60
SAS-koodit, Summamuuttujan muodostaminen
Lasketaan summamuuttuja keskiarvona 5 muuttujasta Filter and query Computed columns mean – new – advanced expression - functions (muuttuja1, muuttuja2, …) SAS –koodilla
PROC SQL;
CREATE TABLE LUENTO3.IGODATALUENTO3c AS SELECT t1.igo4, t1.igo7, t1.igo10, t1.igo11, t1.'igo5kää'n, /* igosumma */ (MEAN(t1.igo4, t1.igo10, t1.igo11, t1.'igo5kää'n , t1.igo7)) AS igosumma FROM LUENTO3.IGODATALUENTO3B AS t1;
QUIT;
Footer
Esimerkki: reliabiliteetin raportointi
itemien sanamuodot, ja tieto siitä mitkä itemit ovat sanamuodoltaan käänteisiä -tarkasteltiin reliabiliteettia korrelaatiokertoimien ja Cronbachin alfan avulla - 6 itemin mittarissa alfa=.890
-item IGO6 poistettiin koska sen korrelaatiot muiden kanssa olivat .38 - .45 kun muilla .52 - .73 ja sen item-total korrelaatio oli vain .48 kun muilla .68 - .82
5 itemin mittarissa alfa = .902, kaikki itemien väliset korrelaatiot tilastollisesti merkitseviä 1% tasolla ja vähintään .52
Itemien korrelaatiot taulukossa (tiivistetty aiemmin esitetyistä SAS-tulostetaulukoista) 62
Esimerkki: reliabiliteetin raportointi
Igo5* igo7 igo10 Pearson Correlation Coefficients and Cronbach Alpha (N= 285 – 288) igo4
.710
Igo5* igo7
.675
.563
.591
.521
.635
.728
igo11 Item-total (if item deleted) Alpha (if item deleted)
.735
.791
.873
.673
.726
.887
.767
.879
igo10 igo11
.665
.682
.897
.830
.865
63