luento3

Transcript luento3

Kvantitatiiviset tutkimusmenetelmät

Luento 3 Mittaaminen ja tutkimuksen arviointi Kaisu Puumalainen

Tutkimuksen arviointi ja virheet

Hyvän tutkimuksen ominaisuuksia

− − Rigour − Hyvä tieteellinen käytäntö niin toteutuksessa kuin raportoinnissa − http://www.tenk.fi/hyva_tieteellinen_kaytanto/kayta nto.html

− http://www.aomonline.org/aom.asp?ID=268&page_ ID=240 − Validiteetti ja reliabiliteetti Relevance − Tutkimuksella on merkitystä − Ei nollatutkimusta − Käytännön relevanssi ja tieteellinen relevanssi

Virheitä voi tulla joka vaiheessa

ilmiö käsitteellistäminen kohderyhmän määrittely käsitteet operationalisointi muuttujat mittaaminen kohderyhmä otanta otos datamatriisi tiedonkeruu analyysi tulokset

Kohderyhmän määrittely ja otanta − − − − − − Valittu kohderyhmä ei palvele tutkimuksen tavoitetta Valintavirhe (selection bias eli survivor bias) Perusjoukon määrittelyvirhe Otantakehyksen virheet ja puutteellisuudet Liian pieni (tai suuri) otos Väärä informantti − Otantavirhe (sampling error) on virhe, joka liittyy aina otantaan ja joka otetaan huomioon tilastollisessa analyysissa (laskemalla otoksesta saatujen estimaattien keskivirheitä, luottamusvälejä ja tilastollisia testejä)

Tiedonkeruuvirheet

− Tutkijan virheitä − − kysymys esitetään väärin, seurauksena esim. vinot jakaumat, keskittyneisyys tai halo effekti vastaus tallennetaan väärin − häirintä tiedonkeruutilanteessa − Vastaajan vastausvirheet − − tahalliset Tahattomat − vastaamattomuusvirhe

Vastausvirheet − − tahattomat − ei tiedä /muista vastausta/ ei osaa muotoilla oikein − Common method/source variance/bias (jos kaikki kysymykset kysytään samalla tavalla samoilta henkilöiltä niin vastauksissa ilmenee näennäistä, pelkästä kysymystavasta johtuvaa korrelaatiota, voi todeta Harman’in testillä ja välttää käyttämällä useita eri informantteja tai kysymällä eri aikoina) − Vastaustyylit (esim. agreement bias, vastaaja on kaikesta samaa mieltä, ARS/DARS, ExtremeRS, RRange, MidPointR) tahalliset − haluaa antaa sosiaalisesti hyväksyttäviä vastauksia (social desirability, Crowne&Marlowe 1964) − − − haluaa ”kaunistella” tilannettaan Haluaa tehdä kiusaa hutiloi, on väsynyt

Vastaamattomuusvirheet (non-response bias)

− −

kaikki eivät vastaa ollenkaan, alhainen vastausprosentti − kannusteet − − − − uusinnat informointi etukäteen vastaamatta jättäneiden analysointi Aikaisten ja myöhäisten vastaajien vertailu epätäydelliset vastaukset − Hyödynnä, jos suurin osa kysymyksistä on vastattu ja hylkää kokonaan jos suurin osa puuttuu − Puuttuvien arvojen imputointi

Analysointivirheet

− − − − − − Väärä tai liian heikko tilastollinen testi Tulosten väärät tulkinnat Huolimattomuus (esim. outlier-tarkastelut) Mallien väärä spesifiointi Ylisovittaminen (overfitting, mallissa on liikaa muuttujia suhteessa havaintojen määrään, johtaa hyvään sopivuuteen otoksessa mutta heikkoon yleistettävyyteen) Johtopäätösten on oltava linjassa analyysitulosten kanssa

Mittaaminen

− − − − Yleistä Mittarin kehittämisprosessi ja vaiheiden yksityiskohdat Kirjallisuutta aiheesta Esimerkki ja reliabiliteetin arviointi SAS-ohjelmistolla 12

Yleistä mittaamisesta

− − − − − Tieteellisen tutkimuksen tavoitteena teorian kehittäminen Teoria muodostuu käsitteistä ja niiden välisistä yhteyksistä (käsitteet, typologiat, suhteet) Monet käsitteet ovat hypoteettisia: ei vastinetta fysikaalisessa maailmassa (älykkyys, sitoutuminen) Jotta tiede edistyisi, teorioiden (epä)pätevyys on todistettava Empiirinen tutkimus onnistuu vain, jos käsitteet on määritelty ja operationalisoitu 13

Miksi operationalisoinnilla on väliä?

− − − − operationalisointi = millä indikaattoreilla mitataan käsitettä, ja miten tieto kerätään ja analysoidaan data, jota keräämme on mittauksen tulos – se ei ole välttämättä todellinen arvo tai määrä käsitettä − todellinen ( käsite) = aineistosta saatu (mittari) + virhe virhe (error, bias) voi olla satunnaista tai systemaattista mittaamiseen liittyy aina virhettä, mutta tulisi pyrkiä mahdollisimman lähelle todellista 14

Yhdistetty mittari vai yksittäinen muuttuja?

− jos käsite on abstrakti, vaikeasti havaittava ja monitahoinen, niin yhdistetty on parempi Single-item Measure Multi-item Measures TRUE Actual Actual-1 Actual-2 TRUE valokuvat kohteesta useammasta suunnasta antavat paremman käsityksen Actual-3 kuin yksi valokuva 15

Mittaamisen kaksi näkökulmaa

− − − reflektiivinen perinteisesti yleisempi − latentti käsite vaikuttaa indikaattoreihin (items, väittämät, osiot) − indikaattori on käsitteen funktio − − − kaikki indikaattorit muuttuvat yhtä aikaa, jos käsite muuttuu Indikaattorit korreloivat keskenään Esim. kielitaito formatiivinen − indikaattorit vaikuttavat latenttiin käsitteeseen − − − käsite muuttuu, jos yksikin indikaattori muuttuu Indikaattorit eivät välttämättä korreloi keskenään esim. SES, HDI, maariski ym. indeksit − − Esim. liikunnan harrastaminen (Diamantopoulos, A. artikkeleita aiheesta ) matemaattiset menetelmät hieman erilaisia 16

Mittarin muodostamisprosessi (scale development)

− − − − − − − − − − − käsitteen määrittely väittämien laatiminen (item generation) muuttujien karsiminen tiedon keruu muuttujien karsiminen mittarin muodostaminen yksidimensioisuuden varmistaminen (unidimensionality) reliabiliteetin arviointi (reliability) validiteetin arviointi (validity) yleistettävyyden arviointi (replikointi, stability across samples) Ks. SERVQUAL.pdf

Käsitteen määrittely

− − − − − − Arkikielen määritelmä ja tieteellinen määritelmä Samalle käsitteelle löytyy yleensä monta erilaista määritelmää tieteellisistä tutkimuksista (esim. Kulttuuri yli 300 kpl) Mitä tämä diversiteetti aiheuttaa tieteen edistymiselle?

Operationaalinen määritelmä käyttää termejä, jotka ovat empiirisesti mitattavissa Ks. Marketorientation.xls

esim. Sitoutuminen: jatkuvuus, panostus, valmius uhrauksiin 18

Käsite: äidinkielen taito

AI suullinen viestintä kirjallinen viestintä sanaston käyttö kuuntelutaito puheviestintätaito lukutaito kirjoitustaito kielioppitaito sanavarasto 19

Käsitteen määrittelyn keinot

− − − − − − − kirjallisuuskatsaus ylivoimaisesti tärkein!

muista ottaa huomioon muut tutkimusalat ja erilaiset näkökulmat tai analyysin tasot miten käsite eroaa lähikäsitteistä mitä on, eikä miksi on (capability?) aiemmat tutkimukset ja niissä käytetty operationalisointi voi auttaa haastattelut oma kokemus 20

Väittämien laatiminen

− − − − Item generation deduktiivinen ja induktiivinen lähestyminen deduktiivinen − vaatii ilmiön ymmärtämistä − kirjallisuuskatsaus käsitteen määritelmistä induktiivinen − sopii kun ilmiö on vähemmän tutkittu − − laadullinen aineisto pohjana sisältöanalyysi ja teemoittelu − − kuvaile, miten esimiehesi kommunikoi kanssasi kriittisten tapausten tekniikka 21

Butler 1991 luottamuksen edellytysten operationalisointi

induktiivinen lähestyminen 1.

managerit kuvailivat henkilöä, johon luottavat ja henkilöä, johon eivät luota kuvailivat kriittisiä tapauksia, jotka olivat johtaneet luottamuksen syntyyn tai menettämiseen löytyi 280 + 174 edellytystä 4.

opiskelijat ryhmittelivät ne 10 luokkaan kirjoitettiin määritelmät kullekin luokalle laadittiin 4 väittämää kullekin luokalle 22

Väittämien laatiminen

− − − − − − − − − − − − − aiemmat empiiriset tutkimukset mittarikäsikirjat (handbook of …) kvalitatiivisia menetelmiä (critical incident) delphi, aivoriihi, GDSS, yms.

asiantuntijapaneelit, yrityshaastattelut mahdollisimman paljon, karsitaan myöhemmin Aluksi ainakin 10 per dimensio/alakäsite, lopulliseen 4-6 positiivisia sekä negatiivisia selkeitä ja yksikäsitteisiä käyttäytymistä vai asennetta vai mielipidettä vai aikomusta suoria vai projektiivisia mittaustapoja useita (Likert 5 tai 7, Osgood) vaihtelua on saatava, ja normaalijakaumia 23

Asenneväittämien laadinta (Metsämuuronen)

− − − − − − yksinkertaisuus (luennon hyödyllisyysaste oli korkea – luennosta oli minulle hyötyä) ei faktoja (matematiikan arvosanani oli kiitettävä – saan helposti hyviä arvosanoja matematiikassa) vältä ääritermejä: aina, ei koskaan, kaikki, ei kukaan, ainoa (en koskaan valehtele – pyrin olemaan rehellinen) lyhyitä väittämiä, max 20 sanaa yksiselitteisyys (rasismi on oikeusasia – ketään ei saisi aliarvostaa rodun tai ihonvärin perusteella) ei johdattelevia (myönnän, että jaettu materiaali oli hyvä – olen tyytyväinen …) 24

Asenneväittämien laadinta (Metsämuuronen)

− − − − − yksi asia per väittämä − pidän kirjallisuudesta, koska lukemalla opin uusia asioita – pidän kirjallisuudesta vältä ja-sanaa väittämässä pitää tulla vaihtelua − on hyväksi käydä koulua – minusta on hauskaa käydä koulua ei liikaa negatiivisia väittämiä väittämät satunnaiseen järjestykseen 25

Väittämien karsiminen I

Ennen varsinaista tiedonkeruuta Scale purification, item reduction asiantuntija-arviot ryhmittely käsitemääritelmät esitetään ja pyydetään asettamaan kukin item sitä vastaavaan käsitteeseen asiantuntijoiden yksimielisyyden arviointi (konkordanssikerroin) pilottitutkimus/esitestaus, josta saadaan itemien jakaumat korrelaatiot itemien välillä faktorianalyysit 26

Väittämien karsiminen II

− − − − − − − − Varsinaisen ison tiedonkeruun jälkeen varmistetaan normaalit jakaumat varmistetaan riittävä varianssi käännetään negatiiviset väittämät itemien väliset korrelaatiot (min .30) Item-total korrelaatiot Reliabiliteettikerroin Cronbach alpha eksploratiivinen faktorianalyysi − ei liian suuria sivulatauksia − − lataus min .40

faktorien määrän voi rajoittaa 27

Mittarin muodostaminen

− − − Kullekin dimensiolle itemien summa (SAS: filter&query, functions, sum) itemien keskiarvo (SAS: filter&query, functions, mean) − yleensä parempi kuin summa, koska haluat ehkä verrata keskenään sellaisia yhdistettyjä mittareita, joissa on eri määrät itemeita Faktoripistemäärä (voidaan tallentaa SAS-ohjelmassa faktorianalyysin yhteydessä) − Standardoitu muuttuja − Kaikki itemit vaikuttavat kaikkiin dimensioihin 28

Yksidimensioisuuden varmistaminen

− − − unidimensionality Tarkistetaan että väittämistä muodostuu oletettu määrä dimensioita, ja että kukin väittämä sijoittuu oikeaan dimensioon faktorianalyysi − eksploratiivinen vaatii min 150 havaintoa − − − konfirmatorinen parempi, vaatii 200 havaintoa alle .40 latautuvat väittämät poistetaan yleensä aineisto hyvä puolittaa niin että kehittely ja validointi tapahtuvat eri puolikkaissa 29

Mittareiden validiteetti ja reliabiliteetti

Reliabiliteetti ja validiteetti

Scale Evaluation Reliability Test-Retest Alternative Forms Internal Consistency Validity Content Criterion Construct Convergent Validity Discriminant Validity Nomological Validity

Reliabiliteetti

− − tarkoittaa vapautta satunnaisesta virheestä tyypit: − Stability (“test-retest reliability”) − Equivalence (“parallel forms reliability”, esim. ranking vs. rating) − Consistency (“split-half reliability”) − Homogeneity (“internal consistency reliability”) − Inter-rater reliability (concordance) 32

Reliabiliteetti

− Cronbach alpha − − − mittaa yhdistetyn summa asteikon sisäistä yhtenäisyyttä (internal consistency ), saa arvoja välillä 0…1.

Enemmän muuttujia -> korkeampi alpha kuinka paljon väittämät korreloivat keskenään positiivisesti (inter-item correlations, min.30) − − − − Alphan on oltava vähintään 0.60 alustavassa tutkimuksessa, 0.70 teorioiden testaamisessa (Nunnally) poista sellaiset väittämät, joiden item-total correlation on heikko (min. noin .50) Poista sellaiset väittämät, joiden Squared multiple correlation on heikko (yli .5 olisi hyvä, huom. SAS ei tulosta ko. lukua) Älä nosta reliabiliteettia validiteetin kustannuksella 33

Cronbach alpha N of items 5 5 7 9 2 2 2 3 3 3 5 Average inter item correlation Alpha 0,3 0,461538 0,5 0,666667 0,7 0,823529 0,3 0,5625 0,5 0,7 0,75 0,875 0,3 0,681818 0,5 0,833333 0,7 0,921053 0,3 0,75 0,2 0,692308  

( 1  (

 1 ) *

N=väittämien määrä r= väittämien välisten korrelaatioiden keskiarvo 34

Validiteetti tyypit: − ulkoinen validiteetti eli tulosten yleistettävyys ko. otoksen ulkopuolelle − − Sisäinen

tulosten

tehty ja tulkittu validiteetti eli onko analyysit oikein Sisäinen

mittarin

validiteetti eli mitataanko sitä mitä on tarkoitus mitata, onko mittari vapaa systemaattisesta virheestä − − − sisältö- eli ilmivaliditeetti kriteerivaliditeetti (ennustevaliditeetti) Käsite- eli rakennevaliditeetti

Mittarin reliabiliteetti ja validiteetti

Scale Evaluation Validity Reliability Test-Retest Alternative Forms Internal Consistency Content Criterion Construct Convergent Validity Discriminant Validity Nomological Validity 36

Sisältövaliditeetti − −

content validity onko mittarit laadittu siten että niiden avulla saadaan vastaukset tutkimuskysymyksiin

− − − − −

capture the domain of the construct ei voi arvioida matemaattisesti huolellinen käsitteiden määrittely pinnallisuuden välttäminen ulkopuolisten asiantuntijoiden arvioinnit 37

Kriteerivaliditeetti − −

criterion validity onko mittarit laadittu siten että niiden avulla saadaan hyvä selitysaste tai ennustetarkkuus

− −

concurrent tai predictive Esim. Yrityksen konkurssiriski ä kartoittavan mittarin kriteerivaliditeetti voidaan arvioida pitkitt äistutkimuksella, jossa verrataan myöhemmin konkurssiin menneiden aiempaa riskitulosta eloonj ääneiden vastaaviin riskilukuihin 38

Käsite- eli rakennevaliditeetti − − − − − −

construct validity onko käsite teoreettisesti validi ja onko mittari riittävän kattava (deficiency, contamination) kertooko mittari käsitteestä ”the whole truth and nothing but the truth ” convergent validity (samanlaiset tulokset kuin aiemmin käytetyillä vastaavilla mittareilla) − korrelaatio, MTMM discriminant validity − (eroaa muista käsitteistä) faktorianalyysi, MTMM nomological validity (suhteet teorian mukaiset) 39

Multitrait - Multimethod Matrix

(Campbell & Fiske, 1959) Method 1 Method 2 Trait

Trait

Method 1 Trait

Trait

Method 2 Trait

a d

v b b

Correlation coefficients {

v a m

reliability

for method 1 =

convergent validity

discriminant validity

= “nonsense”-correlation

Requirements:

•

v > 0 and "high enough"

•

v > d

• •

v > m d low

for both methods wrt trait

for method 1 40

Example Mosher Forced Choice Guilt Scale

3 traits − Guilt feelings about

sex

− − Hostile guilt Guilt concerning morality 3 methods − − Incomplete sentences "When I dream about sex …" Forced choice " When I dream about sex …" a) b) I don't remember a thing in the morning I feel happy when I get up − True / false − "When I dream about sex I wake up feeling happy" 41

MTMM matrix for the Mosher Forced Choice Guilt Scale

Sexual Hostile Morality

TF FC IS SG HG MC SG HG MC SG HG MC TF

(true/false)

FC

(forced choice)

IS

(incompl. sent.)

SG HG MC SG HG MC SG HG MC

.91

.52

.84

.68 .50

.86

.53

.63

.78

.24

.

.84

.56 .73

.83

54 .51 .63

.67

.47 .40

.53

.83

.23 .33

.66

.97

.61

.79

.96

.70 .58

FC very reliable, TF too, IS not .92

.54 .57

.73

.48 .49

.37

.70

Discriminant validity OK .72

.32

Good convergent validity .65

.49 .28

.55

Yleistettävyyden arviointi − − −

mittarin toimivuutta tulisi aina arvioida eri otoksella kuin se on laadittu replikointi hakee rajoja sille, missä konteksteissa teoriat pätevät (tai mittarit toimivat), esim. SERVQUAL erityyppiset palvelut kansainvälisen tutkimuksen invarianssi (cross cultural validation) 43

Kirjoja mittareista

http://www.socialsciencesweb.com/ tosi paljon kirjoja − Nunnally & Bernstein (1994) Psychometric Theory. McGraw Hill − DeVellis (1991) Scale Development: Theory and Applications. Sage − Marketing Scales Handbook: A Compilation of Multi-Item Measures, Vol. I-III Authors: G. Bruner , K. James , P. Hensel − − − Measures of Personality and Social Psychological Attitudes : Volume 1: Measures of Social Psychological Attitudes. Authors: J. Robinson , P.

Shaver , L. Wrightsman Mets ämuuronen (2004): Tutkimuksen tekemisen perusteet ihmistieteissä Price JL and Mueller CW. (1986).

measurement.

Handbook of organizational

Marshfield,Mass.: Pitman. − Rubin RB, Palmgreen P & Sypher HE. (1994).

measures: A sourcebook.

Communication research

New York: Guilford Pr. − Psykologian mittareita http://www.ull.ac.uk/subjects/guides/psycscales.shtml

Artikkeleita mittaamisesta

− − − − − − − Churchill (1979) A paradigm for developing better measures of marketing constructs. J Mark Res, 16(1):64-73 Campbell et al (1973) The development and evaluation of behaviorally based rating scales. J Appl Psych, 57:15-22 Mullen (1995) Diagnosing measurement equivalence in cross national research. J Int Bus Stud, 26(3):573-96 Campbell & Fiske (1959) Convergent and discriminant validity by the multitrait-multimethod matrix. Psych Bulletin 56(March):81 105 Gerbing & Anderson (1988) An updated paradigm for scale development incorporating unidimensionality and its assessment. J Mktng Res 25(May):186-192 Hinkin (1995) A review of scale development practices in the study of organizations. Journal of management, 21(5) jne … 45

SAS-esimerkki: Summamuuttujan reliabiliteetti ja muodostaminen

IGO väittämät

International Growth Orientation tarkoitus kuvata yrityksen tahtoa kansainväliseen kasvuun Kuusi väittämää, joista kaksi sanamuodoltaan käännettyjä IGO4: Growth can be achieved mainly through internationalization IGO5:There is still enough growth potential in domestic markets* IGO6: Risks related to internationalization are too high* IGO7: We need to internationalize in order to succeed in the future IGO10: It is important for our company to internationalize quickly IGO11: Internationalization is the only means to achieve the objectives of growth we have set *huom. Sanamuoto käännetty 47

IGO –väittämien korrelaatiomatriisi Analyze- multivariate - correlations

IGO –väittämien korrelaatiomatriisi

igo4

kasvu lhinnÃ kansainvÃlistymÃlllÃ

igo5

kotimaassa kasvupotentiaalia riittÃvÃsti

igo6

kansainvÃlistymisen riskit liian suuret

igo7

varten

igo10

tÃrkeÃÃ kansainvÃlistyÃ nopeasti

igo11 Pearson Correlation Coefficients Prob > |r| under H0: Rho=0 Number of Observations igo4

1.00000

igo5

-0.70955

<.0001

kansainvÃlistyminen vÃlttÃmÃtontÃ tulevaisuuden menestystÃ kansainvÃlistyminen ainoa keino saavuttaa kasvutavoitteet 287 -0.70955

<.0001

287 -0.37947

<.0001

285 0.67503

<.0001

285 0.56300

<.0001

285 0.73467

<.0001

286 287 1.00000

288 0.44797

<.0001

285 -0.59091

<.0001

285 -0.52070

<.0001

285 -0.67336

<.0001

286

igo6

-0.37947

<.0001

285 0.44797

<.0001

285 1.00000

igo7

0.67503

<.0001

285 -0.59091

<.0001

285 -0.42719

<.0001

283 1.00000

285 -0.42719

<.0001

283 -0.38194

<.0001

283 -0.41510

<.0001

284 285 0.63456

<.0001

285 0.72844

<.0001

285

igo10

0.56300

<.0001

285 -0.52070

<.0001

285 -0.38194

<.0001

283 0.63456

<.0001

285 1.00000

285 0.66460

<.0001

285

igo11

0.73467

<.0001

286 -0.67336

<.0001

286 -0.41510

<.0001

284 0.72844

<.0001

285 0.66460

<.0001

285 1.00000

286 Igo5 ja igo6 korreloivat negatiivisesti muiden kanssa, arvot on käännettävä 1->5, 2->4, 4->2, 5->1 49

Väittämien suunnan kääntäminen query builder – computed columns – new – recoded column

SAS koodit, väittämien suunnan kääntäminen

PROC SQL;

CREATE TABLE LUENTO3.igodataluento3b AS SELECT t1.igo4, t1.igo5, t1.igo6, t1.igo7, t1.igo10, t1.igo11, /* igo5kää */ (CASE WHEN

1 = t1.igo5 THEN 5

WHEN

2 = t1.igo5 THEN 4

WHEN

4 = t1.igo5 THEN 2

WHEN

5 = t1.igo5 THEN 1

ELSE t1.igo5

END) FORMAT=IGO5A. AS 'igo5kää'n, /* igo6kää */ (CASE WHEN

1 = t1.igo6 THEN 5

WHEN

2 = t1.igo6 THEN 4

WHEN

4 = t1.igo6 THEN 2

WHEN

5 = t1.igo6 THEN 1

ELSE t1.igo6

END) FORMAT=IGO6A. AS 'igo6kää'n FROM WORK.IGODATALUENTO3 AS t1;

QUIT;

Footer

Reliabiliteetin laskeminen Analyze- multivariate - correlations

Tänne aina yhden

mittarin kaikki

väittämät kerrallaan 52

Esimerkki: IGO reliabiliteetti Analyze- multivariate - correlations

SAS-koodit, korrelaatiomatriisi ja reliabiliteetti

PROC CORR DATA=LUENTO3.IGODATALUENTO3B

PLOTS=NONE ALPHA PEARSON VARDEF=DF; VAR igo4 igo7 igo10 igo11 igo5kää igo6kää;

RUN;

Sana ALPHA tulostaa reliabiliteettitunnusluvut Footer

Esimerkki: IGO reliabiliteetti

Analyze- multivariate - correlations

Simple Statistics Variable igo4 igo5kää igo6kää igo7 igo10 igo11 N Mean

287 3.62021

288 3.55556

285 3.60000

285 3.65965

285 2.81404

286 3.37413

Std Dev Sum

1.31373

1.26479

1.05216

1.20443

1.07327

1.40046

1039 1024 1026 1043 802.00000

965.00000

Minimum Maximum Label

1.00000

5.00000

igo4 igo5kää igo6kää igo7 igo10 igo11 55

Esimerkki: IGO reliabiliteetti

Analyze- multivariate - correlations

Cronbach Coefficient Alpha Variables

Raw Standardized

Alpha

0.890422

0.888217

Katso tätä, jos muuttujilla on kovin erisuuruiset keskiarvot 56

Esimerkki: IGO reliabiliteetti

Analyze- multivariate - correlations

Cronbach Coefficient Alpha with Deleted Variable Deleted Variable Raw Variables Correlation with Total Alpha Standardized Variables Label Correlation with Total Alpha igo4

0.774771

igo5kää 0.735935

igo6kää 0.48161

igo7

0.767328

igo10 igo11

0.682471

0.81675

0.860229 0.766160

0.866803 0.730886

0.90235 0.483720

0.861979 0.764493

0.876013 0.679342

0.85290 0.812711

0.858630

0.864388

0.902578

0.858904

0.872662

0.850910

igo4 igo5kää igo6kää igo7 igo10 igo11 IGO6 poistaminen hieman parantaisi reliabiliteettia, IGO11 poistaminen huonontaisi aika paljon 57

igo4

igo4

igo5kää

igo5kää

igo6kää

igo6kää

igo7

igo7

igo10

igo10

igo11

igo11

Esimerkki: IGO reliabiliteetti

Analyze- multivariate - correlations

igo4

1.00000

287 0.70955

<.0001

287 0.37947

<.0001

285 0.67503

<.0001

285 0.56300

<.0001

285 0.73467

<.0001

286

igo5kää

0.70955

<.0001

287 1.00000

288 0.44797

<.0001

285 0.59091

<.0001

285 0.52070

<.0001

285 0.67336

<.0001

286

Pearson Correlation Coefficients Prob > |r| under H0: Rho=0 Number of Observations igo6kää

0.37947

<.0001

285 0.44797

<.0001

285 1.00000

285 0.42719

<.0001

283 0.38194

<.0001

283 0.41510

<.0001

284

igo7

0.67503

<.0001

285 0.59091

<.0001

285 0.42719

<.0001

283 1.00000

285 0.63456

<.0001

285 0.72844

<.0001

285

igo10

0.56300

<.0001

285 0.52070

<.0001

285 0.38194

<.0001

283 0.63456

<.0001

285 1.00000

285 0.66460

<.0001

285

igo11

0.73467

<.0001

286 0.67336

<.0001

286 0.41510

<.0001

284 0.72844

<.0001

285 0.66460

<.0001

285 1.00000

286 58

Esimerkki: IGO reliabiliteetti

IGO6 on huono item > jätetään pois summamuuttujasta ja tarkastellaan reliabiliteettiluvut uudelleen

Cronbach Coefficient Alpha Variables

Raw Standardized

Alpha

0.902357

0.902578

Esimerkki: IGO reliabiliteetti

Cronbach Coefficient Alpha with Deleted Variable Raw Variables Standardized Variables Deleted Variable igo4 igo5kää igo7 igo10 igo11 Correlation with Total

0.790887

0.725578

Alpha

0.873191

0.887444

0.767385

0.681770

0.829704

0.878715

0.896764

0.864607

Correlation with Total

0.786684

0.720087

0.767536

0.681543

0.830065

Nyt ok: minkä tahansa poistaminen heikentäisi reliabiliteettia

Alpha

0.874558

Label

igo4 0.888912

igo5kää 0.878728

igo7 0.897031

igo10 0.864983

igo11 60

SAS-koodit, Summamuuttujan muodostaminen

Lasketaan summamuuttuja keskiarvona 5 muuttujasta Filter and query Computed columns mean – new – advanced expression - functions (muuttuja1, muuttuja2, …) SAS –koodilla

PROC SQL;

CREATE TABLE LUENTO3.IGODATALUENTO3c AS SELECT t1.igo4, t1.igo7, t1.igo10, t1.igo11, t1.'igo5kää'n, /* igosumma */ (MEAN(t1.igo4, t1.igo10, t1.igo11, t1.'igo5kää'n , t1.igo7)) AS igosumma FROM LUENTO3.IGODATALUENTO3B AS t1;

QUIT;

Footer

Esimerkki: reliabiliteetin raportointi

itemien sanamuodot, ja tieto siitä mitkä itemit ovat sanamuodoltaan käänteisiä -tarkasteltiin reliabiliteettia korrelaatiokertoimien ja Cronbachin alfan avulla - 6 itemin mittarissa alfa=.890

-item IGO6 poistettiin koska sen korrelaatiot muiden kanssa olivat .38 - .45 kun muilla .52 - .73 ja sen item-total korrelaatio oli vain .48 kun muilla .68 - .82

5 itemin mittarissa alfa = .902, kaikki itemien väliset korrelaatiot tilastollisesti merkitseviä 1% tasolla ja vähintään .52

Itemien korrelaatiot taulukossa (tiivistetty aiemmin esitetyistä SAS-tulostetaulukoista) 62

Esimerkki: reliabiliteetin raportointi

Igo5* igo7 igo10 Pearson Correlation Coefficients and Cronbach Alpha (N= 285 – 288) igo4

.710

Igo5* igo7

.675

.563

.591

.521

.635

.728

igo11 Item-total (if item deleted) Alpha (if item deleted)

.735

.791

.873

.673

.726

.887

.767

.879

igo10 igo11

.665

.682

.897

.830

.865