Transcript mangfald_noc - Psykologisk metod

UPP-testet: Mångfald gynnas av korrektion för skönmålning
Lennart Sjöberg
Rapport 2010:2
Psykologisk Metod L Sjöberg AB arbetar med utveckling och användning av
psykologiska test samt undersökningar av attityder och riskuppfattningar, andra
psykologiska utredningar och tillämpad forskning.
Vår affärsidé är att bedriva arbetet i nära anslutning till den aktuella forskningen
inom psykologin.
Skrifter utgivna av Psykologisk Metod AB Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest.
Rapport 2008:1.
Sjöberg, L., & Möller, K. (2009). Sociala arbetsfunktioner och personlighet. Rapport 2009:1.
Sjöberg, L. (2009). UPP-testet: Kriterierelaterad validitet. Rapport 2009:2.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Rapport 2009:3.
Sjöberg, L. (2010). UPP-testet: Tredje generationens personlighetstest. Rapport 2010: 1.
Sjöberg, L. (2010). UPP-testet: Reviderad manual.
Sjöberg, L. (2010). UPP-testet: Mångfald gynnas av korrektion för skönmålning. Rapport
2010:2.
Timmermansgränd 1
118 65 Stockholm
www.psykologisk-metod.se/
08/7557234
[email protected]
UPP-testet: Mångfald gynnas av korrektion för
skönmålning1
Lennart Sjöberg
Psykologisk Metod AB
Sammanfattning
UPP-testets screeningmodul togs av 1622 arbetssökande, varav 250 var av utländsk härkomst.
Reliabiliteten var god i båda grupperna. Korrelationerna med skönmålning var likartade i båda
grupperna, för var och en av de fem personlighetsvariabler som mäts i screeningmodulen.
Korrektion för skönmålning visade sig gynna invandrargruppen, vars medelvärde efter
korrektion var högre än övrigas i 3 av 5 dimensioner. Även i de 2 dimensioner där
arbetssökande med svensk härkomst hade ett högre medelvärde var skillnaden betydligt
reducerad mellan grupperna efter korrektion. När gruppen av arbetssökande rangordnades i de
fem personlighetsvariablerna före och efter korrektion för skönmålning visade det sig att de
sökande med utländsk härkomst fick ca 30 rangsteg bättre placering till följd av korrektionen.
Sökande med svensk härkomst förlorade ca 5 rangsteg. Extremt stora förändringar i
rangplacering – troligen av särskild betydelse i en anställningsprocess - var dubbelt så
sannolika bland invandrarna som bland dem av svensk härkomst. Slutsatsen är att
screeningmodulen hade de förväntade psykometriska egenskaperna även för en grupp av
invandrare samt att dessa gynnades av korrektionen för skönmålning, som sannolikt ger en
mera rättvisande bild av dem som tagit testet än okorrigerade data. Den psykometriska
metodik som används i UPP-testet bör därför kunna leda till större rättvisa och till minskade
svårigheter för invandrare att få jobb. På analogitestet hade invandrarna sämre resultat än
övriga. Om begåvningstest ska användas i en situation där invandrare ingår i gruppen av
testade bör detta vara icke-verbalt, eller bör en särskild normtabell för invandrare koma till
användning.
Inledning
Det är väl känt att invandare har svårt att få jobb. Det kan finnas många orsaker till det.
Användningen av psykologiska test borde kunna vara till fördel för invandrare som behärskar
svenska eftersom ovidkommande faktorer som utseende och namn inte påverkar testresultat.
Men det är inte alls säkert att det fungerar så i praktiken. I denna rapport undersöks om
invandrare som tar ett personlighetstest i samband med ansökan om anställning svarar mer
eller mindre uppriktigt på testet än övriga. De som svarar minst uppriktigt tenderar ju att få ett
”bättre” resultat på ett personlighetstest av självrapporttyp, och det är sådana test som
1
Ett tack till Hampus Breistein, Katapult AB, som tagit fram data till denna rapport samt Mona Nettelman för
värdefulla synpunkter på undersökningen och rapporten.
1
dominerar i marknaden. I ”skarpt läge” är det mycket vanligt att de som testas ger en
överdrivet positiv bild av sin personlighet. Alla skönmålar emellertid inte lika mycket. I
tidigare forskning har jag funnit att kvinnor som sökte chefsbefattningar svarade mera
uppriktigt än vad män gjorde, vilket i motsvarande mån missgynnade dem [1] .
Frågeställningen i denna rapport är om samma problem finns vid testning av invandrare.
Metod
Data för denna rapport har insamlats i skarpt läge av rekryteringsfirman Katapult, som
använder screeningmodulen av UPP-testet [3] . Detta är en förkortad version av testet som
mäter 5 personlighetsdimensioner samt tendensen till skönmålning. Alla
personlighetsvariablerna korrigeras för skönmålning med hjälp av en psykometrisk metodik
som beskrivs i [2] . Denna metodik har validerats både i experimentell forskning och med
hjälp av analyser av testdata från arbetssökande. De arbetssökande tog också ett
begåvningstest (analogitest).
Av de testade var 1372 av svensk härkomst, 250 utländska. De fördelade sig som sökande till
ett 50-tal olika jobb. Ålder registrerades inte i datafilen. Sextiofyra procent var kvinnor.
Resultat
I Tabell 1 ges reliabilitetsdata för de fem personlighetsvariablerna samt måttet på
skönmålning.
Tabell 1. Reliabiliteter (alfa-värden) för personlighetsvariablerna, samt korrelation med
tendensen till skönmålning.
Svensk härkomst
Utländsk härkomst
Skönmålning
Reliabilitet
Korrelation med Reliabilitet
Korrelation med
tendensen till
tendensen till
skönmålning
skönmålning
Utåtvändhet
0.74
0.35
0.82
0.39
Uthållighet
0.65
0.48
0.61
0.53
Samarbetsvilja
0.73
0.58
0.75
0.56
Positiv
0.77
0.50
0.72
0.52
grundhållning
Kreativitet
0.67
0.18
0.63
0.14
Skönmålning
0.63
0.65
-
Tabellen visar att reliabiliteterna var tillfredsställande och på samma nivå i båda grupperna.
Den visar också att relationen till skönmålning var av samma storleksordning i båda
grupperna, medan den varierade mellan personlighetsvariablerna. Detta är ett vanligt resultat
[3] och ett skäl till att korrektionen för skönmålning måste anpassas särskilt för varje
personlighetsvariabel.
Alla skalor har standardiserats till medelvärde=5 och standardavvikelse=2. Medelvärdet i
skönmålning var 4.77 för invandrare och 5.05 för dem med svensk härkomst. Skillnaden var
statistiskt signifikant: t=2.04, p=0.043.
2
I figurerna 1-5 visas medelvärden i personlighetsvariablerna före och efter korrektion för
skönmålning. Figur 1 ger resultaten för utåtvändhet.
Utåtvändhet
5,2
5,1
Invandrare
Svensk härkomst
5,0
4,9
4,8
4,7
4,6
Ej korrigerade data
Korrigerade data
Figur 1. Medelvärden i utåtvändhet före och efter korrektion för skönmålning.
I okorrigerade data fanns ingen skillnad mellan grupperna i utåtvändhet medan
invandrargruppens medelvärde var högst efter korrektion för skönmålning.
Figur 2 ger resultaten för kreativitet.
3
Kreativitet
Invandrare
Svensk härkomst
5,2
5,0
4,8
4,6
Ej korrigerade data
Korrigerade data
Figur 2. Medelvärden i kreativitet före och efter korrektion för skönmålning.
Figuren visar ett högre värde i kreativitet för invandrarna än för övriga, en skillnad som blev
större efter korrektion för skönmålning.
Resultaten för samarbetsvilja ges i figur 3.
Samarbetsvilja
5,2
Invandrare
Svensk härkomst
5,1
5,0
4,9
4,8
4,7
4,6
Ej korrigerade data
Korrigerade data
Figur 3. Medelvärden i samarbetsvilja före och efter korrektion för skönmålning.
4
Figuren visar ett lägre värde i samarbetsvilja för invandrarna men skillnaden mellan
grupperna minskade betydligt efter korrektion för skönmålning.
Figur 4 ger resultaten för uthållighet.
Uthållighet
5,2
Invandrare
Svensk härkomst
5,1
5,0
4,9
4,8
4,7
4,6
Ej korrigerade data
Korrigerade data
Figur 4. Medelvärden i uthållighet före och efter korrektion för skönmålning.
Figuren visar en nackdel för invandrarna med avseende på uthållighet i okorrigerade data men
den eliminerades efter korrektion för skönmålning.
Resultaten för positiv attityd ges i figur 5.
5
Positiv attityd
5,2
5,1
Invandrare
Svensk härkomst
5,0
4,9
4,8
4,7
4,6
Ej korrigerade data
Korrigerade data
Figur 5. Medelvärden i positiv hållning före och efter korrektion för skönmålning.
Invandrarna uppvisade en mera positiv hållning. Tendensen var speciellt tydlig efter
korrektion för skönmålning.
Skillnaderna mellan okorrigerade och korrigerade värden var tydliga och trenden
genomgående densamma: invandrarna gynnades av korrektionen för skönmålning. Effekterna
var emellertid små när de studerades på medelvärdesnivå. Frågan är hur mycket de betydde
för rangordningen av enskilda individer.
För att besvara den frågan rangordnades varje personlighetsvariabel före och efter korrektion
för skönmålning. Varje persons rangordningstal bestämdes och skillnaden beräknades mellan
hans eller hennes rangtal före och efter korrektionen. En positiv skillnad betyder att personen
fick ett högre värde i rangordningen medan en negativ skillnad betydde att han eller hon
förlorade i rangordningen. Tabell 2 visar de genomsnittliga rangförändringarna.
Tabell 2. Genomsnittliga förändringar i rangordningen efter korrektion för skönmålning.
Personlighetsvariabel
Svensk härkomst
Invandrare
Utåtvändhet
-4.6
29.3
Uthållighet
-5.1
27.7
Samarbetsvilja
-5.5
39.3
Positiv grundhållning
-6.5
35.4
Kreativitet
-1.4
9.1
Medelvärde
-4.6
28.2
Även i dessa analyser är trenden tydlig och genomgående densamma. Att skillnaden i
rangplacering är relativt liten i kreativitetsvariabeln beror troligen på att sambandet mellan
den variabeln och skönmålning var ganska svagt.
6
Man kan diskutera hur viktiga dessa effekter är. För den som söker ett arbete, eller är
angelägen om mångfald, är emellertid en förändring i rangplacering med ca 30 steg knappast
en ointressant effekt.
Ännu en analys tar speciell hänsyn till extrema effekter av korrektionen för skönmålning.
Eftersom det var många sökande till varje jobb 2 är extremgruppen särskilt intressant. De 2 %
som visade den största förbättringen i sin genomsnittliga rangplacering efter korrektion
studerades särskilt. Chansen till en rangförändring bland de 2 % mest fördelaktiga
förändringarna var dubbelt så stor för invandrarna (3.2 %) som för övriga (1.6 %). Det
innebär troligen en kraftig förbättring av chanserna att få det sökta jobbet, om testresultatet
spelar stor roll i processen.
Begåvningstestning
Begåvnings- eller färdighetstest (eng. ability) är viktiga i urvalssammanhang eftersom de
brukar ha höga samband med viktiga kriterier, mått på arbetsinsats. Många sådana test är
ganska högt laddade i den verbala faktorn vilket kan tänkas vara till nackdel för dem som inte
har svenska som modersmål.
Ett analogitest med 19 uppgifter kom till användning i Katapults rekryteringsplattform. I
gruppen med svensk härkomst var reliabiliteten (alfa) 0.70, bland invandrarna något lägre,
0.66, men fortfarande acceptabel. Skillnaden i resultat mellan de två grupperna var emellertid
stor, se Figur 6. Mätt som d-värde var skillnaden 0.38, t=5.68, p<0.0005.
Verbal förmåga (analogitestet)
5,2
5,0
4,8
4,6
4,4
Invandrare
Svensk härkomst
Figur 6. Medelvärden i analogitestet för invandrare och jobbsökande med svensk härkomst.
2
Ca 40 sökande/jobb, i genomsnitt.
7
Tabell 3 visar korrelationerna mellan begåvningstestet och personlighetsvariablerna.
Tabell 3. Korrelationer mellan analogitestet och personlighetsvariablerna
Personlighetsvariabel
Svensk härkomst
Invandrare
Utåtvändhet
0.067
0.083
Uthållighet
-0.017
-0.055
Samarbetsvilja
0.179
0.158
Positiv grundhållning
-0.018
-0.018
Kreativitet
0.064
0.028
Skönmålning
0.070
0.040
Sambanden var alltså mycket svaga mellan begåvningstestet och personlighetsvariablerna,
vilket stämmer bra med tidigare forskning [3] .
Jag har vägt samman testresultaten i alla fem personlighetsvariablerna och rangrodnat de
sökande efter den rangordningen. Resultatet på begåvningstestet slogs därefter samman med
den sammanlagda personlighetspoängen – med lika vikter – och en ny rangordning skapades.
Skillnaden mellan de två rangordningarna framgår av Tabell 4.
Tabell 4. Genomsnittliga förändringar i rangordningen efter det att personlighetsvariablerna
kompletterats med resultat av begåvningstestet.
Svensk härkomst
Invandrare
Skillnad i rangplacering
+35.8
-103.9
Tabellen visar att invandrarna hade en betydande stor nackdel av att begåvningstestet
räknades in i slutresultatet. Skillnaden mellan invandrare och övriga i rangförskjutning var till
storleken avsevärd, d=0.34, och starkt signifikant, t=5.68, p<0.0005.
Slutsatser
UPP-testets screeningmodul fungerade bra för båda grupperna. Data på reliabilitet och
korrelation med skönmålning var mycket likartade. Arbetssökande med svensk härkomst
skönmålade mera än invandrarna.
Vid analyser av data efter korrektion för skönmålning framkom att invandrarna hade ett värde
i personlighetsvariablerna som i 3 fall av 5 var större än värdet för testade av svensk
härkomst. I de två övriga fallen hade skillnaden minskats mellan grupperna till följd av
korrektionen för skönmålning.
Den metod som används i UPP-testet för korrektion för skönmålning är väl etablerad och har
visat sig fungera i tidigare forskning. Också i de data som analyseras här är det tydligt att
metoden har de förväntade egenskaperna.
Slutsats: när personlighetstest används som en del av underlaget för anställningsbeslut
missgynnas troligen invandrare om korrektion för skönmålning inte görs.
8
Det finns andra försök att motverka effekterna av skönmålning [2] . Problemet är att de inte
tar hänsyn till att olika personlighetsvariabler kräver olika modeller för korrektion. Ett annat
problem är att de oftast använder s.k. lögnskalor som lätt genomskådas av dem som testas.
UPP-testets screeningmodul använder en indirekt skala för att mäta skönmålning som torde
vara mycket svår att genomskåda för den som testas.
Ett verbalt begåvningstest (analogitest) visade sig ha acceptabla psykometriska egenskaper i
båda grupperna och mycket svaga korrelationer med personlighetsegenskaperna. Invandrarnas
resultat på detta test var betydligt sämre än för dem med svensk härkomst, vilket ju kunde ha
förväntats med tanke på de senares troligen bättre kunskaper i svenska. Om hänsyn inte tas till
språkfaktorn kommer invandrarna att missgynnas genom att ett sådant test ingår i underlaget.
En lösning är att utvärdera deras resultat i förhållande till normdata insamlade just för att
passa denna grupp. En annan lösning är att gå över till ett icke-verbalt test på g-faktorn.
Referenser
[1]. Sjöberg, L. (2005). Självskattningstest: Den som ljuger fräckast vinner? Personal och
Ledarskap, 36(6), 22-25.
[2]. Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Stockholm: Psykologisk
Metod AB.
[3]. Sjöberg, L. (2010). Manual för UPP-testet. Stockholm: Psykologisk Metod AB.
9