Transcript Je ziet niet wat je ziet Selectievertekening in de meting van
Slide 1
Je ziet niet wat je ziet
Selectievertekening in de meting van
onderwijsongelijkheid en
-effectiviteit
Ides Nicaise
Anna D’Addio
Steven Groenez
(HIVA, K.U.Leuven / Steunpunt LOA)
Slide 2
Onderwijs produceert… èn selecteert
Voorbeeld 1: dalende schoolse vertraging
50%
40%
30%
ge e n / LO
LSO
20%
10%
0%
HS
O
HO
1
2
3
4
5
6
naar diploma moeder
© HIVA
Slide 3
Onderwijs produceert… èn selecteert
Voorbeeld 2: hoger onderwijs meest democratisch?
80
70
60
50
40
30
20
10
0
% normale
doorstroming na
1e jaar hoger
onderwijs, naar
diploma moeder
% normale doorstr.
moeder LO
moeder HSO
© HIVA
moeder LSO
moeder HO
Slide 4
Correctie voor selectieve uitval
vergelijkbare problemen in economie
Heckman model:
schatten van verband
tussen loon en
onderwijsniveau,
wetend dat er een
selectieve (niet-)
deelname is aan de
arbeidsmarkt
wages
‘ true’ regression line
OLS regr.
line
reservation
wage
human capital
© HIVA
Slide 5
De ‘truuk’
Maak gebruik van
– de invloed van geobserveerde individuele
kenmerken van degenen die wel in de
steekproef blijven
– de correlatie tussen de storingstermen in de
kans op blijven en de uitkomstenfunctie
om de (niet-observeerbare) uitkomsten te
voorspellen voor de ‘uitvallers’
Bereken vervolgens de gemiddelde
uitkomsten voor iedereen
Slide 6
Correctie voor selectieve uitval
Methode
• Equatie 1:
P{vertraging eind 6e leerjaar LO | kind
heeft 6e leerjaar beëindigd in gewoon LO}
= f (sociale achtergrond) + ε1
• Equatie 2:
P{uitval vóór eind 6e leerjaar LO}
= f (sociale achtergrond) + ε2
Waarbij ε1 en ε2 mogelijk gecorreleerd zijn
ofwel tweetrapsregressie
ofwel simultane schatting
Slide 7
Schattingsresultaten Heckman-model
(6e leerjaar lager onderwijs)
lo g it
lo g it
Pr ( a rre a r)
Pr ( d e g re e )
lo w e r se c o n d a ry
- 0 .3 5 2 4
0 .2 9 5 6
u p p e r se c o n d a ry
- 0 .3 7 5 9
0 .8 0 7 6 *
- 1 .2 1 7 0 * *
1 .4 6 8 5 * *
Fa th e r in p a id w o rk
0 .1 3 4 9
0 .7 1 7 9 *
M o th e r in p a id w o rk
- 0 .4 3 8 1 *
0 .2 4 2 9
Tw o - p a re n t fa m ily
- 1 .0 4 0 3 *
1 .0 0 9 9 * *
A b se n c e fo r h e a lth re a so n s:in p a st 3 m o n th s ( d u m m y )
- 0 .0 0 9 0
0 .0 7 1 1
D ista n c e h o m e / sc h o o l in k m
- 0 .0 0 0 8
C o n tro llin g fo r m issin g v a lu e s in th e d ista n c e
- 0 .3 6 1 9
Ed u c . le v e l o f h o u se h o ld h e a d ( p rim a ry = re f.)
te rtia ry
N a tu io n a lity
- 0 .3 3 2 0
G e n d e r ( 1 = g irl)
- 0 .4 6 5 8 *
A g e c o h o rt e ffe c t ( le ss th a n 1 2 )
1 .9 0 0 9 * *
In te rc e p t
0 .6 3 3 7
- 2 .2 1 3 0 * *
- .2 7 7 5
Slide 8
Vertekening in kans op vertraging
(6e leerjaar lager onderwijs)
waargenomen
35,0%
Kans op vertraging
Waargenomen /
werkelijke kans
op vertraging bij
einde 6e lj. naar
onderwijsniveau
gezinshoofd
voorspeld
30,0%
25,0%
20,0%
15,0%
10,0%
5,0%
0,0%
≤ lager ond
lager sec.
hoger sec.
hoger
Onderwijsniveau gezinshoofd
© HIVA
Slide 9
Schattingsresultaten Heckman model
(6e leerjaar secundair onderwijs)
lo g it Pr
lo g it Pr
( a rre a r)
( g ra d u a tio n )
lo w e r se c o n d a ry
- 0 .1 7 7 4
0 .0 8 0 6
u p p e r se c o n d a ry
- 0 .3 4 9 0
0 .2 4 9 5
te rtia ry
- 0 .4 2 1 7
0 .9 1 4 7 *
Fa th e r in p a id w o rk
- 0 .4 0 6 1
0 .0 6 4 4
C o n tro l fo r m issin g v a lu e s in Fa th e r’s a c tiv ity sta tu s
0 .2 3 2 3
- 0 .8 9 5 2
M o th e r in p a id w o rk
- 0 .0 8 8 1
0 .0 1 0 6
C h ro n ic illn e ss
1 .0 2 0 0 * *
- 0 .4 3 9 3
G e n d e r ( 1 = g irl)
0 .3 4 3 5 *
- 0 .3 1 5 0
Ed u c a tio n le v e l o f h o u se h o ld h e a d ( p rim a ry = re f.)
Em p lo y m e n t ( w o rk in g 1 5 h o u rs o r m o re p e r w e e k )
- 2 .0 5 9 9 * *
Tw o - p a re n t h o u se h o ld
In te rc e p t
rh o
- 0 .4 1 4 1
0 .1 0 4 9
1 .9 2 3 5 * *
- .3 1 6 9
Slide 10
Vertekening in kans op vertraging
(6e leerjaar secundair onderwijs)
w aargenomen
60,0%
Kans op vertraging
Waargenomen /
werkelijke kans
op vertraging bij
einde 6e lj. naar
onderwijsniveau
gezinshoofd
voorspeld
50,0%
40,0%
30,0%
20,0%
10,0%
0,0%
≤ lager
lager sec.
hoger sec.
hoger
Onderwijsniveau gezinshoofd
© HIVA
Slide 11
Besluit
• Het onderwijs produceert én selecteert. Bij
meting van (wijziging in) output moet je
rekening houden met (wijziging in)
selectiviteit
• Selectieve uitval is sterk sociaal bepaald.
Daardoor wordt sociale ongelijkheid in
onderwijs onderschat
• Dit alles kan ernstige gevolgen hebben voor
de validiteit van onderzoeksresultaten… en
daarop gebaseerde beleidsopties !
Je ziet niet wat je ziet
Selectievertekening in de meting van
onderwijsongelijkheid en
-effectiviteit
Ides Nicaise
Anna D’Addio
Steven Groenez
(HIVA, K.U.Leuven / Steunpunt LOA)
Slide 2
Onderwijs produceert… èn selecteert
Voorbeeld 1: dalende schoolse vertraging
50%
40%
30%
ge e n / LO
LSO
20%
10%
0%
HS
O
HO
1
2
3
4
5
6
naar diploma moeder
© HIVA
Slide 3
Onderwijs produceert… èn selecteert
Voorbeeld 2: hoger onderwijs meest democratisch?
80
70
60
50
40
30
20
10
0
% normale
doorstroming na
1e jaar hoger
onderwijs, naar
diploma moeder
% normale doorstr.
moeder LO
moeder HSO
© HIVA
moeder LSO
moeder HO
Slide 4
Correctie voor selectieve uitval
vergelijkbare problemen in economie
Heckman model:
schatten van verband
tussen loon en
onderwijsniveau,
wetend dat er een
selectieve (niet-)
deelname is aan de
arbeidsmarkt
wages
‘ true’ regression line
OLS regr.
line
reservation
wage
human capital
© HIVA
Slide 5
De ‘truuk’
Maak gebruik van
– de invloed van geobserveerde individuele
kenmerken van degenen die wel in de
steekproef blijven
– de correlatie tussen de storingstermen in de
kans op blijven en de uitkomstenfunctie
om de (niet-observeerbare) uitkomsten te
voorspellen voor de ‘uitvallers’
Bereken vervolgens de gemiddelde
uitkomsten voor iedereen
Slide 6
Correctie voor selectieve uitval
Methode
• Equatie 1:
P{vertraging eind 6e leerjaar LO | kind
heeft 6e leerjaar beëindigd in gewoon LO}
= f (sociale achtergrond) + ε1
• Equatie 2:
P{uitval vóór eind 6e leerjaar LO}
= f (sociale achtergrond) + ε2
Waarbij ε1 en ε2 mogelijk gecorreleerd zijn
ofwel tweetrapsregressie
ofwel simultane schatting
Slide 7
Schattingsresultaten Heckman-model
(6e leerjaar lager onderwijs)
lo g it
lo g it
Pr ( a rre a r)
Pr ( d e g re e )
lo w e r se c o n d a ry
- 0 .3 5 2 4
0 .2 9 5 6
u p p e r se c o n d a ry
- 0 .3 7 5 9
0 .8 0 7 6 *
- 1 .2 1 7 0 * *
1 .4 6 8 5 * *
Fa th e r in p a id w o rk
0 .1 3 4 9
0 .7 1 7 9 *
M o th e r in p a id w o rk
- 0 .4 3 8 1 *
0 .2 4 2 9
Tw o - p a re n t fa m ily
- 1 .0 4 0 3 *
1 .0 0 9 9 * *
A b se n c e fo r h e a lth re a so n s:in p a st 3 m o n th s ( d u m m y )
- 0 .0 0 9 0
0 .0 7 1 1
D ista n c e h o m e / sc h o o l in k m
- 0 .0 0 0 8
C o n tro llin g fo r m issin g v a lu e s in th e d ista n c e
- 0 .3 6 1 9
Ed u c . le v e l o f h o u se h o ld h e a d ( p rim a ry = re f.)
te rtia ry
N a tu io n a lity
- 0 .3 3 2 0
G e n d e r ( 1 = g irl)
- 0 .4 6 5 8 *
A g e c o h o rt e ffe c t ( le ss th a n 1 2 )
1 .9 0 0 9 * *
In te rc e p t
0 .6 3 3 7
- 2 .2 1 3 0 * *
- .2 7 7 5
Slide 8
Vertekening in kans op vertraging
(6e leerjaar lager onderwijs)
waargenomen
35,0%
Kans op vertraging
Waargenomen /
werkelijke kans
op vertraging bij
einde 6e lj. naar
onderwijsniveau
gezinshoofd
voorspeld
30,0%
25,0%
20,0%
15,0%
10,0%
5,0%
0,0%
≤ lager ond
lager sec.
hoger sec.
hoger
Onderwijsniveau gezinshoofd
© HIVA
Slide 9
Schattingsresultaten Heckman model
(6e leerjaar secundair onderwijs)
lo g it Pr
lo g it Pr
( a rre a r)
( g ra d u a tio n )
lo w e r se c o n d a ry
- 0 .1 7 7 4
0 .0 8 0 6
u p p e r se c o n d a ry
- 0 .3 4 9 0
0 .2 4 9 5
te rtia ry
- 0 .4 2 1 7
0 .9 1 4 7 *
Fa th e r in p a id w o rk
- 0 .4 0 6 1
0 .0 6 4 4
C o n tro l fo r m issin g v a lu e s in Fa th e r’s a c tiv ity sta tu s
0 .2 3 2 3
- 0 .8 9 5 2
M o th e r in p a id w o rk
- 0 .0 8 8 1
0 .0 1 0 6
C h ro n ic illn e ss
1 .0 2 0 0 * *
- 0 .4 3 9 3
G e n d e r ( 1 = g irl)
0 .3 4 3 5 *
- 0 .3 1 5 0
Ed u c a tio n le v e l o f h o u se h o ld h e a d ( p rim a ry = re f.)
Em p lo y m e n t ( w o rk in g 1 5 h o u rs o r m o re p e r w e e k )
- 2 .0 5 9 9 * *
Tw o - p a re n t h o u se h o ld
In te rc e p t
rh o
- 0 .4 1 4 1
0 .1 0 4 9
1 .9 2 3 5 * *
- .3 1 6 9
Slide 10
Vertekening in kans op vertraging
(6e leerjaar secundair onderwijs)
w aargenomen
60,0%
Kans op vertraging
Waargenomen /
werkelijke kans
op vertraging bij
einde 6e lj. naar
onderwijsniveau
gezinshoofd
voorspeld
50,0%
40,0%
30,0%
20,0%
10,0%
0,0%
≤ lager
lager sec.
hoger sec.
hoger
Onderwijsniveau gezinshoofd
© HIVA
Slide 11
Besluit
• Het onderwijs produceert én selecteert. Bij
meting van (wijziging in) output moet je
rekening houden met (wijziging in)
selectiviteit
• Selectieve uitval is sterk sociaal bepaald.
Daardoor wordt sociale ongelijkheid in
onderwijs onderschat
• Dit alles kan ernstige gevolgen hebben voor
de validiteit van onderzoeksresultaten… en
daarop gebaseerde beleidsopties !