Transcript Voorbeeld 2: preventie alcoholgebruik jongeren (5)
Slide 1
26 september 2014
AUV – NOSMO Symposium
complexe maatschappelijke problemen
Evalueren van natuurlijke experimenten in
de volksgezondheid
Anton Kunst
Afdeling Sociale Geneeskunde
AMC
Universiteit van Amsterdam
[email protected]
Slide 2
Inleiding (1) Maatschappij en gezondheid
• Inrichting van onze maatschappij heeft veel invloed op
gezondheid
• Blijkt uit
– Grote verschillen in gezondheid tussen landen
– Grote verschilen in gezondheid binnen landen
Slide 3
Verschillen in gezondheid in relatie tot inkomen
Slide 4
Inleiding (2) Maatschappij als medicijn?
• Verwachting: verbetering in leefsituatie leidt tot
verbetering van gezondheid
• “Evidence-based medicine” vraagt om toetsing van deze
verwachting in experimenteel onderzoek
• Maar: RCT’s bijzonder lastig
Slide 5
Inleiding (3) is méér inkomen een goed medicijn?
• RCT praktisch onmogelijk (te duur)
• Postcodeloterij is een benadering
• Is RCT mogelijk van collectieve maatregelen?
(bijv verandering t.a.v. bijstandsuitkering)
• Aangewezen op ‘natuurlijke experimenten’
Slide 6
Inleiding (4) doelstelling
• Bespreken van evaluaties van ‘natuurlijke experimenten’
om te onderzoeken of volksgezondheid verbetert
bij ‘collectief beleid’ gericht op leefomstandigheden
• Drie voorbeelden en één conclusie
Slide 7
Voorbeeld 1. Optimaal design
verruiming openingstijden horeca Amsterdam
• Op 1 April 2009
Verruiming van openingstijden voor horeca rondom
Rembrandtplein en Leidseplein in Amsterdam
1 uur extra alcohol schenken + 1 ‘cool down hour’
• Flankerend beleid, zoals extra politietoezicht
• Leidde dit tot een af- of toename van het aantal alcoholgerelateerde incidenten?
Slide 8
Hot spots van alcoholincidenten, 2006-2011
Slide 9
Aantal incidenten/maand, 2006-2011
Slide 10
Trendbreuk? Regressie-analyse
25
Number of incidents
20
15
Control areas
Intervention areas
Control areas
10
Intervention areas
5
0
2006
2007
2008
2009
Year
2010
2011
Slide 11
% toename in het aantal incidenten in
Pleingebieden per 1 april 2009
• Alle incidenten
36%
• Naar tijdstip
- van 18-22 uur
- van 22-02 uur
- van 02-06 uur
0%
4%
49%
• Naar bestemming
- ziekenhuis
- elders
37%
40%
Slide 12
Voorbeeld 1. Optimaal design
Conclusies over openingstijden horeca
• Zoals uitgevoerd in Amsterdam 2009, leidt verruiming van
openingtijden tot ongeveer 35% meer incidenten
• De paar studies over dit onderwerp in het buitenland
komen tot vergelijkbare schattingen (circa 25%)
• Geeft reden voor publieke gezondheidszorg om zich met
een dergelijke beleidsmaatregel te bemoeien
Slide 13
Voorbeeld 1. Optimaal design
Conclusies over methode
• “Natuurlijk experiment” kan vrijwel probleemloos worden
geëvalueerd, dankzij
– Relatief eenvoudige interventie & effect
– Populatiegegevens beschikbaar en vergelijkbaar
(voor- & nameting; case & control)
Slide 14
Voorbeeld 2: preventie van alcoholgebruik door
jongeren (1)
• In gemeenten kunnen verschillende maatregelen worden
genomen om alcoholmisbruik te verminderen
– Meer voorlichting (jongeren, ouders, scholen)
– Meer regelgeving (sportvereningen, horeca, overig)
– Betere handhaving
• Vaak kan dit alleen in samenwerking met andere sectoren
en externe actoren
Slide 15
Voorbeeld 2: preventie alcoholgebruik jongeren (2)
werkt het?
• In weteschappelijke literatuur veel “evidence” over
werkzaamheid van de verschillende soorten activiteiten
• Maar hoe werkt het totaalpakket aan beleid? Hoe veel
effecten? Wat is daarin belangrijkst?
• Wij beantwoordden die vragen door een vergelijkende
evaluatie van circa 65 Brabantse gemeenten
Slide 16
Voorbeeld 2: preventie alcoholgebruik jongeren (3)
methoden
• Gebruik van Jeugdmonitor Brabant in 2007 en 2011
• Circa 65 gemeenten in Brabant ingedeeld naar soort
beleid
• Sterkere afname alcoholgebruik in gemeenten met meer
‘integraal ’ beleid?
Slide 17
Ontwikkeling in alcoholgebruik van 12-15 jarigen
in Brabantse gemeenten met een ‘sterk’ versus
‘zwak’ geïntegreerd preventiebeleid
Binge drinken: ≥5 glazen op 1 moment
Veel drinken: ≥5 glazen per week
INSTRUMENTEN
INSTRUMENTEN
zwak
zwak
2007
2011
gemiddeld
gemiddeld
sterk
sterk
0
5
10
15
20
Prevalentie (%)
25
30
0
5
10
15
Prevalentie (%)
20
Slide 18
Voorbeeld 2: preventie alcoholgebruik jongeren (4)
van uitkomst terug naar proces
• Hoe kwamen de positieve effecten tot stand?
Wat zijn de lessen voor de praktijk?
• Vergelijking van 6 “case” gemeenten (met sterker afname
alcohol) en 4 “controle gemeenten (geen afname)
• Semi-gestructureerde interviews met GGD
beleidsmedewerkers
Slide 19
Hoe kwam een sterkere daling van alcoholgebruik tot stand
in de “case” gemeenten?
Slide 20
Voorbeeld 2: preventie alcoholgebruik jongeren (5)
inhoudelijke conclusies
• Een sterker geïntegreerd beleid kan een verschil maken
• In geval van Brabant: een sterkere daling van
alcoholgebruik onder jongeren tot 16 jaar
• Doorslaggevend was de sector-brede steun voor een
krachtiger beleid
Slide 21
Voorbeeld 2: preventie alcoholgebruik jongeren (5)
conclusies over methode
• Evaluatie van “impact” uitbreiden tot een evaluatie van
“proces”
– Check op plausibiliteit
– Ontwikkelen van verklaringen en aanbevelingen
Slide 22
Voorbeeld 3. Experimenten buiten de zorg (1)
• Evaluaties ook nodig van beleid ter verbetering van
leefsituatie van mensen
• Veel aandacht voor directe leefomgeving van inwoners
van achterstandswijken
Slide 23
Sociale
cohesie,
netwerken
Kwaliteit
woningvoorraad
Kwaliteit
openbare
ruimte
Kansen op
werk en
opleiding
Overlast,
onveiligheid
Sociale
normen &
druk
Slide 24
Voorbeeld 3. Experimenten buiten de zorg (2)
De Wijkenaanpak
• Wijkenaanpak ingezet onder minister Vogelaar in 2006,
en uitgevoerd vanaf medio 2008
• Doel: leefsituatie en sociale positie
– wonen, werken, leren, integreren en veiligheid –
van mensen in 40 aandachtswijken verbeteren
• URBAN40 onderzoek:
worden verbeteringen in leefsituatie en sociale positie
gevolgd door verbeteringen in gezondheid van bewoners?
Slide 25
Voorbeeld 3. Experimenten buiten de zorg (3)
Methoden van evaluatie
• Gegevens: POLS surveys 2003-2011
Uitkomstvariabelen:
- lichamelijke activiteit
- mentale gezondheid
- algemeen ervaren gezondheid
• Analyse volgens quasi-experimenteel design
- Voor- en nameting (2003-2008 vs. 2008-2011)
- Interventie- en controle-gebieden (bijv PSM methode)
Slide 26
Trends in % bewoners met goede mentale
gezondheid
Nederland
geheel
Controlewijken
Aandachtswijken
Slide 27
Trends in % bewoners dat wandelt
Aandachtswijken
Nederland
Slide 28
Effect van wijkenaanpak op wandelen?
Trends in aandachtswijken:
- tot 2008:
-0.04
- na 2008:
+0.11
verschil: +0.15
Trends in rest Nederland
- tot 2008:
-0.01
- na 2008:
+0.02
Verschil
verschil: +0.03
+0.12
(95% betrouwbaarheidsinterval) (+0.02; +0.22)
Slide 29
Waardoor gaan inwoners vaker wandelen na een
wijkverbetering? Resultaten van literatuurstudie
•Vooral dankzij
– Meer veiligheid
– Mooiere omgeving
– Betere wandelmogelijkheden
•En veel minder door
– Méér wandelmogelijkheden
– Meer sociale cohesie in de buurt
Slide 30
Voorbeeld 3. Experimenten buiten de zorg (4)
Conclusies over de Wijkenaanpak
•Investeren in wijken =
investeren in de gezondheid van bewoners
•Effecten mogen vooral worden verwacht op
lichamelijke activiteit en geestelijke gezondheid
•Nader onderzoek nodig om te bepalen welke investeringen
het meeste opleveren
Slide 31
Voorbeeld 3. Experimenten buiten de zorg (5)
Oppassen voor fout-negatieve bevindingen!
•Beperkt aantal waarnemingen
•Vergelijkbare interventies in controlegebieden
•Korte follow-up duur
•Vertrek van ‘succesvolle’ bewoners
Geen bewijs voor een effect
≠
bewijs voor geen effect
Slide 32
Algemene conclusie
• Onderzoek naar “natuurlijke experimenten” is essentieel
voor volksgezondheid
• Toepassing van quasi-experimenteel design is vaak
mogelijk
• Vraagt inventief gebruik van beschikbare data op
populatieniveau
• Vaststellen van effect aanvullen met opsporen van
mechanismen
26 september 2014
AUV – NOSMO Symposium
complexe maatschappelijke problemen
Evalueren van natuurlijke experimenten in
de volksgezondheid
Anton Kunst
Afdeling Sociale Geneeskunde
AMC
Universiteit van Amsterdam
[email protected]
Slide 2
Inleiding (1) Maatschappij en gezondheid
• Inrichting van onze maatschappij heeft veel invloed op
gezondheid
• Blijkt uit
– Grote verschillen in gezondheid tussen landen
– Grote verschilen in gezondheid binnen landen
Slide 3
Verschillen in gezondheid in relatie tot inkomen
Slide 4
Inleiding (2) Maatschappij als medicijn?
• Verwachting: verbetering in leefsituatie leidt tot
verbetering van gezondheid
• “Evidence-based medicine” vraagt om toetsing van deze
verwachting in experimenteel onderzoek
• Maar: RCT’s bijzonder lastig
Slide 5
Inleiding (3) is méér inkomen een goed medicijn?
• RCT praktisch onmogelijk (te duur)
• Postcodeloterij is een benadering
• Is RCT mogelijk van collectieve maatregelen?
(bijv verandering t.a.v. bijstandsuitkering)
• Aangewezen op ‘natuurlijke experimenten’
Slide 6
Inleiding (4) doelstelling
• Bespreken van evaluaties van ‘natuurlijke experimenten’
om te onderzoeken of volksgezondheid verbetert
bij ‘collectief beleid’ gericht op leefomstandigheden
• Drie voorbeelden en één conclusie
Slide 7
Voorbeeld 1. Optimaal design
verruiming openingstijden horeca Amsterdam
• Op 1 April 2009
Verruiming van openingstijden voor horeca rondom
Rembrandtplein en Leidseplein in Amsterdam
1 uur extra alcohol schenken + 1 ‘cool down hour’
• Flankerend beleid, zoals extra politietoezicht
• Leidde dit tot een af- of toename van het aantal alcoholgerelateerde incidenten?
Slide 8
Hot spots van alcoholincidenten, 2006-2011
Slide 9
Aantal incidenten/maand, 2006-2011
Slide 10
Trendbreuk? Regressie-analyse
25
Number of incidents
20
15
Control areas
Intervention areas
Control areas
10
Intervention areas
5
0
2006
2007
2008
2009
Year
2010
2011
Slide 11
% toename in het aantal incidenten in
Pleingebieden per 1 april 2009
• Alle incidenten
36%
• Naar tijdstip
- van 18-22 uur
- van 22-02 uur
- van 02-06 uur
0%
4%
49%
• Naar bestemming
- ziekenhuis
- elders
37%
40%
Slide 12
Voorbeeld 1. Optimaal design
Conclusies over openingstijden horeca
• Zoals uitgevoerd in Amsterdam 2009, leidt verruiming van
openingtijden tot ongeveer 35% meer incidenten
• De paar studies over dit onderwerp in het buitenland
komen tot vergelijkbare schattingen (circa 25%)
• Geeft reden voor publieke gezondheidszorg om zich met
een dergelijke beleidsmaatregel te bemoeien
Slide 13
Voorbeeld 1. Optimaal design
Conclusies over methode
• “Natuurlijk experiment” kan vrijwel probleemloos worden
geëvalueerd, dankzij
– Relatief eenvoudige interventie & effect
– Populatiegegevens beschikbaar en vergelijkbaar
(voor- & nameting; case & control)
Slide 14
Voorbeeld 2: preventie van alcoholgebruik door
jongeren (1)
• In gemeenten kunnen verschillende maatregelen worden
genomen om alcoholmisbruik te verminderen
– Meer voorlichting (jongeren, ouders, scholen)
– Meer regelgeving (sportvereningen, horeca, overig)
– Betere handhaving
• Vaak kan dit alleen in samenwerking met andere sectoren
en externe actoren
Slide 15
Voorbeeld 2: preventie alcoholgebruik jongeren (2)
werkt het?
• In weteschappelijke literatuur veel “evidence” over
werkzaamheid van de verschillende soorten activiteiten
• Maar hoe werkt het totaalpakket aan beleid? Hoe veel
effecten? Wat is daarin belangrijkst?
• Wij beantwoordden die vragen door een vergelijkende
evaluatie van circa 65 Brabantse gemeenten
Slide 16
Voorbeeld 2: preventie alcoholgebruik jongeren (3)
methoden
• Gebruik van Jeugdmonitor Brabant in 2007 en 2011
• Circa 65 gemeenten in Brabant ingedeeld naar soort
beleid
• Sterkere afname alcoholgebruik in gemeenten met meer
‘integraal ’ beleid?
Slide 17
Ontwikkeling in alcoholgebruik van 12-15 jarigen
in Brabantse gemeenten met een ‘sterk’ versus
‘zwak’ geïntegreerd preventiebeleid
Binge drinken: ≥5 glazen op 1 moment
Veel drinken: ≥5 glazen per week
INSTRUMENTEN
INSTRUMENTEN
zwak
zwak
2007
2011
gemiddeld
gemiddeld
sterk
sterk
0
5
10
15
20
Prevalentie (%)
25
30
0
5
10
15
Prevalentie (%)
20
Slide 18
Voorbeeld 2: preventie alcoholgebruik jongeren (4)
van uitkomst terug naar proces
• Hoe kwamen de positieve effecten tot stand?
Wat zijn de lessen voor de praktijk?
• Vergelijking van 6 “case” gemeenten (met sterker afname
alcohol) en 4 “controle gemeenten (geen afname)
• Semi-gestructureerde interviews met GGD
beleidsmedewerkers
Slide 19
Hoe kwam een sterkere daling van alcoholgebruik tot stand
in de “case” gemeenten?
Slide 20
Voorbeeld 2: preventie alcoholgebruik jongeren (5)
inhoudelijke conclusies
• Een sterker geïntegreerd beleid kan een verschil maken
• In geval van Brabant: een sterkere daling van
alcoholgebruik onder jongeren tot 16 jaar
• Doorslaggevend was de sector-brede steun voor een
krachtiger beleid
Slide 21
Voorbeeld 2: preventie alcoholgebruik jongeren (5)
conclusies over methode
• Evaluatie van “impact” uitbreiden tot een evaluatie van
“proces”
– Check op plausibiliteit
– Ontwikkelen van verklaringen en aanbevelingen
Slide 22
Voorbeeld 3. Experimenten buiten de zorg (1)
• Evaluaties ook nodig van beleid ter verbetering van
leefsituatie van mensen
• Veel aandacht voor directe leefomgeving van inwoners
van achterstandswijken
Slide 23
Sociale
cohesie,
netwerken
Kwaliteit
woningvoorraad
Kwaliteit
openbare
ruimte
Kansen op
werk en
opleiding
Overlast,
onveiligheid
Sociale
normen &
druk
Slide 24
Voorbeeld 3. Experimenten buiten de zorg (2)
De Wijkenaanpak
• Wijkenaanpak ingezet onder minister Vogelaar in 2006,
en uitgevoerd vanaf medio 2008
• Doel: leefsituatie en sociale positie
– wonen, werken, leren, integreren en veiligheid –
van mensen in 40 aandachtswijken verbeteren
• URBAN40 onderzoek:
worden verbeteringen in leefsituatie en sociale positie
gevolgd door verbeteringen in gezondheid van bewoners?
Slide 25
Voorbeeld 3. Experimenten buiten de zorg (3)
Methoden van evaluatie
• Gegevens: POLS surveys 2003-2011
Uitkomstvariabelen:
- lichamelijke activiteit
- mentale gezondheid
- algemeen ervaren gezondheid
• Analyse volgens quasi-experimenteel design
- Voor- en nameting (2003-2008 vs. 2008-2011)
- Interventie- en controle-gebieden (bijv PSM methode)
Slide 26
Trends in % bewoners met goede mentale
gezondheid
Nederland
geheel
Controlewijken
Aandachtswijken
Slide 27
Trends in % bewoners dat wandelt
Aandachtswijken
Nederland
Slide 28
Effect van wijkenaanpak op wandelen?
Trends in aandachtswijken:
- tot 2008:
-0.04
- na 2008:
+0.11
verschil: +0.15
Trends in rest Nederland
- tot 2008:
-0.01
- na 2008:
+0.02
Verschil
verschil: +0.03
+0.12
(95% betrouwbaarheidsinterval) (+0.02; +0.22)
Slide 29
Waardoor gaan inwoners vaker wandelen na een
wijkverbetering? Resultaten van literatuurstudie
•Vooral dankzij
– Meer veiligheid
– Mooiere omgeving
– Betere wandelmogelijkheden
•En veel minder door
– Méér wandelmogelijkheden
– Meer sociale cohesie in de buurt
Slide 30
Voorbeeld 3. Experimenten buiten de zorg (4)
Conclusies over de Wijkenaanpak
•Investeren in wijken =
investeren in de gezondheid van bewoners
•Effecten mogen vooral worden verwacht op
lichamelijke activiteit en geestelijke gezondheid
•Nader onderzoek nodig om te bepalen welke investeringen
het meeste opleveren
Slide 31
Voorbeeld 3. Experimenten buiten de zorg (5)
Oppassen voor fout-negatieve bevindingen!
•Beperkt aantal waarnemingen
•Vergelijkbare interventies in controlegebieden
•Korte follow-up duur
•Vertrek van ‘succesvolle’ bewoners
Geen bewijs voor een effect
≠
bewijs voor geen effect
Slide 32
Algemene conclusie
• Onderzoek naar “natuurlijke experimenten” is essentieel
voor volksgezondheid
• Toepassing van quasi-experimenteel design is vaak
mogelijk
• Vraagt inventief gebruik van beschikbare data op
populatieniveau
• Vaststellen van effect aanvullen met opsporen van
mechanismen