= = = = =

Zicht op effectiviteit Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg Deel 1 Projectgroep Zicht op effectiviteit

=

= ©2006 NIZW / Praktikon / Ministerie van VWS Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming. Redactie Tom van Yperen (NIZW Jeugd) Jan Willem Veerman (Praktikon) Projectgroep Deze uitgave maakt deel uit van het project ´Zicht op effectiviteit´, dat wordt uitgevoerd door een projectgroep, bestaand uit: Jan Willem Veerman (Praktikon, projectleider en penvoerder) Tom van Yperen (NIZW Jeugd, projectleider) Bas Bijl (PI Research) Herma Ooms (Collegio) Dries Roosma (Jeugdzorg Drenthe). Financier Het project ‘Zicht op effectiviteit’ wordt in de periode 2005-2007 uitgevoerd met subsidie van het ministerie van VWS. Deze publicatie is een nulversie. Het document is te downloaden via de website www.jeugdinterventies.nl

. Reacties op de tekst zijn te richten aan het onderstaand adres. De definitieve versie zal worden uitgegeven in 2007. Informatie over deze publicatie is te verkrijgen bij: NIZW Jeugd Postbus 19152 3501 DD Utrecht Telefoon (030) 230 63 53 Fax (030) 231 96 41 E-mail: [email protected]

=

Voorwoord

Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en het management van instellingen als bij locale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. Dat roept verschillende vragen op, zoals: Wat weten we al van de effectiviteit van interventies in de jeugdzorg? Wat verstaan we eigenlijk onder effectiviteit? Hoe kunnen we effectiviteit vaststellen? Hoe kunnen we gegevens over effectiviteit benutten voor verdere ontwikkeling en verantwoording? In dit Bronnenboek wordt op deze en andere vragen uitvoerig ingegaan. Het boek wil handreikingen en achtergronden bieden voor het zichtbaar maken van de effectiviteit van de jeugdzorg volgens een voor hulpverleners, managers, beleidsmakers en onderzoekers relevante, interessante en praktisch werkbare manier. Die manier wordt aangeduid met praktijkgestuurd effectonderzoek. In Deel I zal dit verder worden uitgelegd, maar uit de naamgeving wordt al duidelijk dat er twee invalshoeken zijn: praktijk en onderzoek. Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht mee te helpen vormgeven. Dit bronnenboek geeft een inleiding in praktijkgestuurd effectonderzoek. Geen kookboek of dwingend kader. Het is een bron van ideeën, werkwijzen, instrumenten en voorbeelden die te gebruiken zijn. Het maakt deel uit van een stroom van activiteiten die vanuit verschillende perspectieven in gang zijn gezet, maar toch een gemeenschappelijk doel kennen, namelijk de kwaliteit van de jeugdzorg op een hoger plan te brengen teneinde jeugdigen en hun gezinnen met opgroei- en opvoedproblemen de best mogelijk kansen op herstel te bieden. Het gaat bij deze stroom om door de landelijke en provinciale overheid ingezet beleid, door overkoepelende organisaties uitgedragen visies, kwaliteitstrajecten binnen instellingen, verdere professionalisering van beroepsgroepen, landelijke en regionale onderzoeksprogrammering ten aanzien van de zorg, opleiding van praktijkonderzoekers, methodiekontwikkelaars en kwaliteitsfunctionarissen, opbouw van databanken met gegevens over veelbelovende en effectieve interventies. De doelgroep van dit bronnenboek wordt gevormd door methodiekontwikkelaars, kwaliteitsfunctionarissen en praktijkonderzoekers. In het boek komen veel technische zaken aan bod. Deze worden zo uitgelegd, dat ze voor praktijkfunctionarissen goed te volgen en toe te passen zijn. Het boek wil een gereedschapskist voor hen zijn, met informatie die ze zonder al te veel moeite kunnen toepassen. Via literatuurtips worden zij voor verdere informatie op het goede spoor gezet. Het nu voorliggende deel I van het Bronnenboek heeft tot doel een kader te geven voor praktijkgestuurd effectonderzoek. In Hoofdstuk 1 wordt duidelijk gemaakt dat we inmiddels wel veel weten over de effectiviteit van jeugdzorginterventies, maar dat die kennis nog weinig relevantie heeft voor de praktijk van de jeugdzorg. Betoogd zal worden dat dit komt door een te nauwe definitie van effecten en te smalle opvatting over hoe die effecten het beste vastgesteld kunnen worden. Er worden verschillende niveaus van effectiviteit onderscheiden, 1

= die in een opklimmende reeks treden op een ladder vormen die van laag tot hoog steeds meer zekerheid over effectiviteit van jeugdzorginterventies laten zien. Bij de eerste twee niveaus gaat erom een interventie zo goed mogelijk te beschrijven en te onderbouwen. Interventies die aan deze eisen voldoen kunnen potentieel effectief, respectievelijk veelbelovend worden genoemd. Bij hoger niveaus gaat het er dat om daadwerkelijk te laten zien dat interventies ook gewenste uitkomsten bereiken en dat dit ook komt door de inzet van de interventie. Interventies die aan deze eisen voldoen kunnen doeltreffend of werkzaam worden genoemd. Instellingen en overheden kunnen met behulp van deze ladder overeenkomen welk niveau van effectiviteit het meest gewenst en realistisch om naar te streven. Dat niveau is geen statisch gegeven, er kunnen afspraken gemaakt worden om in een aantal jaren van lagere naar hogere niveaus te gaan. Dit geeft richting aan de verdere ontwikkeling van een effectieve jeugdzorgpraktijk, ook wel aangeduid met evidence-based practice. Praktijkgestuurd onderzoek wordt gezien als een noemer die een veelheid aan onderzoeksopzetten kan omvatten om onderzoek te gaan doen op het niveau van keuze, hiermee kan practice-based evidence verzameld worden. In de hoofdstukken 2 en 3 worden de verschillende effectniveaus nog verder uitgelegd en worden voorbeelden gegeven van onderzoek op die niveaus en wat dat onderzoek kan opleveren. Gaandeweg wordt ook een keuze gemaakt op welk niveau dit Bronnenboek zich met name zal richten. Dit is het niveau dat op de effectladder met doeltreffend wordt aangeduid. Op dit niveau worden bij interventies die in de praktijk van de jeugdzorg worden uitgevoerd gegevens over uitkomsten en uitvoering verzameld die de effectiviteit zichtbaar moeten maken. In hoofdstuk 4 wordt de cyclus van wetenschappelijk onderzoek geplaatst naast de hulpverleningscyclus en beleidscyclus. Aangegeven wordt dat een integratie van deze drie cycli nodig is om continu zicht te houden op de effectiviteit van de zorg en zo nodig verbeteracties op gang te brengen. In het laatste hoofdstuk van Deel I, Hoofdstuk 5, wordt beschreven hoe een praktijk zich kan ontwikkelen tot een evidence-based practice, waarin het verzamelen en benutten van gegevens over effectiviteit integraal deel uit maakt van het hulpverlenende handelen. Begonnen wordt met het schetsen van zo’n ideale praktijk: hoe ziet die eruit? Daarna zal worden aangegeven hoe een gegeven praktijk zich kan ontwikkelen tot zo’n ideale praktijk: welke processen zijn daarvoor van belang? Hoe kunnen veranderingen in de gewenste richting het beste gestuurd worden? Tenslotte zal via een aanduiding van de titels van voorgenomen hoofdstukken een preview worden gegeven op de inhoud van de geplande delen II en III van het bronnenboek. De voorliggende versie van Deel I is de een zogeheten ‘nulversie’: nog geen officiële uitgave, maar een ‘tussenuitgave’ die tot doel heeft potentiële gebruikers alvast op het spoor te zetten van praktijkgestuurd onderzoek. De definitieve versie van het gehele bronnenboek wordt eind 2007 verwacht. Naar aanleiding van voortschrijdend inzicht van de schrijvers, maar vooral ook door commentaren van lezers zal de definitieve inhoud zijn vorm krijgen. Lezers worden daarom van harte uitgenodigd om hun reacties op de teksten kenbaar te maken aan de leden van de projectgroep of aan de redacteuren van het boek. 2

=

Inhoudsopgave

Voorwoord ................................................................................................................................ 1 Inhoudsopgave.......................................................................................................................... 3 Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek? ..................................................... 7 1.1 Inleiding ............................................................................................................................ 7 1.2 Wat weten we uit effectonderzoek? .................................................................................. 8 1.3 Hoe verder? ..................................................................................................................... 10 1.4 Contouren van een praktijkgestuurd onderzoeksprogramma ......................................... 12 1.5 Conclusie en discussie .................................................................................................... 17 1.6 Bronvermelding .............................................................................................................. 19 Hoofdstuk 2. Op weg naar veelbelovend .............................................................................. 21 2.1 De basis wordt gelegd..................................................................................................... 21 2.2 Basiselementen van een interventie met potentie ........................................................... 22 2.3 De stap naar veelbelovend: belang van theorie en onderzoek ........................................ 25 2.4 Orde in een kluwen van factoren .................................................................................... 28 2.5 De werkzame ingrediënten: algemeen en specifiek........................................................ 33 2.6 Samenvatting................................................................................................................... 35 2.7 Bronvermelding .............................................................................................................. 36 Hoofdstuk 3. Een kwestie van bewijzen … .......................................................................... 39 3.1 Gemakkelijk gezegd, moeilijker te meten ...................................................................... 39 3.2 Causaliteit in een grillige en weerbarstige omgeving ..................................................... 40 3.3 Kapers op de kust: alternatieve verklaringen voor gemeten effecten ............................. 41 3.4 De interventietheorie als wegwijzer................................................................................ 45 3.5 Designs op de effectladder.............................................................................................. 46 3.6 Een zeker bewijs ............................................................................................................. 48 3.7 Aan elk bewijs hangt een prijs ........................................................................................ 50 3.8 Bronvermelding .............................................................................................................. 52 Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden .................................................... 53 4.1 Circuits verbinden ........................................................................................................... 53 4.2 De praktijk van het primaire proces................................................................................ 54 4.3 Het beleid ........................................................................................................................ 55 4.4 De wetenschap ................................................................................................................ 57 4.5 Verbinden met het oog op praktijkverbetering ............................................................... 59 4.6 Omgaan met verschillende belangen .............................................................................. 62 4.7 Samenvatting en conclusies ............................................................................................ 65 4.8 Bronvermelding .............................................................................................................. 66 Hoofdstuk 5. Organiseren van het onderzoek ..................................................................... 67 5.1 Inleiding .......................................................................................................................... 67 5.2 Praktijkgestuurd effectonderzoek: een droom van een casus ......................................... 68 5.3 Kwaliteitscriteria voor de praktijk .................................................................................. 73 3

5.4 Het organiseren van praktijkgestuurd onderzoek ........................................................... 74 5.5 Huiswerk voor overheid en instellingen ......................................................................... 76 5.6 Bronvermelding .............................................................................................................. 78 Blik op de overige delen ......................................................................................................... 79 Deel 2. Beschrijving van voorbeeldpraktijken...................................................................... 79 Deel 3. Methoden en technieken........................................................................................... 79 Deel 4. Strategie en context .................................................................................................. 79 Over de projectgroep ............................................................................................................. 81 = 4

DEEL 1

= 5

= 6

=

Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?

Jan Willem Veerman en Tom van Yperen 1.1 Inleiding De vraag naar de wetenschappelijke onderbouwing van de effectiviteit van interventies in de jeugdzorg klinkt de laatste jaren steeds luider. In de gebouwen van locale, provinciale en landelijke overheden, in de kantoren van de zorgverzekeraars, op universiteiten, op congressen, en niet in de laatste plaats in de jeugdzorg zelf, overal kan men de effectvraag beluisteren. Of we nu uitvoerend hulpverlener zijn of directeur van een instelling, onderzoeker, zorgverzekeraar of politicus, allemaal willen we dat psychosociale problemen van kinderen en jeugdigen de best mogelijke behandeling krijgen. Dat is uiteraard altijd al de wens geweest, maar vandaag de dag willen we dat nog nadrukkelijker. In het recente visiedocument van de zorgaanbieders in de jeugdzorg staat bij de beleidsinzet voor de periode 2003-2006 dat zorgaanbieders hulp moeten bieden die verantwoord kan worden vanuit het oogpunt van effectiviteit en efficiëntie (Bewust, betrokken en betrouwbaar, 2003, blz. 13). In de nota Jeugd Terecht van het Ministerie van Justitie valt te lezen dat het ministerie voornemens is in de nabije toekomst alleen nog maar effectieve of veelbelovende interventies te subsidiëren (Jeugd Terecht, 2003, blz. 20). In het verlengde hiervan is er een erkenningcommissie opgericht, die in opdracht van het ministerie gaat beoordelen welke justitiële gedragsinterventies het predikaat effectief kunnen krijgen. In de GGZ wordt al enige tijd gesproken over DBC’s, diagnose-behandelcombinaties, die zowel de indicatie als de financiering van de zorg moeten sturen. Het inzetten van evidence-based behandelingen is hier een uitgangspunt. Het centrum Jeugd van het Nederlands Instituut voor Zorg en Welzijn (NIZW Jeugd) heeft een databank van effectieve jeugdinterventies ingesteld. Het wil hiermee de beschikbare kennis over veelbelovende en effectieve interventies in Nederland meer bekendheid geven (zie www.jeugdinterventies.nl

). Dit zijn enkele voorbeelden die het alom tegenwoordig zijn van de effectvraag illustreren. Het bijzondere is dat die vraag niet alleen hoog op de agenda staat van onderzoekers, maar ook op die van uitvoerend hulpverleners en hun directies. Naast gezonde nieuwsgierigheid naar het resultaat van het werk spelen bij hen vakinhoudelijk en maatschappelijke motieven een rol. Vakinhoudelijk voelen zij de noodzaak te moeten streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet blijken, onder meer uit wetenschappelijk verantwoord effectonderzoek. Maatschappelijk zijn zij de overheid en zorgverzekeraars verschuldigd te laten zien dat het geld goed besteed is, en indirect dienen zij dat ook aan de belastingbetaler te laten zien. Ook hier kan effectonderzoek een goede dienst bewijzen. Is men eenmaal overtuigd van de noodzaak en het nut van effectonderzoek dan rijzen nog wel allerlei vragen. De belangrijkste is wat we eigenlijk onder effectiviteit verstaan en hoe we die kunnen aantonen. En dan blijkt zoals zo vaak dat dit soort begrippen op allerlei manieren worden gebruikt. Dat bemoeilijkt de communicatie. Vanuit een praktijkperspectief kan een interventie als effectief gezien worden als gestelde doelen worden gerealiseerd en cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken. De gestelde doelen waren wellicht zonder de interventie ook wel gerealiseerd, 7

= met in het verlengde daarvan een tevreden cliënt. In het ideale model effectonderzoek krijgt een experimentele groep de interventie die men op zijn effect wil onderzoeken en krijgt een controlegroep geen interventie, een placebo-interventie of een alternatieve interventie. Idealiter worden cliënten willekeurig worden toegewezen aan de experimentele of de controlegroep. Het lot bepaalt dus wie de interventie krijgt en wie niet. De interventie zelf behoort helder omschreven te zijn, bij voorkeur vastgelegd in een behandelingsprotocol dat niet alleen de fasering aangeeft, maar ook wat er tijdens de verschillende sessies, bezoeken of zittingen dient te gebeuren. Eveneens moet duidelijk te zijn voor wie de interventie geschikt is en voor wie niet. In het onderzoek wordt bij beide groepen een voormeting en een nameting verricht. Het effect wordt dan afgelezen aan het verschil tussen de experimentele en controlegroep aan het eind van de interventie. Deze manier van effectonderzoek roept weer nieuwe vragen op: Van hoeveel interventies in de Nederlandse jeugdzorg is het effect op die manier aangetoond? Is een dergelijk onderzoek in de praktijk altijd uitvoerbaar? Valt er over de effectiviteit van een interventie helemaal niets te zeggen als dergelijk onderzoek niet heeft plaatsgevonden? En als er wel iets over te zeggen is, wat is dat dan en welk onderzoek is daarvoor nodig? In dit eerste hoofdstuk wordt ingegaan op deze vragen. In de volgende paragraaf (1.2) zal duidelijk worden dat het ideale onderzoek ons nog weinig kennis heeft gebracht over de effectiviteit van de vele honderden interventies die dagelijks in de praktijk van de jeugdzorg worden uitgevoerd. Dat betekent niet dat dit soort onderzoek niet deugt of dat interventies in de jeugdzorg niet effectief zijn. Het betekent juist dat we moeten zoeken naar nog meer manieren om effecten in beeld te brengen. Paragraaf 1.3. en 1.4. geven aan hoe dat zou kunnen. We typeren deze andere aanpak van effectonderzoek als ‘praktijkgestuurd’, in tegenstelling een aanpak die we ‘methodegestuurd’ noemen. Bij de laatstgenoemde is de focus sterk gericht op de realisering van methodologische eisen waar het ideale effectonderzoek aan moet voldoen. Bij praktijkgestuurd effectonderzoek gaat het erom het type studie aan te passen aan de eisen van de praktijk. Dit laatste impliceert een uitdaging aan onderzoekers om in samenwerking met praktijkfunctionarissen wetenschappelijk verantwoord en voor de praktijk uitvoerbaar en bruikbaar effectonderzoek op te zetten. Met dit boek wordt deze uitdaging opgepakt. We gebruiken daarbij de term ‘praktijkfunctionarissen’ als algemene noemer voor mensen die in de praktijk van de jeugdzorg werkzaam zijn. Dat kunnen uitvoerend werkers zijn, maar ook teamleiders, afdelingsmanagers en directieleden. Voor zover nodig zullen we nader aangeven wie precies bedoeld wordt. Waar het om gaat is dat het onderzoek tegemoet komt aan de genoemde vakinhoudelijke en maatschappelijke drijfveren van deze mensen, en dat het bovenal interessant en spannend is om te doen. Het eerste hoofdstuk geeft een inleiding op de vraag met wat voor soorten onderzoek dit is te realiseren. 1.2 Wat weten we uit effectonderzoek? Rond de recente eeuwwisseling waren wereldwijd zo’n 1500 van experimentele onderzoeken naar effecten van jeugdzorginterventies gepubliceerd (zie voor overzichten bijvoorbeeld Burns & Hoagwood, 2002; Carr, 2000; Kazdin, 2000; Konijn, 2003). Onder de noemer ´experimentele onderzoeken´ vatten we hier zowel de experimentele als quasi-experimentele studies (zie hoofdstuk 3 voor een verdere uitleg en verwante termen). De resultaten van die onderzoeken laten zien dat jeugdzorginterventies gemiddeld genomen effectief zijn. Vergelijkbaar met interventies voor soortgelijke problemen bij volwassenen worden er middelgrote tot grote effecten gevonden. Voorbeelden van effectieve interventies zijn 8

= Systematische Desensitisatie, verschillende vormen van Cognitieve Gedragstherapie al dan niet in combinatie met medicatie, Oudertraining ( Parent Management Training) , specifieke therapeutische aanpakken in de pleegzorg ( Treatment Foster Care) en sommige vormen van Intensieve Pedagogische Thuiszorg zoals Multisysteem Therapie. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit effectieve interventies. Bij nadere beschouwing blijken echter de nodige vraagtekens bij dit goede nieuws te zetten. In de eerste plaats is het aantal behandelvormen dat onderzocht gering. Gebaseerd op de bovengenoemde overzichtsliteratuur schatten we dit aantal op niet meer dan 50. Dit staat in schril contrast met het aantal behandelvormen dat in de jeugdzorg aangeboden kan worden. Schattingen hierover lopen uiteen van ruim 550 (Kazdin, 2000) tot wel 1500 (Loeffen, Ooms & Wijgergangs, 2004). Terzijde: in een recente inventarisatie werden in Nederland alleen al op het terrein van de intensieve pedagogische thuiszorg 92 methodieken gevonden. (o.a. Families First, Video Hometraining; zie Veerman, Janssens & Delicat, 2005). Daar komt bij dat het overgrote deel van het bewijs dát er is, uit het buitenland afkomstig is. Het aantal onderzochte Nederlandse interventies is nog geringer. Boendermaker, Van der Veldt & Booy (2003) vonden over de periode 1990-2002 in totaal 54 effectstudies, waarvan er 22 volgens het ideale onderzoeksmodel waren uitgevoerd. Twee van deze onderzoeken gingen over een en dezelfde behandeling, nog eens twee onderzoeken richtten zich louter op het effect van medicatie. Dat betekent dat er in totaal 19 interventies in de Nederlandse jeugdzorg via het ideale onderzoeksmodel op hun effecten zijn onderzocht. Het aantal onderzochte interventies is dus maar een fractie van wat gewoonlijk wordt aangeboden.

(schatting: 1-5%). Van het grootste deel van de interventies hebben we geen experimenteel wetenschappelijk bewijs over de effectiviteit. In de tweede plaats hebben John Weisz en zijn collega’s laten zien dat het positieve beeld vertekend wordt door interventies die niet in de praktijk van de jeugdzorg worden uitgeoefend, maar die speciaal voor onderzoeksdoeleinden ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd (Weisz & Weiss, 1993). Deze interventies zijn altijd kortdurend (10 sessies of minder vormt geen uitzondering) en op niet al te ingewikkelde problematiek gericht (niet zelden gaat het ook niet om ‘echte’ cliënten, maar om vrijwilligers). Dikwijls wordt er ook maar één, zogeheten focaal probleem behandeld (daar zijn de effectmetingen dan ook op gericht), alleen die cliënten worden voor de interventie uitgekozen. Bovendien wordt de interventie gegeven door behandelaars die door en door getraind zijn in die ene specifieke methode die onderwerp van onderzoek is. Kortom, zoals het in elk wetenschappelijk onderzoek betaamt, wordt alles in het werk gesteld het effect een maximale kans van optreden te geven en de interventie als de causale factor aan te kunnen wijzen. De prijs voor al deze inspanningen is dat een situatie gecreëerd wordt die in allerlei opzichten veraf staat van de vaak hectische praktijk van alledag. Weisz en Weiss typeren deze interventies dan ook als ‘onderzoeksinterventies’, ontwikkeld en beproefd in onderzoek, in tegenstelling tot de ‘klinische interventies’ die in de praktijk van alledag worden uitgevoerd. Dus: het geringe aantal interventies dat wel onderzocht is bestaat ook nog eens voor het grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen.

In de derde plaats worden in studies die wel in de praktijk van de zorg zijn uitgevoerd voor klinische interventies vaak geen effecten gevonden (Weisz & Weiss, 1993). Van Yperen (2005) plaatst bij deze bevinding een aantal vraagtekens. Hij meent dat er in de praktijk van de zorg wel degelijk effecten te vinden zijn, zij het dat het wel om kleine effecten gaat. Daarnaast geldt dat er voor interventies in de thuissituatie (zoals vormen van Intensieve Pedagogische Thuiszorg en Pleegzorg) in de praktijk van de Nederlandse jeugdzorg matige 9

= effecten zijn gevonden. Maar hoe dan ook, de boodschap is duidelijk: de weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken laten slechts kleine tot matige effecten zien. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek verregaande specificaties van beoogde doelgroep, bedoelde interventie en gewenste uitkomsten nodig, liefst in behandelprotocollen , die zowel een gedegen theoretische onderbouwing als een hechte organisatorisch inbedding laten zien. De Amerikaanse onderzoeker Patton merkte hierover op dat praktijkwerkers in het algemeen niet houden van dit soort specificaties. Praktijkwerkers gaan veel meer uit van ‘…een wereld van multipele oorzaken, diversiteit van uitkomsten, inconsistentie van interventies, en interacties op verschillende niveaus – en zij vinden zo’n wereld opwindend en wenselijk (Patton, 1994, blz. 313). Onze inschatting is dat praktijkwerkers wel degelijk houden van het specificeren van hun interventies, zolang ze daar maar de ruimte en de tijd voor krijgen en daarbij ondersteund worden. Maar hoe dan ook zien we op dit moment dat veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen. Samengevat: De bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventies zeggen ons: a.

dat het aantal experimenteel onderzochte interventies maar een fractie is van wat wordt gewoonlijk wordt aangeboden, b.

dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit interventies bestaat die in de praktijk nauwelijks voorkomen, c.

dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken kleine effecten laten zien en d.

dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen. Deze misschien wat teleurstellende stand van zaken betekent niet dat interventies in de jeugdzorg niet effectief zijn, we weten hier alleen gewoon nog te weinig van. Mede gelet op wat in de inleiding gezegd is over noodzaak van meer zicht op effectiviteit betekent dit ook een geweldige uitdaging om deze kennislacune op te gaan vullen. 1.3 Hoe verder? Twee wegen In theorie zijn er op basis van voorgaande conclusies twee wegen begaanbaar om meer kennis over effecten van jeugdzorg te verkrijgen: • Het top down implementeren van de interventies die hun effect in onderzoek bewezen hebben. We zagen zo even dat die meestal nog niet in de praktijk worden uitgevoerd. Dit impliceert een transport van onderzoeksinterventies vanuit het wetenschappelijk kader naar de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze praktijk. • Het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden uitgevoerd. Hiermee wordt aangesloten bij de situatie van dit moment: er worden dagelijks 10

= vele interventies uitgevoerd en daar ‘moet’ de jeugdzorg iets mee als het om effectonderzoek gaat. Dit impliceert het uitvoeren praktijkonderzoek waarmee de effectiviteit van interventies op de een of andere manier in beeld wordt gebracht. Beide wegen zijn begaanbaar. De literatuur over effectonderzoek beveelt meestal de eerste weg aan. Dus: eerst op kleine schaal experimenteel onderzoeken en daarna op grotere schaal in de praktijk implementeren. Het soort onderzoek dat daarbij hoort wordt gestuurd door de bevindingen uit eerdere experimentele studies en leidt idealiter tot nieuwe experimentele studies, maar nu in de praktijk van de zorg, met ‘echte’ cliënten en ‘echte’ interventies. Het gaat om een methodegestuurde benadering waarbij de realisering van eisen waar het effectonderzoek idealiter aan moet voldoen voorop staan. Het idee is dat alleen op die manier maximale zekerheid ontstaat dat de onderzochte interventie effect heeft. Langs deze weg informeert de wetenschap de praktijk naar beste kunnen en draagt het onderzoek bij aan het ontwikkelen van een evidence-based practice (Bower, 2003; Chaffiin & Friedrich, 2004). De definitie van effect is hier duidelijk: het verschil tussen de experimentele en de controlegroep aan het eind van de interventie. Er zijn weinig vrijheidsgraden voor ander onderzoek, bijvoorbeeld onderzoek zonder controlegroepen. Het voordeel is de wetenschappelijk logica, die een onomstotelijk effectbewijs levert en die op het eerste gezicht ook wel aantrekkelijk is. Hier worden bevindingen uit de onderzoekslaboratoria via toegepast onderzoek in de praktijk uitgezet. Zo gaat het op veel meer terreinen, bijvoorbeeld bij het onderzoek naar de effectiviteit van geneesmiddelen, dus waarom ook niet op het terrein van de jeugdzorg? Het nadeel is dat de praktijk van de zorg vaak nog niet zo ver is en dat het wel eens heel lang kan duren voor men zover is. De tweede weg, beginnen bij wat er is en dat uitbouwen, is veel minder uitgewerkt. Maar deze wordt naar onze mening nog veel te weinig benut om wetenschappelijke kennis over effectieve interventies te verkrijgen. Het gaat hier niet zozeer om het creëren van een evidence-based practice maar om het ontwikkelen van practice-based evidence (Barkham & Mellor-Clark, 2003). De definitie van het effect is hier minder eenduidig, of op zijn minst meervoudig en de bewijsvoering is minder ‘hard’ als men wellicht zou willen. Dat is een nadeel van deze tweede weg. Daar staat als voordeel tegenover dat deze weg snel is in te slaan – vandaag nog, als het moet – en dat gaande weg zal blijken dat de bewijzen minder ‘zacht’ zijn als critici soms doen geloven. Op weg met praktijkgestuurd effectonderzoek De zojuist genoemde tweede weg zal in dit Handboek een belangrijke plaats innemen. We spreken dan van praktijkgestuurd effectonderzoek. We ontlenen de term praktijkgestuurd onderzoek aan Jo Hermans en passen zijn definitie (Hermanns, 1993, p. 27) aan voor ons doel. Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Deze definitie geeft praktijkgestuurd effectonderzoek de volgende drie kenmerken: 11

= • Aansluiting. Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt gegeven door de mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre hij is te omschrijven, te onderbouwen en over te dragen. Het heeft geen zin een experimenteel onderzoek te doen bij interventies die wat dit betreft nog niet voldoende gerijpt zijn (Jacobs, 1988). • Inbedding.

Onderzoek naar het effect van interventies dient procedureel ingebed te zijn in de uitvoering van de interventie, dient er niet nog eens ‘bij’ te komen. Dat betekent dat het gebruik van onderzoeksinstrumenten deel uit hoort te maken van het hulpverlenend handelen (Roosma, 2000) en dat deze instrumenten ook de ‘taal van de interventie’ spreken, dat wil zeggen operationaliseringen zijn van concepten die op de werkvloer worden gehanteerd. Daarmee krijgen ze zeggingskracht. • Benutting. Onderzoek naar het effect van interventies dient niet in de bureaulade te blijven liggen, maar de verzamelde gegevens moeten benut worden. Deze benutting begint in het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen gegevens naar hogere niveaus geaggregeerd worden, bijvoorbeeld om zicht te krijgen op de effectiviteit van een interventie, van een team, een unit, een instelling, provinciale en landelijke koepels of sectoren. Onderzoek wordt dan opgenomen in een cyclus gericht op praktijkverbetering. Hiermee wordt een verbinding tussen onderzoek en kwaliteitszorg gelegd (Veerman, 1998; Van Yperen, 2004). Deze drie kenmerken kunnen gezien worden als de ‘werkzame principes’ van praktijkgestuurd effectonderzoek. Effectonderzoek dat aansluit bij de staat van ontwikkeling van de interventie, ingebed is in de uitvoering ervan en benut wordt voor verdere verbetering is een levendige activiteit, die kennis oplevert waar men wat aan heeft en waar men ook plezier aan kan beleven. 1.4 Contouren van een praktijkgestuurd onderzoeksprogramma Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek, maar kan verschillende vormen aannemen. Elke vorm kan bijdragen aan de ontwikkeling van kennis over de effectiviteit van de jeugdzorg. Wel is het zo dat de bewijskracht van sommige vormen van onderzoek meer zekerheid biedt. Soms zijn deze echter in een bepaalde praktijksituatie (nog) niet uitvoerbaar of nog niet zinvol en moeten we ons tevreden stellen met vormen van onderzoek die minder zekerheid bieden. Praktijkgestuurd effectonderzoek kent zo verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect impliceren. In figuur 1.1 schetsen we een model waarin een viertal niveaus van effectonderzoek onderscheiden worden. Het startpunt, in feite niveau 0 (niet in de figuur weergegeven), is het gegeven dat we nog maar weinig weten van effecten van de honderden interventies die in de praktijk van alledag worden uitgevoerd. Het perspectief is dat we hier via onderzoek gaandeweg meer over te weten kunnen komen. Het model geeft aan hoe die weg eruit kan zien: van potentieel, via veelbelovend en effectief naar werkzaam. Op elk hoger niveau kan met meer graden van zekerheid het effectbewijs geleverd worden. De figuur toont als het ware een ‘effectladder’ waarmee vanuit de een toestand van ‘geen kennis’ over effecten naar een toestand van ‘ware kennis’ over effecten geklommen kan worden. Op die manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg 12

= ontwikkelen tot een evidence-based practice.

We spreken dan ook van een ontwikkelingsmodel, het zet aan tot praktijkontwikkeling (Van Yperen, 2004). Van belang is te beseffen dat we het op alle niveaus hebben over het effect van een interventie. Voor interventie kan ook methodiek, zorgaanbod, module of behandelvorm gelezen worden. Het gaat hierbij om een verzameling gecoördineerde en geplande activiteiten gericht op het bereiken van bepaalde doelen. De interventie kan beperkt zijn, bijvoorbeeld een sociale vaardigheidstraining voor angstige kinderen, of ruim, zoals een behandelingsklimaat in een residentiële leefgroep ingericht volgens het competentiemodel. Het model gaat niet over de effecten van afdelingen of instellingen. Inzicht hierin kan verkregen worden door de effecten van interventies binnen afdelingen of instellingen te aggregeren We willen tevens benadrukken dat we het ideale, experimentele model van effectonderzoek niet uitsluiten, we zetten dat zelfs op het hoogste niveau. Maar we bedden dat type onderzoek in in een verzameling van mogelijkheden, die elk een bijdrage leveren aan het beantwoorden van uiteenlopende effectvragen. Zekerheid over de vraag of de effecten ook daadwerkelijk zijn toe te rekenen aan de betreffende interventie neemt in het model toe naarmate men hoger op de ladder komt. Figuur 1.1 maakt zichtbaar wat voor onderzoek men kan opzetten om wat voor zekerheden te krijgen. Na de figuur worden de verschillende niveaus en de soorten onderzoek verder toegelicht. Soort effect 4. Werkzaam Omschrijving Soorten onderzoek 3. Doeltreffend Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn • • Experimenteel onderzoek Herhaalde case studies (N=1 designs) ----------------------------------------------------- • Quasi-experimenteel onderzoek • Veranderingstheoretisch onderzoek • Normgerelateerd onderzoek ----------------------------------------------------- • • • Veranderingsonderzoek Doelrealisatie-onderzoek Cliënttevredenheidsonderzoek 2. Veelbelovend Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan waarom de interventie de beoogde uitkomsten zal bereiken • • • Meta-analyse Literatuurstudie Kennisontlokkend onderzoek = 1. Potentieel De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven • • • • Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews Figuur 1.1 Niveaus van onderzoek in praktijkgestuurd effectonderzoek voor zicht op effectiviteit Niveau 1: Specificeren onderdelen interventie Op dit niveau gaat de nieuwsgierigheid van praktijkfunctionarissen uit naar de aard van hun interventie(s). Deze worden op dit niveau nader omschreven en gespecificeerd. De aandacht gaat dient hier vooral uit te gaan naar: a.

het doel van de interventie: welke uitkomsten streeft men na? b.

de doelgroep van de interventie: is de interventie een ‘panacee voor alle problemen’ of wordt hij geacht te werken voor kinderen en gezinnen met bepaalde te omschrijven problemen? c.

de aanpak: wat zijn de technieken die bij de interventie worden toegepast, wat is de vereiste frequentie, intensiteit, duur, fasering en welke overige uitvoeringseisen ten aanzien van evaluatie, opleiding, supervisie zijn van toepassing? 13

= d.

de randvoorwaarden: wat is er aan materiële, financiële en organisatorische ondersteuning nodig om de interventie in een instelling goed te kunnen uitvoeren? Door de zorgprogrammering is het beschrijven van interventies (modules) inmiddels in gang gezet, de afgelopen jaren zijn in tal van interventies beschreven. We noemden hiervoor een aantal van 1500! Niet voor elke zorginstelling zal dit een ‘levende’ en ‘levendige’ gebeurtenis zijn geweest. Toch zien we dit als een eerste stap op weg naar kennis over effectieve interventies. In meer bedrijfskundige termen gaat het om de specificatie van het product. Als helder is waar dit product precies uit bestaat, kan beoordeeld worden (eventueel door deskundige buitenstaanders) of dit uit de ‘goede dingen’ bestaat. ‘Goed’ dient dan bezien te worden in het licht van de wetenschappelijke en klinische kennis die we hebben. Hoe meer de inhoud van een interventie de nieuwste inzichten in het vakgebied weerspiegelt, en hoe duidelijker de interventie in een stappenplan of handleiding uiteengelegd kan worden, hoe meer potentie hij in zich heeft om effectief te zijn. Deze potentie is op te vatten als een eerste, minimale indicatie voor de effectiviteit van de interventie. In hoofdstuk 2 wordt hier verder op ingegaan. Het soort onderzoek dat hierbij van dienst kan zijn is descriptief van aard, het kan bestaan uit het bestuderen en analyseren van documenten, het observeren van de uitvoering van interventies of het interviewen van praktijkfunctionarissen. Terzijde Sommige lezers zullen zich misschien afvragen wat dit nu voor nut heeft. Is dit niet een erg bureaucratische aangelegenheid, goed voor het vullen van de bureaulade maar niet voor het aanleveren van kennis waar werkers in de jeugdzorg iets mee kunnen? Laten we dit eerst eens vanuit een macroperspectief bekijken. Stel dat er een externe, van overheidswege benoemde beoordelingscommissie aan de overheid als financier van de zorg advies moet uitbrengen over welke interventies voor financiering in aanmerking komen. Een eerste schifting van al die honderden interventies zou kunnen zijn dat er minstens iets begrijpelijks op papier moet staan dat duidelijk maakt hoe die interventie eruit ziet, voor wie hij is bedoeld en wat de beoogde uitkomsten zijn. En liefst ook nog iets over hoe een en ander georganiseerd moet worden en wat dat kost. Die interventies hebben dan effectiviteitpotentie (Van der Laan, 2000). Maar zou dat ook vanuit een microperspectief, dat van de behandelaar, niet gelden? Zou de overtuiging dat men met iets goeds bezig is niet kunnen groeien naarmate het goede meer en beter beschreven is en daarmee ook overdraagbaar wordt? Een voorwaarde hiervoor is wel dat behandelaars bij die beschrijvingen betrokken worden. Dat is de kern van praktijkgestuurd onderzoek. Sommigen zullen zeggen dat dit nog niet genoeg is om voor financiering in aanmerking te komen. Daarvoor dient er meer bewijs voor effectiviteit, te komen. Dat kan, en daarvoor gaan we naar niveau twee. Niveau 2: Theoretisch onderbouwen werking interventie Een volgende stap is dat behandelaars van elke behandelvorm die ze bieden aannemelijk maken dat deze werkt: hoe wordt door het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep bereikt? Welke rol spelen de algemeen werkzame ingrediënten om de doelen te bereiken en welke specifiek werkzame ingrediënten voegt de interventie hieraan toe? Hiermee wordt een interventietheorie (‘program theory’) geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een interventie geeft (Rossi, Lipsey & Freeman, 2004). We doelen hier niet zozeer op een louter wetenschappelijke theorie, maar op een theorie die zowel praktijkervaringen als wetenschappelijke bevindingen integreert. Het formuleren van zo’n theorie is een verdere stap 14

= in de bewijsvoering voor effectiviteit. Als daarbij nog gerefereerd kan worden aan algemeen aanvaarde wetenschappelijk theorieën komt de theorie nog weer sterker te staan. Het formuleren van een goede interventietheorie maakt een interventie veelbelovend. Degenen die menen dat dit wellicht te abstract gaat worden willen we herinneren aan het bekende gezegde van Kurt Lewin, één van de voorvaderen van de moderne psychologie, dat niets zo praktisch is als een goede theorie (Lewin, onder andere aangehaald in De Groot, 1961). Van Yperen (2003) schetst uit welke ingrediënten een dergelijke ‘praktische theorie’ kan bestaan. In hoofdstuk 2 van dit Handboek wordt hier verder aandacht aan besteed. Met deze theorie kunnen behandelaars de mogelijke effectiviteit van hun ‘product’ nog weer verder aannemelijk maken. Onderzoek dat hierbij kan helpen bestaat enerzijds uit via literatuurstudie en meta-analyses ontsluiten van databestanden over effectieve interventies en daarin werkzame factoren, anderzijds kan het gericht zijn op het ontlokken en expliciteren van impliciete ervaringskennis van behandelaars. Terzijde De zojuist genoemde beoordelingscommissie zou kunnen oordelen dat dit al heel mooi is en met het predikaat ‘veelbelovend’ kunnen aangeven dat deze interventies zeker het financieren waard zijn. Een dergelijke classificatie zou voor de jeugdzorg al een stap vooruit zijn. Deze stap zal echter voor de meeste interventies nog een brug te ver blijken. Bij een analyse die wij verrichtten naar de kwaliteit van de formulering van een aantal Gelderse jeugdzorgmodules en modules voor intensieve ambulante gezinsbehandeling viel juist het gebrek aan theoretische onderbouwing op (Delicat, Pijnenburg & Veerman, 2003; Veerman e.a., 2005). Behandelaars op de werkvloer kunnen steun ondervinden van een theoretisch raamwerk. Het zet de ‘neuzen dezelfde kan op’, creëert een gemeenschappelijke taal voor diagnostiek en interventie en legt ook uit waarom de interventie voor de ene groep geschikt is en voor de andere niet. Sceptici zullen zeggen dat het totnogtoe allemaal papierwerk is. De vraag waar het om gaat is of het in de praktijk ook zo werkt, in de woorden van Simon Schagen: Is de interventie zoals bedreven gelijk aan de interventie zoals beschreven? (Schagen, 1981). Daarvoor hebben we het derde niveau. Niveau 3: Het aantonen van gewenste veranderingen bij een interventie Een goede omschrijving (niveau 1) en onderbouwing (niveau 2) laten het wat en waarom van een interventie zien. Als vastgesteld kan worden dat de geformuleerde doelen of gewenste veranderingen bereikt zijn, en men bovendien heeft kunnen vaststellen dat de bedoelde interventies ook volgens plan verstrekt zijn aan de beoogde doelgroep, dan is de bewijsvoering van een effectieve interventie weer een stapje verder gebracht. Om dit allemaal te kunnen vaststellen moet er gemeten worden. Dit vormt de kern van de activiteiten op het derde niveau. Hier gaat de nieuwsgierigheid uit naar empirische gegevens over de elementen van de interventie: Wordt deze uitgevoerd zoals bedoeld? Worden de gewenste uitkomsten ook behaald en wordt de beoogde doelgroep bereikt? In feite komt dit neer op het inrichten van de praktijk als een meetlaboratorium (Veerman, 2004), of het op gang brengen van praktijkontwikkelend effectonderzoek (Van Yperen, 2004). Hiertoe dient men te bedenken welke kenmerken van de doelgroep, de interventies en de uitkomsten gemeten moeten worden en met welke instrumenten (tests, vragenlijsten, observatieschalen, registratieformulieren, etc.). Hier biedt de interventietheorie steun, want als het goed is zijn bij de formulering hiervan klinisch en theoretisch relevante concepten gebruikt (bijvoorbeeld: teruggetrokken gedrag, dwanggedachten, vijandige attributies, opvoedingsonmacht). Door te gaan meten worden deze concepten en daarmee de interventietheorie geoperationaliseerd en worden 15

= gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende het effectbewijs versterken. Het optimum van dit niveau wordt bereikt als het afnemen van de bedoelde meetinstrumenten volledig ingebed is in het hulpverlenend handelen. Dit kan de vorm aannemen van (1) het verrichten van voor- en nametingen om veranderingen op het spoor te komen, (2) het evalueren van de mate van waarin gestelde doelen worden bereikt en (3) het vaststellen van tevredenheid van cliënten over de geboden hulp. Hiermee wordt veranderingsonderzoek, doelrealisatie-onderzoek of cliënttevredenheidsonderzoek uitgevoerd. Terzijde Onze beoordelingscommissie heeft op dit niveau cijfers in handen, en heeft daarmee ook sterkere argumenten om haar advies te onderbouwen: wie heeft laten zien dat bij de beoogde resultaten behaalt kan financiering krijgen. Ook de werkvloer heeft op dit niveau iets in handen. Cijfers geven feedback op het werk, laten zien wat tot resultaat leidt en wat niet. In termen van kwaliteitszorg laten cijfers zien dat het goede goed gedaan wordt en waar, indien nodig, verbeteracties ingesteld moeten worden. Tegelijkertijd bestaat nog steeds de mogelijkheid dat niet de interventie tot de gunstige uitkomsten heeft geleid en dat de problemen ook zonder interventie wel waren verbeterd. Sceptici zullen hier ongetwijfeld op wijzen en vragen om onderzoek op niveau vier. Niveau 4: Het aantonen van de causaliteit van een interventie Heeft men de interventie gespecificeerd en onderbouwd, en is men bezig de uitvoering hiervan te monitoren via herhaalde metingen, dan kan - als dit meten voldoende onderdeel van de hulpverlening is geworden – de tijd rijp zijn voor de vierde en laatste stap: het aantonen van de causaliteit van een interventie. Vastgestelde gewenste veranderingen laten nog geen definitieve conclusies over de causaliteit van een interventie toe. Causaliteit impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Idealiter wordt bewezen dat de onderzochte interventie beter is dan ‘geen interventie’ of een ‘andere interventie’. Dit veronderstelt een vergelijking met een controlegroep die de interventie niet gekregen heeft, maar wel een ander aanbod heeft gehad, of soms in het geheel geen hulp heeft ontvangen. Is die controlegroep niet beschikbaar dan zouden positieve resultaten ook aan andere oorzaken kunnen worden toegeschreven zoals: het ‘ontgroeien’ van de problematiek, een nieuwe partner van moeder, een verhuizing van het gezin, of een andere school voor het kind. Vanwege praktische en ethische problemen is een controlegroep in praktijkonderzoek echter vaak lastig te verkrijgen. Toch doen zich hier door een natuurlijk beloop van gebeurtenissen vaak mogelijkheden voor die benut kunnen worden. Te denken valt bijvoorbeeld aan het benutten van wachtlijsten voor het formeren van een wachtlijstcontrolegroep (dit wordt quasi-experimenteel onderzoek genoemd). Ook het vooraf specificeren van een interventietheorie of van normen en via het verzamelen van gegevens nagaan of de theorie klopt dan wel de normen bereikt worden kunnen indicaties voor causaliteit opleveren (we noemen dat in de figuur 1.1 veranderingstheoretisch resp. normgerelateerd onderzoek). Die indicaties zijn minder ‘hard’ dan die uit experimenteel onderzoek, vandaar dat in de figuur een glijdende overgang tussen niveau drie en vier is gemaakt. In hoofdstuk 3 wordt hier verder op ingegaan. Terzijde Eenmaal hier aangekomen kan iedereen tevreden zijn. De commissie kan duidelijke adviezen geven, de zorgaanbieders kunnen trots zijn op hun werk en hebben voldoende stof tot 16

= overdenken en het formuleren van verdere verbeteracties, beleidsvoerders kunnen evidence based inkopen. Wellicht wordt nu zelfs de scepticus stil. 1.5 Conclusie en discussie In het voorgaande gaven we een opklimmende reeks van mogelijke bewijzen voor de effectiviteit van een bepaald interventie. Op een minimumniveau zien we de specificatie van relevante componenten van een interventie als een eerste vorm van bewijs. Het gaat hierbij om de specificatie van de inhoud (doelgroep, interventies en effecten) en context (de organisatorische, personele en materiële randvoorwaarden, bejegeningsaspecten etc.). Dit vormt nog geen sterk bewijs, maar het is wel een eerste stap. Het geeft een aanwijzing dat de interventie in kwestie potentie heeft. Een tweede niveau wordt bereikt als men een interventie met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen. Men formuleert dan een interventietheorie die aannemelijk maakt dat de bij het aanbod bedoelde interventies bij de beoogde doelgroep tot de gewenste uitkomsten leiden. Naarmate die onderbouwing overtuigender is, bijvoorbeeld ook nog ondersteund kan worden met elders uitgevoerd effectonderzoek, komt het effectbewijs sterker te staan. Een interventie die dit niveau bereikt kan veelbelovend worden genoemd. Vanaf het derde niveau wordt er empirische bewijskracht aangevoerd voor de effectiviteit van een interventie. Op het derde niveau zelf bestaan deze bewijzen uit het aantonen dat gewenste veranderingen zijn bereikt, dat van tevoren gestelde doelen zijn gerealiseerd of dat cliënten achteraf een positief oordeel uitspreken over de ontvangen hulp. Een interventie waarbij dit vast te stellen is kan doeltreffend worden genoemd. Op het vierde en hoogste niveau worden de empirisch vastgestelde uitkomsten causaal gerelateerd aan de interventie. Aangetoond wordt dat deze interventie en niets anders tot de gewenste uitkomsten geleid heeft. De interventie werkt zoals voorspeld, en kan derhalve werkzaam genoemd worden. Het belang van het maken van deze onderscheidingen is het besef dat effectiviteit geen ‘alles of niets’ begrip is, maar dat er graden van effectiviteit te onderscheiden zijn die de evidentie steeds overtuigender maken. Eerder gaven we aan dat vanuit een streng wetenschappelijk gezichtspunt geredeneerd in wetenschappelijke kringen alleen het bereiken van het vierde stadium als het ‘echte’ effectbewijs wordt geaccepteerd. We vinden dit te beperkend. We maakten al eerder in dit hoofdstuk duidelijk dat veel interventies daar de komende jaren niet aan toe komen, laat staan of er ooit een mogelijkheid is hier aan toe te komen. Zonder meer stellen dat een interventie dan niet onderzoekbaar is en ‘dus’ niets over de effectiviteit te zeggen is, doet de realiteit geweld aan en is ook niet stimulerend. Met praktijkgestuurd effectonderzoek trachten we het gat tussen ‘niets weten’ en ‘alles weten’ te dichten. Bij dat onderzoek is het van belang dat het onderzoek aansluit bij het niveau van de interventie die onderwerp van onderzoek is (we noemden dit het aansluitingsprincipe), dat onderzoek deel gaat uitmaken van de zorgpraktijk (het inbeddingssprincipe), en dat men met de resultaten van onderzoek wat gaat doen (het benuttingsprincipe). Effectonderzoek dat aan deze principes voldoet typeerden we als praktijkgestuurd effectonderzoek. Het is niet verkeerd om te streven naar onderzoek op het hoogste niveau, zolang dit maar binnen het praktijkgestuurde kader blijft. Hiermee wordt onderzoek op de lagere niveaus niet als onwetenschappelijk gediskwalificeerd, maar gezien als legitieme manier om passend bij de mogelijkheden van de zorgpraktijk wetenschappelijke kennis over effecten te vergaren. Dit is 17

= in een notendop de boodschap in dit hoofdstuk (en dit Handboek) en tevens een antwoord op de vraag in de titel van dit hoofdstuk. De effectladder geeft in feite een beweging van practice-based evidence naar evidence-based practice aan, en omgekeerd. In figuur 1.2 is de effectladder geplaatst binnen de genoemde twee bewegingen en symboliseert deze ladder het verkeer tussen deze twee werelden: van de = = = = = = = = = = = = = = = praktijk naar de wetenschap (en omgekeerd). Practice- Based Evidence Werkzaam Doeltreffend Veelbelovend Potentieel Evidence- Based Practice Figuur 1.2 De effectladder in de kwaliteitsontwikkeling van de praktijk = = De effectladder en de plaatsing binnen de beweging van practice based evidence naar evidence based practice verheldert ook de communicatie, er ontstaat ten aanzien van effecten een eenheid van taal. Praktijkfunctionarissen kunnen met onderzoekers afspreken op welk niveau van de effectladder men onderzoek wil doen. Ten dele is dit een kwestie van eigen keuze, ten dele ook van keuzes die door landelijke en provinciale overheden gemaakt worden. Beleidsfunctionarissen van deze overheden kunnen met de effectladder in de hand aangeven welk niveau van effect ze beogen: bedoelt men met de wens om alleen interventies met ‘bewezen effectiviteit’ te willen financieren ook echt het niveau ‘werkzaam’? Of is ‘doeltreffend’ of wellicht ‘veelbelovend’ voorlopig voldoende? Wij menen dat op termijn het niveau ‘doeltreffend’ voor de meeste interventies in de praktijk van de zorg gevraagd mag worden. Dit is ook het niveau waarop momenteel veel ontwikkelingen zichtbaar zijn, o.a. op het gebied van het meten van doelrealisatie, het meten van cliënttevredenheid en het inzetten van meetinstrumenten in veranderingsonderzoek. Wel is het zo dat hiervoor nog het nodige werk op de onderliggende niveaus plaats dient te vinden. In dit Handboek zal daarom het vooral het onderzoek op niveau drie centraal, met af en toe een uitstapje naar de lagere niveaus of naar het hogere niveau. Waar men ook op de effectladder is, zonder dat men het merkt is men bezig de kwaliteit van de praktijk te verbeteren met behulp van uiteenlopende typen van wetenschappelijk onderzoek. Door het werk op te schrijven, te onderbouwen, op te meten, te vergelijken met ander werk komt men vanzelf in een kwaliteitscyclus die helpt werk te verbeteren en te verantwoorden. Hiermee wordt aangesloten bij kwaliteitszorg in de jeugdzorg, de hierbij vaak gehanteerde ‘plan-do-check-act’ cyclus vertoont grote overeenkomst met de wetenschappelijke cyclus, beide streven hetzelfde na: het verder ontwikkelen van de praktijk. Hoofdstuk 4 van het bronnenboek gaat hierop in. Tenslotte: het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit van de zorg diezelfde zorg ten goede komt. De Amerikaanse psychiater Rashkis wees hier 45 18

= jaar geleden al op (Rashkis, 1960). Hieruit kunnen we het volgende advies destilleren aan zorginstellingen die hun effectiviteit willen verbeteren: ‘Ga onderzoek doen!’ 1.6 Bronvermelding Barkham, M. & Mellor-Clark, J. (2003). Bridging evidence-based practice and practice-bases evidence. Developing a rigorous and relevant knowledge for the psychological therapies. Clinical Psychology and Psychotherapy, 10, 319-327. Bewust, betrokken en betrouwbaar. Visiedocument zorgaanbieders in de jeugdzorg. (2003). Utrecht: Maatschappelijk Ondernemers Groep. Boendermaker, L., Veldt, M.C. van der, & Booy, Y. (2003). Nederlandse studies naar de effecten van jeugdzorg. Utrecht: NIZW. Bower, P. (2003). Efficacy in evidence-based practice. Clinical Psychology and Psychotherapy, 10, 328-336. Burns, B.J. & Hoagwood, K. (Eds.) (2002). Community treatment for youth. Evidence-based interventions for severe emotional and behavioral disorders.

New York: Oxford University Press. Carr, A. (Ed.) (2000). What works with children and adolescents? A critical review of psychological interventions with children, adolescents and their families. London: Brunner-Routlegde. Chaffin, M. & Friedrich, B. (2004). Evidence-based treatments in child abuse and neglect. Children and Youth Service Review, 26, 1097-1113. Delicat, J.W., Pijnenburg, H.M. & Veerman, J.W. (2003). Op weg naar zorgprogrammering in Gelderland. Een eerste beoordeling van de kwaliteit van ontwikkelde jeugdzorgmodules.

Nijmegen: Katholieke Universiteit, ACSW/ Praktikon. Groot, A.D. de (1961). Methodologie.

Den Haag: Mouton. Hermanns, J.M.A. (1993). Tussen praktische theorieën en theoretische praktijken. In S.M.J. van Hekken, N.W. Slot, J. Stolk & J.W. Veerman (Red.), Pedologie tussen wetenschap en praktijk (p. 19-30). Utrecht: De Tijdstroom. Jacobs, F.H. (1988). The five-tiered approach to evaluation. Context and implementation. In H.B. Weiss & F.H. Jacobs, Evaluating family programs (p. 37-68). New York: Aldine De Gruyter. Jeugd terecht. Actieprogramma aanpak jeugdcriminaliteit 2003-2006. Den Haag: Ministerie van Justitie, Directie Jeugd en Criminaliteitspreventie. Kazdin, A.E. (2000). Psychotherapy for children and adolescents. Directions for research and practice. New York: Oxford University Press. Laan, P. van der (2000, oktober). Succes interventieproject is tevoren in te schatten. Nederlands Tijdschrift voor Jeugdzorg, 7, Patton, M.Q. (1994). Developmental evaluation. 102-113. Evaluation Practice, 15, 311-319. 0/25 , p. 21-25. Loeffen, M., Ooms, H. & Wijgergangs, H. (2004). Ordeningsmodel is ‘must’ voor effectieve jeugdzorg. Rashkis, H.A. (1960). Cognitive restructuring. Why research is therapy. Archives of General Psychiatry, 2, 612 621. Roosma (2000). Het projectplan Hulp aan Huis Twente.

Assen: Uitgeverij Hulp aan Huis. Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation. A systematic approach (7 th Ed.). Thousand Oaks: Sage Publications. Schagen, S. (1981). Een jaarverslag per gedragstherapeut. De Psycholoog, 16, 100-105. Veerman, J.W. (1998). Meten en weten in jeugdzorg. Een pleidooi voor bruikbaarheidsonderzoek. Kind en Adolescent, 19, 343-357. Veerman, J.W. (2004). Effectieve interventies gezocht. De zorgpraktijk als onderzoekslaboratorium voor effectiviteitsbepaling. In P. Steerneman & J. Vandormael (Red.). Kind in de knel. Ontwikkelingsstoornissen in de praktijk van de jeugdzorg: samen-werken (p. 95-113). Antwerpen Apeldoorn: Garant. Veerman, J.W., Janssens, J.M.A.M., & Delicat, J.W. (2005). Effectiviteit van intensieve pedagogische thuishulp. Een meta-analyse. Pedagogiek, 25, 176-196. Weisz, J.R., & Weiss, B. (1993). Effects of psychotherapy with children and adolescents.

Newbury Park: Sage Publications. Yperen, T.A. van (2003). jeugdzorg. Resultaten in de jeugdzorg: begrippen, maatstaven en methoden.

Kind en Adolescent, 25, 4-17. Yperen, T.A. van (2005). Hoe effectief is de jeugdzorgpraktijk? Kind en Adolescent, 26 Utrecht: NIZW. Yperen, T. van (2004). Praktijkontwikkeling, onderzoek en beleid. Instrumenten voor een effectievere , nr. 2, pag. 255-257. 19

= 20

=

Hoofdstuk 2. Op weg naar veelbelovend

Tom van Yperen, Bas Bijl en Jan Willem Veerman 2.1 De basis wordt gelegd Zoals in hoofdstuk 1 is omschreven, zijn er verschillende niveaus waarop de ontwikkeling van een effectieve interventie kan verkeren. Een interventie heet ‘Potentieel’ als er een goede beschrijving van de belangrijkste elementen op tafel ligt. Er is sprake van een ‘Veelbelovende’ interventie als deze theoretisch goed is onderbouwd. Als er effectonderzoek is gedaan, kan de interventie, afhankelijk van het type onderzoek en de resultaten, als ‘Doeltreffend’ of ‘Werkzaam’ worden aangeduid. In dit hoofdstuk is de focus gericht op de eerste twee niveaus: die van potentieel en = = = = = = = = = = = = = = = veelbelovend (figuur 2.1). Practice- Based Evidence Werkzaam Doeltreffend Veelbelovend Potentieel Evidence Based Practice Figuur 2.1 Van potentieel naar veelbelovend = = Het goed omschrijven en theoretisch onderbouwen van een interventie blijkt geen gemakkelijke onderneming. Zou dat wel het geval zijn, dan zou het aantal interventies dat op dit moment een goede onderbouwing heeft immers veel groter zijn. Ook in projecten waarin interventies op omschrijving en onderbouwing worden getoetst, blijkt steeds weer dat hier een knelpunt ligt (Bijl, 1996; Delicat, Pijnenburg & Veerman, 2003; Van Yperen, Boendermaker & Hellema, 2004). Toch is die omschrijving en onderbouwing zeer belangrijk. Het geeft aan op basis waarvan men denkt dat deze hulp zal werken. Dat onderscheidt de lekeninterventie van de professionele ingreep (Van Strien, 1984, 1986). Ook biedt de omschrijving en onderbouwing de nodige sturing en een eerste verantwoording van de aanpak. Het geleidt in die zin het praktische handelen in de praktijk. Tevens richt het de vraagstellingen en gegevensverzameling in verder onderzoek: de focus in het onderzoek zal ondermeer op die elementen moeten worden gericht, waarvan is aangegeven dat deze voor het effect van de interventie verantwoordelijk zullen zijn. Gebeurt dat niet, dan wordt elk effectonderzoek een hagelschot. 21

= Wat moet er dan gebeuren om een interventie op het niveau van ‘potentieel’ of ‘veelbelovend’ te brengen? In de eerste plaats moet er een goede omschrijving van de interventie op tafel komen. Afhankelijk van welke informatie daaruit voorhanden is, kan beslist worden of er sprake is van een potentiële, veelbelovende, doeltreffende of werkzame interventies. Figuur = = = = = = = = = = = = = = = = = = = = = = = 2.2 biedt een overzicht van de informatie waar het hier om gaat. Informatie vereist voor ‘Doeltreffend/Werkzaam’ • Informatie vereist voor ‘Veelbelovend’ • • • • • • • • Onderzoek: Beschrijving type en resultaten Nederlands effectonderzoek naar deze interventie (‘Direct bewijs’) Aanpak: Theoretische onderbouwing (het wat, hoe, waarom) Onderzoek: Beschrijving type en resultaten buitenlands effectonderzoek naar deze interventie (‘Indirect bewijs’) Beschrijving type en resultaten Nederlands onderzoek naar soortgelijke interventie (‘Indirect bewijs’) Informatie vereist voor ‘Potentieel’ Naam van de interventie Doel van de interventie Doelgroep van de interventie • Aanpak: - Beschrijving van de methodiek - Uitvoeringseisen en kwaliteitsbewaking Context / Overige randvoorwaarden voor toepassing Uitvoerende organisaties Overeenkomsten met andere interventies • Bronvermeldingen Figuur 2.2 vereiste gegevens voor niveaus effectiviteit De onderste twee vakken laten zien welke gegevens vereist zijn voor de niveaus van potentieel en veelbelovend. Zoals in het vorige hoofdstuk is aangegeven, staan ons verschillende typen onderzoek ter beschikking om de voor die niveaus vereiste informatie op tafel te krijgen. De wijze waarop die studies worden uitgevoerd, komt hier niet aan bod; het er hier om een toelichting te geven op de in figuur 2.2 genoemde items van de onderste twee vakken. In paragraaf 2.2 gaan we eerst kort in op de basiselementen waaruit een omschrijving van een interventie moet zijn opgebouwd om als ‘potentieel’ te gelden. Dan maken we de stap naar de theoretische onderbouwing die een interventie ‘veelbelovend’ kan maken. Dit is in de praktijk vaak een moeilijke barrière die genomen moet worden. We gaan daarom in op de wijze waarop een theoretische onderbouwing is te construeren. We staan stil bij de mechanismen en factoren die het ontstaan en het voortbestaan van een probleem beïnvloeden, en de ingrediënten in de interventie die erop zijn gericht op deze mechanismen en factoren aan te pakken. Het een en ander illustreren we met concrete casusbeschrijvingen. We besluiten met een samenvatting. 2.2 Basiselementen van een interventie met potentie Wat moet er in een beschrijving van een interventie op het niveau van ‘potentieel’ zijn gespecificeerd? Hiervoor zijn in de loop der tijd uiteenlopende werkbladen, formats of 22

= formulieren ontwikkeld (zie o.a. Bijl, 1996; Delicat, Pijnenburg & Veerman, 2003; De Ruyter, 2000; www.jeugdinterventies.nl

). We lopen de verschillende onderdelen kort door. Voor concrete voorbeelden verwijzen we naar www.jeugdinterventies.nl

. Naam van de interventie Het komt vaak voor dat interventies namen hebben die veel op elkaar lijken, of die verkeerd worden begrepen. Bijvoorbeeld, VRIENDEN is een naam die gebruikt wordt voor zowel een programma ter preventie van depressie als een leerstraf van de jeugdreclassering. Een ander voorbeeld: voor opvoeders met kinderen tussen 4 en 12 jaar met ADHD is er het programma ‘Drukke kinderen’. Dat programma treft men soms ook aan onder de naam ‘Druktemakers’. De laatstgenoemde titel wordt echter ook gebruikt voor de aanduiding van een oudercursus et kinderen tussen 1 en 4 jaar. Voor zover bekend is het altijd goed om dit soort mogelijke bronnen van verwarring of misverstanden te vermelden. Doel van de interventie De omschrijving van de interventie dient altijd in expliciete doelen aan te geven wat de beoogde uitkomsten zijn. Deze doelen zijn geformuleerd in eindtermen (bijvoorbeeld: “De jeugdige beschikt over leeftijdsadequate zelfstandigheid”). Doelen die activiteiten aanduiden (bijvoorbeeld: “Het bieden van ondersteuning”) worden hier niet als doel beschouwd. De doelen zijn zo mogelijk SMART geformuleerd (Van Yperen, Meyknecht & Diephuis, 2004): • • • Specifiek (ze hebben betrekking op goed afgebakende gedragingen, vaardigheden, cognities, emoties, situaties); Meetbaar (de mate waarin het doel bereikt wordt, moet in principe meetbaar zijn); Aanvaardbaar (het doel wordt door de meeste uitvoerders van de interventie en door de cliënten onderschreven); • Realistisch (het doel is haalbaar gegeven de inhoud van de interventie); • Tijdgebonden (aangegeven is wanneer het doel moet zijn behaald).

Eventueel zijn de doelen van de interventie uitgesplitst naar subdoelen. Dat laatste betekent echter niet dat de hoofddoelen niet meetbaar hoeven te zijn. Als stelregel geldt hierbij: maak de hoofddoelen zo MART mogelijk. De subdoelen zetten daar de S voor. Doelgroep van de interventie De interventiebeschrijving omvat tevens een definitie van de doelgroep. Die definitie geeft aan voor wie de interventie vooral geschikt (effectief) zal zijn en voor wie niet. In de omschrijving is aangegeven welke demografische kenmerken de doelgroep heeft en/of welke kenmerken de problematiek en de hulpvragen hebben. Als er sprake is van een oorspronkelijke en een later gewijzigde doelgroep, of van verschillende (sub)doelgroepen, is voor alle overige informatie duidelijk op welke doelgroep of subdoelgroep deze betrekking heeft. Gebruikelijk is om de doelgroep weer te geven in indicaties (welke typische kenmerken heeft de doelgroep) en contra-indicaties (welke kenmerken sluiten de cliënten uit van de doelgroep). Daarbij moet bedacht worden dat het uitsluiten van cliënten geen blijk hoeft te zijn van aanbodgericht denken. Goede contra-indicaties maken het mogelijk dat vragen van cliënten helder zijn te beantwoorden. 23

= “Denkt u dat die training wat voor mijn zoon is?” “Nee, deze training is gemaakt voor adolescenten. Uw zoon is daar nog veel te jong voor. We hebben geen idee wat deze training zou doen met kinderen van twaalf jaar. Laten we nog even verder zoeken wat er aan mogelijkheden zijn.” Voorbijgaan aan contra-indicaties bergt voor cliënten en hulpverleners het risico zich in een hulpverleningsavontuur te storten dat niet goed uitpakt. Dat kan niet het doel zijn van vraaggerichte hulp. Maak daarom zo helder mogelijk voor wie een aanbod gemaakt is. Aanpak Onder deze kop worden twee thema’s aangesneden: • Methodiek . Hieronder valt de beschrijving van de activiteiten, de fasering, het aantal contacten, de gebruikelijke duur van de interventie, de frequentie en intensiteit van de contacten (het aantal uren per contacten en het aantal contacten per week of maand), de beschikbaarheid (bijvoorbeeld, tijdens of ook buiten kantooruren), en de locatie waar de activiteiten plaatsvinden. • Uitvoeringseisen. Er wordt tevens een beschrijving gegeven van de specifieke eisen ten aanzien van de opleiding en de supervisie van uitvoerend werkers. Ook kunnen hier specificaties zijn opgenomen over bijzonderheden die gelden ten aanzien van het selectieproces van de cliënten, de kwaliteitsbewaking gedurende de interventie en de evaluatieprocedure die de hulpverlener moet volgen. Naast deze twee onderwerpen kan onder ‘aanpak’ ook aangegeven worden wat de belangrijkste kenmerken van het risico of het probleem zijn waarop de interventie is gericht en welke mechanismen en factoren dat risico of probleem veroorzaken, in stand houden, verergeren of juist verminderen. Vervolgens is aangeduid op welke van deze mechanismen en factoren de interventie is gericht (i.e. wat de doelen zijn) en hoe deze worden aangepakt. Interventies die op deze wijze theoretisch goed zijn onderbouwd, krijgen het predikaat ‘veelbelovend’. Dat betekent dat de interventie in theorie effectief is te noemen: met een helder betoog is aannemelijk gemaakt dat de interventie zou kunnen werken. Dit blijkt vaak het moeilijkste onderdeel van de interventiebeschrijving te zijn. In de paragrafen 2.3 tot en met 2.5 komen we daarom op dit onderwerp uitgebreid terug. Context / Overige randvoorwaarden voor toepassing Hier zijn alle andere vereisten voor de uitvoering te vermelden die met de context van de uitvoering van de interventie te maken hebben en die niet onder de methodische aanpak zijn vermeld. Zoals in hoofdstuk 1 is omschreven, kan het daarbij gaan om de organisatorische randvoorwaarden waaronder de interventie is uit te voeren. Bijvoorbeeld, voor sommige interventies is een indicatiestelling van Bureau Jeugdzorg vereist, voor andere niet. Soms geldt dat een interventie alleen maar met een licentie van een ontwikkelaar is uit te voeren. 24

= Uitvoerende organisaties Wie voert de interventie eigenlijk normaal gesproken uit? Waar is dit aanbod te vinden? Dit blijkt doorgaans heel nuttige informatie te zijn. Op basis hiervan is te zien of een interventie breed gebruikt wordt (zoals Families First ), of dat een aanpak ergens op een gedegen manier is neergezet, maar verder weinig bekendheid heeft gekregen. Overeenkomsten met andere interventies Veel interventies zijn tot een groep van soortgelijke interventies te rekenen. Families First hoort bijvoorbeeld tot de crisisaanpakken binnen de groep van de Intensieve Pedagogische Thuishulp (IPT). En zoals hiervoor al is vermeld, hoort een onderdeel van Minder Boos en Opstandig tot de cognitieve gedragstherapeutische interventies voor kinderen met gedragsproblemen. Het vermelden van dit soort dwarsverbindingen legt ook een verband met de gemeenschappelijke kennis die er is over de toepassing, effectiviteit en beperkingen van interventies. Omdat het belangrijk is die kennis zoveel mogelijk aan te boren, is het nuttig om bij elke aanpak stil te staan bij de vraag: wat heeft deze gemeenschappelijk met andere programma’s? Bronvermelding Tot slot hoort bij elke beschrijving een goede bronvermelding. Dat zorgt ervoor dat relatieve buitenstaanders de mogelijkheid hebben de aangehaalde literatuur zelf te raadplegen. 2.3 De stap naar veelbelovend: belang van theorie en onderzoek Zoals we in de vorige paragraaf hebben aangegeven, bevat de meest basale beschrijving van een interventie uitleg over het hoe van de opbouw. Een goede uitleg van het waarom leidt tot het predikaat ‘veelbelovend’: met een helder betoog is aannemelijk gemaakt dat de interventie effectief zou kunnen zijn. Bij dat betoog zijn twee zaken van belang: een goede theorie en ondersteunend onderzoek. Theorie Een veelbelovende interventie is gebaseerd op een expliciete theorie over de belangrijkste kenmerken van het risico of het probleem waarop de interventie is gericht, de met het probleem samenhangende mechanismen en factoren en de daarop gerichte activiteiten van de interventie. De theorie moet aannemelijk maken dat de interventie effectief is. Dat betekent dat er een geloofwaardig verhaal op tafel moet liggen waaruit is op te maken dat de beschreven activiteiten van de interventie tot gevolg zouden hebben (er de oorzaak van zijn) dat het doel van de interventie wordt bereikt. In vaktermen heet dit: de theorie beschrijft het causale verband tussen de interventie en de gewenste uitkomsten (zie verder ook hoofdstuk 3). 25

= Soms bestaat de indruk dat een goede theorie alleen in een wetenschappelijk kader van belang is. Volgens ons is dat een misvatting. De basis van elk professioneel hulpverlenend handelen wordt gevormd door theorie. Daarbij hoeft niet direct gedacht te worden aan een uitgebreid wetenschappelijk betoog. Het gaat erom dat de interventie bestaat bij de gratie van de opvatting dat de interventie een middel is om een doel te bereiken. Anders gezegd, hulpverlenend handelen wordt gevoed door het idee dat als je een interventie toepast, je bij een cliënt een bepaalde verandering teweeg kan brengen. Daarom past een hulpverlener gezinstherapie toe om interactiepatronen in een gezin te verbeteren. Daarom wordt een cognitieve gedragstherapie gebruikt om het impulsieve en agressieve gedrag van een jongen te beteugelen. Daarom volgt een jeugdige een sociale vaardigheidstraining om zijn omgang met leeftijdsgenoten en volwassenen te verbeteren. Deze theorie zit vaak in de hoofden van de uitvoerders. Voor de kwalificatie ‘Veelbelovend’ moet deze theorie geëxpliciteerd worden en zo mogelijk verbonden worden met theorieën die in de wetenschappelijke literatuur zijn beschreven. Onderzoek Om een theorie zo geloofwaardig mogelijk te maken, doet men er over het algemeen goed aan te verwijzen naar uitgevoerd wetenschappelijk onderzoek. Dit leidt nog wel eens tot verwarring. Onderzoek speelt niet alleen een rol op het niveau van doeltreffende en werkzame interventies (de twee hoogste niveaus op de effectladder). Ook bij veelbelovende interventies zijn resultaten uit studies van belang. Hoe dat zit is te verduidelijken door onderscheid te maken in twee soorten onderzoek. • Onderzoek dat directe aanwijzingen voor de effectiviteit levert.

Dit zijn resultaten uit studies die betrekking hebben op precies die interventie zoals die hier is beschreven. • Onderzoek dat indirecte aanwijzingen (‘ circumstantial evidence ’) levert. De effectiviteit van een interventie wordt (nog) meer aannemelijk, naarmate er positieve resultaten zijn bij andere interventies die ongeveer dezelfde kenmerken hebben als die hier is beschreven. Het gaat dan bijvoorbeeld om resultaten uit studies (primaire studies, reviews en meta analyses) met betrekking tot buitenlandse versies van de interventie (zoals het Coping Power Program , dat de Amerikaanse variant is van het Nederlandse Minder boos en opstandig ). Ook gaat het om onderzoek naar de effectiviteit van Nederlandse interventies die tot hetzelfde type of dezelfde familie behoren (zoals het programma Zelfcontrole sterk vergelijkbaar is met de kind-component in Minder boos en opstandig : beide behoren tot de groep van cognitieve gedragstherapeutische interventies voor kinderen met gedragsproblemen). Directe aanwijzingen voor effectiviteit zijn een vereiste om een interventie op het niveau van ‘doeltreffend’of ‘werkzaam’ te mogen plaatsen. Indirecte bewijsvoering kan van nut zijn om de geloofwaardigheid van een onderbouwing op het niveau van ‘veelbelovend’ te versterken. Feitelijk biedt men met dat type bewijs ondersteuning aan de theorie dat de interventie zou kunnen werken. Van belang is dan aan te geven wat voor type onderzoek het hier gaat en wat daaruit te concluderen is. Immers, dan pas is helder wat de waarde van deze indirecte bewijsvoering is. 26

= Het nut van de theorie Er is een belangrijke parallel tussen de behandeling van een individuele jeugdige en een theorie die aan een interventie in het algemeen ten grondslag moet liggen. Verschillende auteurs pleiten er namelijk voor de interventie bij elke cliënt van een goede rationale te voorzien (zie bijvoorbeeld Kazdin, 2001; Swanborn, 1999; Veerman, Damen & Ten Brink, 2000; Weersing & Weisz, 2002). In de wetenschappelijke literatuur wordt deze rationale ook wel de theorie van het individuele geval of de N=1-theorie genoemd (Van Strien, 1984). Deze theorie verschaft de basis van het hulpverlenend handelen. De drie casus illustreren dit. • John (17 jaar) is opgenomen in een justitiële jeugdinrichting wegens herhaald delinquent gedrag. Hij komt uit een achterstandsbuurt waar veel criminaliteit heerst. Hij krijgt een training in sociale competentie en een scholingsaanbod om uiteindelijk het risico op recidive te verkleinen. Het achterliggende idee daarbij is dat een gebrek aan sociale competenties en gebrekkige scholing risicofactoren zijn in het voortbestaan van delinquent gedrag. Door de interventie op deze risicofactoren te richten, zou de kans op recidive worden verkleind, zo is de gedachte. • Steven is een 15-jarige puber van ouders die met hevige onderlinge conflicten zijn gescheiden. Hij woont nu bij zijn moeder. De klacht is dat hij niet naar haar luistert en dat hij agressief en opstandig is. De hulpvraag van de moeder is: “help ons dat het gedrag van Steven minder problematisch is”. Steven hij vindt dat de ouders van de scheiding “een klerezooitje” hebben gemaakt; aan zijn lichaamstaal is te zien dat dit hem erg hoog zit. Wel is hij het er mee eens dat hij minder snel boos moet worden. De hulpverlener denkt dat Steven de echtscheiding niet goed heeft verwerkt en dat dit een belangrijke oorzaak van het gedrag van Steven is. Daarnaast is de hulpverlener van mening dat Steven’s cognities en emoties over sociale situaties in het algemeen een rol spelen. De hulpverlener stelt daarom voor een cognitieve therapie toe te passen en gesprekken te voeren met het gezin. De veronderstelling van de hulpverlener is daarbij dat het agressieve en opstandige gedrag minder zal worden door de aanpak van Steven’s cognities en door de verwerking van de echtscheiding via deze twee interventies. • Het gezin van Sanne (4 jaar) is een typisch multi-probleemgezin. Er is sprake van een chaotische situatie, waarin financiële en huisvestingsproblemen spelen, de ouders pedagogisch ernstig tekortschieten en beide sociale en psychische problemen vertonen. Het meisje heeft duidelijk geen veilig milieu, ze vertoont een taalachterstand, is ’s nachts onzindelijk en heeft driftaanvallen. De ouders hebben al verschillende hulpverleners gehad, maar hebben weinig vertrouwen in de jeugdzorg. Door ernstige zorgen van school is Sanne nu onder toezicht gesteld door de rechter. Volgens de gezinsvoogd is Sanne’s normale ontwikkeling te herstellen door de ouders er toe te dwingen orde in hun gezin te scheppen en te kiezen voor de kinderen. Alternatief is het ontwikkelingsherstel te bevorderen door het meisje in een goed pleegezin te plaatsen. Mogelijk verlies van hun kind moet de ouders confronteren met de ernst van de situatie en hen motiveren een laatste redmiddel in te zetten: een combinatie van intensieve pedagogische thuishulp en gedragstherapie van Sanne. De gezinsvoogd maakt in dat kader met de ouders een lijst van punten waaraan een goede opvoedingssituatie van kinderen als Sanne moet voldoen (gebaseerd op de principes van rust, regelmaat en reinheid). De ouders maken ook een lijst van het irritante gedrag dat ze bij Sanne willen veranderen. 27

= Elk van de bovenstaande beschrijvingen zijn feitelijk kleine theorieën over wat de mechanismen en factoren zijn die bij een probleem in het spel zijn en hoe de interventies op deze factoren zijn te beïnvloeden. Voor de beschrijving van een interventie op een meer algemeen niveau is dat niet anders. Feitelijk gaat het in dat geval om de vraag: wat zijn de mechanismen en factoren die in het spel zijn bij jeugdigen zoals John, Steven en Sanne? Hoe kan een interventie daarop ingrijpen? Een goede theorie over een interventie biedt dan ook inzicht in twee zaken. • De mechanismen en factoren die in het spel zijn.

Ten eerste moet helder gemaakt worden waar de interventie bij een cliënt op is gericht en waarom dat zo is. Veerman e.a. (2000) spreken hier over de ontstaanstheorie die ten grondslag ligt aan een interventie. Meer in het algemeen gaat het hier om de vraag welke risico- en protectieve mechanismen en factoren bij het ontstaan, de instandhouding, de versterking of juist de afzwakking van een probleem een rol spelen. De theorie maakt duidelijk welke van deze factoren zich lenen als aangrijpingspunt voor de interventie. • De werkzame ingrediënten van de interventie.

Ten tweede is het van belang helder te maken hoe men denkt de beïnvloeding te plegen, welke interventievorm of vormen daarvoor adequaat zijn. Veerman e.a. (2000) spreken hier over de behandelingstheorie die ten grondslag ligt aan een interventie. Rossi, Lipsey & Freeman (2004) noemen dit de impact theory. Deze theorie geeft aan wat de werkzame bestanddelen van een interventie zijn, en hoe deze ingrediënten de mechanismen en factoren die het probleem veroorzaken of instandhouden aanpakken om langs die weg het doel van de interventie te bereiken. In de volgende paragrafen gaan we op deze onderwerpen nader in. 2.4 Orde in een kluwen van factoren Bij elk probleem waarmee cliënten zich bij de jeugdzorg melden zijn mechanismen en factoren in het spel die het probleem veroorzaken, instandhouden, verergeren of juist verzachten of oplossen. Het gaat hier om risicofactoren zoals het wonen in een achterstandsbuurt, het verkeren in een vriendenkring waarin veel delinquent gedrag voorkomt, echtscheiding in gezinnen. Ook gaat het om mechanismen die een probleem instandhouden of verergeren, zoals een voortdurende negatieve wisselwerking tussen ouder en kind. Voorts gaat het om protectieve factoren zoals het hebben van een betekenisvol persoon in de omgeving die de jeugdige opvangt, het beschikken over een goede intelligentie en over humor, het beschikken over een goede vorm van dagbesteding (school, werk). Daarnaast betreft het mechanismen die een probleem een dynamisch karakter geven, zoals de biologische rijping van een kind, het intreden van een nieuwe ontwikkelingsfase van een jeugdige of een gezin, het verschijnen van nieuwe personen in het leven van de jeugdige. Al deze mechanismen en factoren omgeven het risico of het probleem als een kluwen. De kunst is om hier enige orde in te scheppen en te zoeken naar aangrijpingspunten om te kunnen interveniëren. Deze orde schept men in de eerste plaats door wat Veerman e.a. (2000) de ontstaanstheorie van een risico of probleem noemen. In deze theorie is aangegeven wat de belangrijkste factoren en mechanismen zijn die in het spel zijn. De kunst is vervolgens om deze ontstaanstheorie om te zetten in een wat Veerman noemt behandelingstheorie . Deze 28

= geeft aan waar de aangrijpingspunten liggen voor de interventie en hoe die aangrijpingspunten aangesproken kunnen worden. Het formuleren van die behandelingstheorie gebeurt in een aantal stappen. De eerste vraag die hierbij relevant is, betreft het doel van de interventie: wil men dat er iets verandert en - zo ja – wát moet er dan veranderen? Dit zorgt ervoor dat de focus wellicht al wat meer wordt gericht. Vervolgens is het nuttig om twee soorten mechanismen en factoren te onderscheiden (zie figuur 2.3; zie ook Petrosino, 2000; Offord & Chmura Kraemer, 2000; Van Yperen, 2001; = Van de Wiel, 2002): In het spel zijnde mechanismen en factoren Kern probleem Figuur 2.3 Beïnvloedbare en niet-beïnvloedbare mechanismen en factoren = beïnvloedbaar, en benut = beïnvloedbaar, maar niet benut • Beïnvloedbare mechanismen en factoren. Hier gaat het om risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die in de interventie gebruikt kunnen worden om het probleem aan te pakken, omdat ze door de interventie veranderbaar of manipuleerbaar zijn. In de wetenschappelijke literatuur noemt men dit de dynamische factoren of de mediatoren. In figuur 2.3 zijn deze weergegeven met de witte en licht gestippelde bolletjes. Het zijn bij wijze van speken “de knoppen waaraan je kunt draaien” om de gewenste verandering tot stand te brengen. Het komt zelden voor dat met álle factoren en mechanismen die in principe beïnvloedbaar zijn met de interventie aanspreekt. Doorgaans spitst de interventie zich op een paar toe. In de figuur zijn dit de witte bolletjes. Het gaat hier bijvoorbeeld om de scholing en de sociale competentie bij jongens als John, of de sociale cognities en de verwerking van de echtscheiding bij de doelgroep met jeugdigen als Steven. • Niet-beïnvloedbare mechanismen en factoren.

Dit betreffen risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die niet via de interventie beïnvloedbaar zijn, maar die er wel voor zorgen dat de interventie bij de aanwezigheid van deze factoren gewoonlijk succesvoller of juist minder succesvol verloopt. De wetenschappelijke literatuur spreekt hier van moderatoren (de donkere bolletjes in figuur 2.3). Bij John zijn bijvoorbeeld het criminele milieu en de achterstandsbuurt waar hij uit komt niet-beïnvloedbare factoren (moderatoren) die een rol spelen. Bij John zal dus het mechanisme spelen dat - zodra hij weer in dit milieu terugkomt – de kans op recidive verhoogd wordt. Ook weten we dat jongens statistisch gezien een grotere kans hebben om (weer) in criminaliteit te vervallen dan meisjes. Bij Steven weten we dat de situatie van de gescheiden ouders steeds een nieuwe bron van stress kan vormen, dat opstandig gedrag 29

= voor een deel aan de puberteit kan liggen, en dat jongens over het algemeen eerder met agressief en opstandig gedrag reageren dan meisjes. Anders gezegd: mechanismen en factoren die volgens de theorie beïnvloedbaar zijn, maken duidelijk wat de aangrijpingspunten van de interventie kunnen zijn, terwijl de niet-beïnvloedbare mechanismen en factoren onderscheidend werken naar de gevallen waarvoor de aangrijpingspunten in meer of mindere mate benut kunnen worden. Figuur 2.4 geeft het resultaat van deze ordenende stap weer. Kern probleem Hulp vraag = In het spel zijnde mechanismen en factoren Mechanismen/factoren die met de interventie benut worden (Dynamische factoren / Mediatoren) Einddoel inter ventie Resul taat Van invloed zijnde mechanismen en factoren die niet met de benut worden of die niet beïnvloedbaar zijn Figuur 2.4 Ordening van de mechanismen en factoren ( Moderatoren) (Voor verklaring van betekenis van de bolletjes, zie figuur 2.3) Figuur 2.4 is door een hulpverlener te gebruiken om zijn hulpverleningsplan te maken. Tevens is de figuur te gebruiken om meer in algemene termen een interventietheorie op te bouwen, bijvoorbeeld voor een interventie gericht op een doelgroep van jongens als John of Steven, of voor gezinnen als van Sanne. De figuur geeft aan dat eerst de focus wordt gericht op de hulpvraag: wat moet er gebeuren? Dat bepaalt het uiteindelijke doel van de interventie. Bijvoorbeeld, bij jongens als Steven is de klacht dat ze zo’n agressief en opstandig gedrag vertonen. De hulpvraag is vaak: help ons dit gedrag te verminderen. Voor de interventietheorie analyseert men met het oog op deze hulpvraag de situatie op de mogelijke werking van oorzakelijke, versterkende, instandhoudende of juist positief werkende mechanismen en factoren. Bij de doelgroep van agressieve pubers leidt dit tot de theorie dat de cognities van de jeugdigen omtrent sociale situaties in het algemeen en de communicatie in het gezin belangrijke – en bovendien met de interventie beïnvloedbare – factoren zijn. In de interventie vormen dit belangrijke aangrijpingspunten om het einddoel te bereiken. Maar het resultaat van de interventie zal mede bepaald worden door enkele factoren waar rekening mee moet worden gehouden. Zo zitten de jeugdigen in een leeftijd waar opstandig gedrag heel normaal is; de puberteit is nu eenmaal niet met de interventie beïnvloedbaar. Het einddoel streeft dan ook geen afwezigheid van agressief en opstandig gedrag na, maar een voor de leeftijd en geslacht normaal niveau van dat gedrag. In dat geval is te verwachten dat het uiteindelijke resultaat het dichtst in de buurt komt van het gestelde doel. 30

= Analoog aan de drie eerder gepresenteerde casus ziet elke theorie er schematisch als volgt uit (figuur 2.5). Doel groep Kern probleem Jongens als John Notoir delinquent gedrag, achterstands buurt en crimineel milieu Typische hulpvraag Rechter: Help de jeugdige niet meer in delinquentie te vervallen Mechanismen en factoren wel/niet beïnvloedbaar zijn via de interventie Beïnvloedbaar en benut: Sociale competentie en schoolsucces Van invloed, maar niet beïnvloedbaar: Sekse, achterstandsbuurt, crimineel milieu Einddoel van de interventie Kans op recidive is verkleind tot normaal niveau Jeug digen als Steven Agressief en opstandig pubergedrag Ouders en/of leerkrachten: Help ons dat het gedrag normaal wordt. Beïnvloedbaar en benut: Cognities over sociale situaties en communicatie in gezin Van invloed, maar niet beïnvloedbaar: Meegemaakte gebeurtenissen (bijv. echtscheiding ouders), puberteit en sekse Gezinnen als van Sanne Financiële, huisvestings-, pedagogi sche, sociale en psychische problemen, weinig gemotiveerd Samenleving / eventueel rechter: help Sanne aan een veilig en perspectiefvol opvoedings klimaat Beïnvloedbaar en benut: Motivatie ouders, Sanne’s woonplek, opvoederscompetenties ouders, ontwikkelingsniveau Sanne, gedrag Sanne. Van invloed, maar niet beïnvloedbaar: Financiële, huisvestings- en psychische problemen ouders Figuur 2.5 Theorieën voor de aanpak van verschillende doelgroepen Agressief en opstan dig gedrag is tot normale proporties teruggebracht Sanne woont in een veilig gezin en zij ontwikkelt en gedraagt zich normaal Op het eerste gezicht lijkt het hier te gaan om erg theoretische begrippen. Toch is dit niet het geval. Met name drie thema’s hebben veel praktisch belang. Specifieke doelen gericht op de mechanismen en factoren Hulpverleners in de praktijk werken vaak niet direct aan het einddoel, maar splitsen dat einddoel op in meer specifieke doelen. Deze kunnen betrekking hebben op de mechanismen en factoren die het probleem van de doelgroep veroorzaken, instandhouden, versterken of juist verminderen of die de gewenste situatie helpen bereiken. De theorie over deze mechanismen en factoren helpen dan ook de interventiestrategieën te bepalen: ze geven een verantwoording van wat belangrijk is om aan te pakken en soms ook in welke volgorde. Hosman (1994) schetst in dat verband verschillende modellen die de verhouding tussen specifieke doelen en het einddoel kunnen aangeven. Figuur 2.6 toont een paar varianten, door ons aangevuld met een verbinding tussen een specifiek doel en een ‘achterliggende’ factor waarop het doel betrekking heeft. De eerste variant (Model I) gaat uit van twee doelen die een interactief effect hebben. Bijvoorbeeld, een jongen kan thuis blijven wonen als zowel zijn gedragsproblemen verminderd zijn als de opvoedingsvaardigheden van zijn ouders op een aanvaardbaar niveau zijn gebracht. Deze twee aspecten beïnvloeden elkaar, maar elk voor zich levert de realisatie van een specifiek doel niet op dat het einddoel ook maar enigszins in zicht komt. Model II gaat uit van een additief effect. Bijvoorbeeld, het doel van een kamertraining is dat jongeren met succes zelfstandig kunnen wonen. Om dat te bereiken, gelden als specifieke doelen: hij of 31

= zij heeft een inkomen om de huur te betalen, de jongere geeft geen overlast naar buren of buurt, hij of zij doet voldoende aan zelfverzorging. Elk van deze specifieke doelen draagt afzonderlijk bij aan de mate waarin het zelfstandig wonen met succes verloopt. = Model I. Twee neven schikkende doelen met gezamenlijk (interactief) effect Einddoel Model II. Drie neven schikkende doelen met apart (additief) effect Einddoel Model III. Doelen in een functionele doelenketen X Figuur 2.6 Einddoelen en specifieke doelen Y Einddoel = specifiek doel = beïnvloedbare en benutte factor Model III plaatst doelen in een keten. Hier gaat het bijvoorbeeld om basale sociale vaardigheden die een jongere eerst moet beheersen (X), voordat hij in een werksetting in een team en onder een baas kan functioneren (Y), hetgeen moet bijdragen aan een geringere kans op het begaan van delicten (Einddoel). Elk van deze specifieke doelen kan gericht zijn op de aanpak van een specifieke factor of een mechanisme dat speelt. Is dat bij een interventie niet goed doordacht, dan loopt de hulpverlener het risico dat hij of zij aan zaken werkt, waarvan niet duidelijk is of die nu wel of niet iets met het centrale probleem te maken hebben en of deze nu wel of niet leiden tot het einddoel. Niet-beïnvloedbare factoren en haalbaarheid interventie Interventies zijn logischerwijs gericht op de beïnvloedbare (dynamische) mechanismen en factoren bij een probleem. Als de interventie onvoldoende berekend is op de werking van niet-beïnvloedbare of niet-benutte mechanismen en factoren, dan is de kans groot dat het uiteindelijke effect teleur stelt. Dat zien we duidelijk bij doelgroepen met jeugdigen zoals John: ondanks scholing en training in sociale vaardigheden kunnen zij na terugkeer in hun buurt toch weer gemakkelijk in de fout gaan. De regel die hier van toepassing is, is eigenlijk heel simpel: Eindresultaat = Effect interventie beïnvloede factoren – werking niet-beïnvloede factoren De regel stelt dat hoe sterker de werking is van de niet-beïnvloedbare en niet-benutte mechanismen en factoren, hoe groter het effect van de interventie moet zijn op de wél beïnvloedbare en benutte mechanismen en factoren, wil er een goed eindresultaat uit de bus komen. Prettige gedachte hierbij is dat sommige mechanismen en factoren misschien via andere wegen aan te pakken zijn dan de interventie die hier aan de orde is. Bijvoorbeeld, het feit dat jongens zoals John hun thuisbasis in een achterstandsbuurt hebben, geldt voor de jeugdzorgwerker als een niet-beïnvloedbare factor. Voor een gemeenteambtenaar ligt dat 32

= anders: in principe is een achterstandsbuurt via sociaal beleid van de gemeente aan te pakken. Een ambtenaar die belast is met het sociaal beleid zal daarom de achterstandsbuurt kunnen beschouwen als een wel-beïnvloedbare en goed te benutten factor om de criminaliteit bij jeugdigen als John terug te dringen (op die achterstandsbuurt heeft hij invloed), terwijl voor hem de sociale competentie van jeugdigen juist een niet-beïnvloedbare factor is (daar heeft hij met het beleid geen vat op). Als de jeugdzorg en het lokaal jeugdbeleid de krachten bundelen, stijgt dus het aantal factoren waarop met een (gezamenlijke) interventie effect te scoren is. Het gevolg is dat een hoger gesteld einddoel haalbaar is, dan wanneer die krachtenbundeling niet plaatsvindt. Iets soortgelijks zien we bij Sanne. Schuldsanering, arbeidsbegeleiding, huisvesting en behandeling van psychische problemen bij volwassenen liggen niet op het terrein van de jeugdzorg. Door samen te werken met sociale diensten en de volwassenen-ggz is echter veel te bereiken. Indicatie- en contra-indicatiecriteria De aanwezigheid van bepaalde niet-beïnvloedbare of niet-benutte factoren kan een reden zijn om een interventie niet bij een cliënt toe te passen. Bijvoorbeeld, als een aanpak de wijze waarop een jeugdige redeneert wil beïnvloeden, kan een verstandelijke handicap een factor zijn die een succesvol resultaat in de weg staat. In dat geval wordt de verstandelijke handicap als een contra-indicatie aangeven voor de toepassing van de interventie. Conclusie Dit alles laat zien dat theorie erg belangrijk is. In de theorie is uiteen gerafeld wat het einddoel is en welke mechanismen en factoren bij een interventie als aangrijpingspunt voor specifieke doelen en activiteiten kunnen worden gebruikt. Tevens maakt de theorie helder welke (overige) factoren in het spel zijn die de haalbaarheid van een interventie bepalen. Ook zal duidelijk zijn dat deze theorie niet noodzakelijk een hoog-abstract en ingewikkeld verhaal hoeft te zijn. Het kan ook gaan om een simpele redenatie die iedereen kan volgen en kan opzetten. 2.5 De werkzame ingrediënten: algemeen en specifiek Bij de hierboven beschreven elementen van de theorie staat het onderscheid centraal op wat de interventie zich richt. In deze paragraaf komen begrippen aan de orde die aangeven hoe een interventie werkt. Ook hierbij is het goed om weer een onderscheid te maken in de verschillende soorten factoren die een rol spelen. We noemen deze de werkzame ingrediënten van een interventie (zie ook Van Yperen, 2001). • Algemeen (non-specifiek) werkzame ingrediënten zijn onderdelen van een interventie die tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep. Bekende voorbeelden van deze factoren zijn: o o o aansluiting bij de motivatie van de cliënt; goede kwaliteit van de relatie cliënt-behandelaar; een goede ‘fit’ van het probleem en de hulpvraag enerzijds en de specifieke invulling van de interventie anderzijds; 33

= o o o o een goede structurering van de interventie (duidelijke doelstelling, planning en fasering); uitvoering van de interventie zoals deze uitgevoerd hoort te worden; professionaliteit (goede opleiding en training) van de behandelaar; goede werkomstandigheden van de behandelaar (aan de belangrijkste randvoorwaarden is voldaan, zoals draaglijke caseload, goede ondersteuning, veiligheid van de hulpverlener, goede inbedding in de organisatie). • Specifiek werkzame ingrediënten zijn de werkzame elementen die alleen gelden voor bepaalde typen interventies, in de context van bepaalde doelen en voor bepaalde doelgroepen. Voorbeelden zijn: o bij jeugdigen met ernstige gedragsproblemen lijken individuele interventies effectiever in het terugdringen van deze gedragsproblemen dan groepsinterventies; gezinsgerichte interventies lijken effectiever als er tegelijk gewerkt wordt met gedragstherapeutische o interventies (zie Bartels, Schuursma & Slot, 2001); Anger Coping blijkt effectiever bij het tegengaan van gedragsproblemen bij o oppositioneel gedrag en proactieve agressie dan bij reactieve agressie (Orobio de Castro, 2001). Allochtone cliënten hechten doorgaans meer waarde aan de rol van het geloof bij het oplossen van problemen; eventuele inschakeling van een geestelijke bij de hulpverlening kan in een aantal gevallen goed werken (Hosper, Konijn & Vollenbergh, 2001). De resultaten van een interventie worden altijd bepaald door een optelsom van de werkzame ingrediënten. Uitgewerkt naar de drie eerder geschetste doelgroepen ziet dit er als volgt uit (figuur 2.7). Doelgroep Jongens als John Jeugdigen als Steven Kernprobleem Delinquent gedrag, achterstandsbuurt, crimineel milieu Agressief en opstandig gedrag, traumatische echtscheiding ouders. Interventie Wat wordt beïnvloed Hoe wordt beïnvloed Sociale competentie Schoolsucces Cognities over sociale situaties, communicatie in het gezin Gezinnen als van Sanne Financiële, huisves tings-, pedagogische, sociale en psychische problemen, weinig gemotiveerd Motivatie ouders, Sanne’s woonplek, opvoeders competenties ouders, ontwikkelingsniveau Sanne, gedrag Sanne Figuur 2.7 Het hoe en wat van interventies: voorbeelden Algemene ingrediënten + Competentietraining Scholing Algemene ingrediënten + Cognitieve therapie Gesprekken tussen ouders en jeugdige Algemene ingrediënten + Dreiging uithuisplaatsing Intensieve ped. Thuishulp Gedragstraining Sanne Einddoel Kans op recidive is verkleind tot normaal niveau Agressief en opstandig gedrag is tot normale proporties teruggebracht. Sanne woont in een veilig gezin en zij ontwikkelt en gedraagt zich normaal Idealiter zijn de algemeen werkzame ingrediënten in alle drie de interventies aanwezig. Ze vormen immers de basis van goede hulpverlening. Zonder deze basis kunnen allerlei andere ingrediënten in hun werkzaamheid sterk worden beknot. Daarbovenop moet helder zijn welke specifiek werkzame ingrediënten in de interventie zijn verpakt. Hier vertonen de doelgroepen duidelijke verschillen. Deze verschillen hangen samen met de opvatting of de theorie die de aanbieder van de interventie heeft over wat wel en niet werkt bij de doelgroep. De keuze van de specifiek werkzame ingrediënten is immers niet vanzelfsprekend, maar afhankelijk van het type probleem dat aan de orde is en de beïnvloedbare mechanismen en factoren die bij de jeugdigen in de doelgroep het aangrijpingspunt vormen voor de interventie. 34

= 2.6 Samenvatting Een goede beschrijving maken van een interventie is een voorwaarde om de aanpak potentieel effectief te laten zijn. Immers, helder moet zijn waarvoor de interventie dient, op wie die is gericht en waaruit die bestaat. Om dit helder te maken, is aangegeven uit welke elementen een beschrijving van een interventie minstens moet bestaan: a.

Naam van de interventie b.

Doel van de interventie c.

Doelgroep van de interventie d.

Omschrijving van de aanpak e.

Randvoorwaarden voor toepassing f.

Uitvoerende organisaties g.

Overeenkomsten met andere interventies h.

Bronvermelding Wil een interventie als veelbelovend worden aangemerkt, dan zal er ook een theoretische onderbouwing moeten zijn. Immers, slechts dan is het ook aannemelijk dat de aanpak effectief zou kunnen zijn. In dit hoofdstuk is aangegeven wat er voor nodig is om de onderbouwing van de grond te krijgen. Daarbij is duidelijk gemaakt dat het niet hoeft te gaan om een ingewikkelde en abstracte wetenschappelijke theorie. Het gaat erom dat er een logisch verhaal op tafel ligt waarin zeven zaken zijn uitgelegd (zie ook figuur 2.7): a.

Wat is het risico of het probleem dat centraal staat? b.

Welke hulpvraag is in dat verband gebruikelijk en welke doelen zijn aan die hulpvraag gekoppeld? c.

Welke mechanismen en factoren veroorzaken het probleem, houden dit probleem in stand, verergeren het of maken het juist minder erg? d.

Welke van deze mechanismen en factoren lijken wel en niet beïnvloedbaar? e.

f.

Welke beïnvloedbare factoren en mechanismen worden gebruikt om het doel te bereiken? Met welke algemene en specifieke activiteiten worden deze beïnvloedbare factoren aangepakt? g.

Welke niet-beïnvloedbare factoren vormen een dusdanige barrière voor het behalen van resultaat, dat deze als een contra-indicatie moeten gelden? De geldigheid van deze onderbouwing kan ondersteund zijn met indirect bewijs uit onderzoek naar soortgelijke interventies in binnen- of buitenland. Belangrijk is dan wel dat er zicht is op de kenmerken en de resultaten van het onderzoek. Alleen dan is in te schatten wat deze bewijsvoering waard is. Een veelbelovende interventie verdient het voordeel van de twijfel. Cliënten zouden wellicht een dergelijke behandeling willen hebben, financiers zouden bereid kunnen zijn hiervoor gelden beschikbaar te stellen. Alleen: de effectiviteit is tot dusver een papieren kwestie. Of de verwachte resultaten ook echt worden bereikt, moet nog blijken. Om daar zicht op te krijgen is onderzoek nodig. 35

= = = = = = = = = = = = = = = = = = = ======== 3. Wat zijn de in het spel zijnde mechanismen en factoren? = 6. Hoe worden elk van de factoren beïnvloed? Algemeen en specifiek werkzame ingrediënten jeugdzorginterventies = = = = = = = = = = = 1. Wat is het kern probleem ? = = 2. Wat is de hulp vraag ?

========= ====== 4. Wat is beïnvloedbaar? 5. Welke factoren worden benut? (Dynamische factoren of mediatoren) 2. Wat is het doel ? Van invloed zijnde, maar niet benutte of beïnvloedbare mechanismen/factoren (moderatoren) 7. Welke contra-indicaties? = = = == (Verwachting: het resultaat is een antwoord op de hulpvraag) ====== Figuur 2.8 Het hoe en wat van interventies (Voor verklaring van betekenis bolletjes, zie figuur 2.3) Resultaat 2.7 Bronvermelding Bartels, A.J., Schuursma, S. & Slot, W. (2001). Interventies. In: R. Loeber, N.W. Slot & J.A. Sergeant (Red.). Ernstige en gewelddadige jeugddelinquentie. Omvang, oorzaken en interventies (p. 291-318). Houten: Bohn Stafleu Van Loghum. Bijl, B. (1996). Innovaties in de jeugdhulpverlening. Over het rendement en de soliditeit van nieuwe hulpprogramma’s. Academisch proefschrift. Leiden: DSWO Press. Delicat, J.W., Pijnenburg, H.M. & Veerman, J.W. (2003). Op weg naar zorgprogrammering in Gelderland. Een eerste beoordeling van de kwaliteit van ontwikkelde jeugdzorgmodules.

Nijmegen: Katholieke Universiteit, ACSW/ Praktikon. Hosman, C.M.H. (1994). Omgaan met doelen in de preventieve geestelijke gezondheidszorg. Nijmegen: Universiteit Nijmegen. Hosper, K., Konijn, C. & Vollebergh, W. (2001). Jonge allochtonen en hulp bij psychische problemen. Verbetering van de kwaliteit en toegankelijkheid van de ambulante GGZ.

Utrecht: Trimbos-instituut. Kazdin, A.E. (2001). Progression of therapy research and clinical application of treatment require better understanding of the change process. Clinical Psychology: science and practice, 8 , 143-151. Offord, D. & Chmura Kraemer, H. (2000). Risk factors and prevention. Evidence Based Mental Health, 3 , 70-71. Orobio de Castro, B. (2001). Emoties en sociale cognities van kinderen en jongeren met antisociale gedragsproblemen. Kind en Adolescent, 22 , 281-294. Petrosino, A. (2000). Mediators and moderators in the evaluation of programs for children. Current practice and agenda for improvement. Evaluation Review, 24, 47-72. Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation. A systematic approach (7 th Ed.). Thousand Oaks: Sage. 36

Ruyter, D.J. de (2000). Schrijven van modules en zorgprogramma’s in de jeugdzorg. Handleiding.

Utrecht: NIZW. Strien, P.J. van (1984). Naar de verwetenschappelijking van de praktijk. Tijdschrift voor Orthopedagogiek, 23, 162 180. Strien, P.J. van (1986). Praktijk als wetenschap. Methodologie van het sociaal-wetenschappelijk handelen.

Assen: Van Gorcum. Swanborn, P.G. (1999). Evalueren. Het ontwerpen, begeleiden en evalueren van interventies: een methodische basis voor evaluatie-onderzoek.

Amsterdam: Boom. Veerman, J.W., Damen, H. & Brink, L.T. ten (2000). Een werkmodel voor evaluatieonderzoek in de jeugdzorg.

Nijmegen: Academisch Centrum / Praktikon. Weersing, V.R. & Weisz, J.R. (2002). Mechanisms of action in youth psychotherapy. Journal of Child Psychology and Psychiatry, 43 , 3-29. Wiel, N. van de (2002). The effect of manualized behaviour therapy with disruptive behaviour disordered children in everyday clinical practice: a randomised clinical trial. Academisch proefschrift.

Utrecht: Universiteit Utrecht Yperen, T.A. van (2001). Antisociaal gedrag en jeugddelinquentie: valt er wat te keren? Kind en Adolescent 22, pag 326-341. Yperen, T.A. van, Boendermaker, L. & Hellema, M. (2004). Indicatie, modules en bekostiging. Utrecht: NIZW Jeugd. Yperen, T. van, Meyknecht, G. & Diephuis, K. (2004). Werken met doelrealisatie. Handreiking formuleren en evalueren van hulpverleningsdoelen. In: P. Bodegraven (Red.), Doelrealisatie. Programma Kwaliteitszorg in de jeugdzorg II (p. 25-56). Utrecht: GGZ Nederland / Maatschappelijke Ondernemers Groep. = 37

= 38

=

Hoofdstuk 3. Een kwestie van bewijzen …

Bas Bijl en Tom van Yperen 3.1 Gemakkelijk gezegd, moeilijker te meten “Wat zou er met Erik gebeuren als we hem níet uit huis zouden plaatsen?” “De training draagt er toe bij dat met de jongeren een redelijk stevig sociaal netwerk kan worden opgebouwd” “Jeugdige delinquenten blijken succesvol te kunnen worden behandeld met intensieve, ambulante therapievormen voor het gezin, zoals Multi Systemic Therapy en Functional Family Therapy .” Zo maar wat uitspraken uit en over de praktijk van de jeugdzorg. Zij zijn weliswaar van verschillende orde, maar hebben de onderliggende veronderstelling gemeen. En dat is dat hulpverleners door in te grijpen bepaalde veranderingen kunnen bewerkstelligen bij cliënten. Hulpverlening draait immers om verandering. Verandering in de zin van verbetering, van oplossen van onbevredigende situaties, van stopzetten en – als het even kan – ombuigen van negatieve ontwikkelingen, van bevorderen van gewenst gedrag, van versterking van aanwezige krachten. Er wordt van ‘buitenaf’ ingegrepen in een proces dat zich in ongewenste of ongunstige richting ontwikkelt of dreigt te ontwikkelen. Uitspraken zoals hierboven veronderstellen het bestaan van een causaal verband tussen een bepaalde (verwachte) uitkomst en acties die daar (al dan niet) aan vooraf zijn gegaan. In het vorige hoofdstuk kwam de causaliteit tussen interventie en uitkomst ook al aan de orde. Daar ging het erom dat de theorie aannemelijk moet maken hoe de interventie de gewenste uitkomsten ‘veroorzaakt’. Maar het bleef daar vooral een ‘papieren kwestie’. Op het niveau van ‘Veelbelovend’ wordt in woorden aannemelijk gemaakt dat de interventie effectief zou kunnen zijn. Dit hoofdstuk gaat over de bewijsvoering van het veronderstelde causale verband. De vraag is nu: hoe kun je met feiten aantonen dat de interventie er werkelijk ‘toe doet’, dat met de verstrekte behandeling of begeleiding de nagestreefde verandering is gerealiseerd. Op de ‘effectladder’ zijn we daarmee op de hoogste sporten beland (zie figuur 3.1 op de volgende pagina). Twee vragen komen daarbij steeds aan de orde. Allereerst, voldoet de interventie aan zijn doel (niveau ‘Doeltreffend’)? En vervolgens, is het de interventie – en niets anders dan de interventie – die verantwoordelijk is voor het resultaat (‘Werkzaam’)? Doorgaans is het doen van uitspraken over oorzaak-gevolg relaties gemakkelijker dan het bewijzen ervan. De weg naar de aantoonbare causale relatie kent namelijk nogal wat obstakels. Wij zullen proberen de praktijkonderzoeker hierop attent te maken en hem daarlangs te gidsen. Tegelijkertijd willen wij hier ook niet zwaarmoedig over doen. Integendeel, wij menen dat er in de praktijk, zoals die van de jeugdzorg, volop mogelijkheden zijn voor het doen van goed en bruikbaar effectonderzoek. Wij zullen ons daarbij vooral richten op het niveau van de doeltreffendheid van interventies (de derde sport op de effectladder), omdat dit type onderzoek goed aansluit op de weerbarstige omgeving waarin praktijkonderzoek veelal plaatsvindt. 39

Practice - Based Evide nce Werkzaam Doeltreffend Veelbelovend Potentieel Evidence- Based Practice = Figuur 3.1 Hoger op de effectladder: onderzoek naar de doeltreffendheid en werkzaamheid van interventies Maar daaraan voorafgaand ontkomen we er niet aan om iets dieper in te gaan op het begrip causaliteit. Causaliteit blijkt een delicaat onderwerp. Daarom geven we in paragraaf 3.2 kort weer hoe wij de relatie tussen oorzaak en gevolg beschouwen. Voor wie deze uitwijding te ver voert kan de draad oppakken in paragraaf 3.3. Daar gaan we in op zogeheten storende factoren die, naast de interventie, tevens de waargenomen veranderingen bij cliënten zouden kunnen verklaren. In paragraaf 3.4 onderstrepen we het praktische belang van een solide interventietheorie voor de controle van storende factoren en de interpretatie van de onderzoeksbevindingen. Om zicht te krijgen op het effect van interventies, staat de onderzoeker een brede variatie van onderzoeksopzetten ( designs ) beschikbaar. Deze worden in paragraaf 3.5 op de effectladder ‘geplaatst’. Paragraaf 3.6 bespreekt een aantal criteria die gebruikt kunnen worden om bij designs die doorgaans niet zoveel bewijskracht hebben tóch wat meer aannemelijk te maken dat het de interventie is geweest die de gemeten uitkomst heeft ‘veroorzaakt’. In de laatste paragraaf 3.7 bespreken we ‘de prijs’ die aan een bepaald onderzoek hangt. Elk design blijkt voor- en nadelen te hebben. We geven enkele richtlijnen die praktijkonderzoekers en beleidsmakers kan helpen de juiste opzet te kiezen.

3.2 Causaliteit in een grillige en weerbarstige omgeving Van oudsher hebben de experimentele onderzoeksmethoden van de natuurwetenschappen het oorzaak-gevolgdenken in de gedragswetenschappen sterk beïnvloed. Causaliteit had daarin een voornamelijk mechanistische betekenis (‘oorzaak = gevolg’, ‘actie = reactie’). Het hierop gebaseerde onderzoek was sterk gericht op de formulering van universele wetmatigheden. Inmiddels heeft dit denken plaats gemaakt voor meer genuanceerde en dynamische opvattingen over causaliteit, opvattingen die recht doen aan de grilligheid en de weerbarstigheid van de sociale werkelijkheid. Bij het wetenschappelijke interventie-onderzoek vinden we deze moderne denkwijze duidelijk terug. Bij dat onderzoek is men vooral geïnteresseerd op het vinden van een oorzakelijk verband tussen twee variabelen: enerzijds de interventie (in het onderzoek de onafhankelijke variabele genoemd) en anderzijds het gedrag, de cognitie, het 40

= gevoel of de situatie waarop die interventie invloed uit moet oefenen (de afhankelijke variabele genoemd). Kenmerkend voor het hedendaags denken over causaliteit tussen deze twee variabelen zijn de volgende vier aspecten (vgl. Bijl, 1996). • De eerste betreft de rol van degene die het effect nastreeft. Hij tracht door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. Zijn interventie is gebaseerd op specifieke verwachtingen over de causale relatie tussen zijn ingreep en de gevolgen daarvan. • Ten tweede is de benadering multicausaal . De belangstelling voor het effect gaat verder dan één onafhankelijke variabele (de interventie) die de afhankelijke variabele (het effect) beïnvloedt. Er is tevens aandacht voor andersoortige variabelen, die mede van invloed (kunnen) zijn op het waargenomen effect, zoals allerlei factoren die een bevorderende of belemmerende invloed hebben op de werking van de interventie, of verschijnselen die een alternatieve verklaring voor het waargenomen effect kunnen bieden. • Ten derde is kenmerkend dat expliciet rekening wordt gehouden met de context waar binnen het onderzoek naar causale verbanden plaatsvindt (het zogenaamde causaal veld ). Uitspraken over causaliteit worden gedaan in het licht van ‘harde’ gegevenheden als plaats en tijd, maar ook ‘zachte’ omstandigheden als sociaal-culturele aspecten zijn in dit verband van belang. • Ten vierde heeft causaliteit een probabilistische betekenis . Dat wil zeggen dat, in tegenstelling tot het oude denken in wetmatigheden, uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijk heid. Dus de uitspraak ‘interventie A heeft gedrag B tot gevolg’ betekent dat als we interventie A toepassen, het effect B waarschijnlijker is dan als van de interventie zouden afzien (vgl. Rossi, Freeman & Lipsey, 2004). Om kort te gaan, we vatten een causale relatie op als: a. een weloverwogen en doelbewuste interventie ( onafhankelijke variabele ) die, b. met een zekere waarschijnlijkheid een bepaald effect op een afhankelijke variabele produceert, waarbij c. de context waarin de beïnvloeding wordt onderzocht exact gedefinieerd is ( causaal veld ), en waarbij d. nadrukkelijk rekening wordt gehouden met (zoveel mogelijk) andere relevante variabelen die tevens in het spel zijn. Deze omschrijving is geen definitie. Zij is eerder een soort kapstok waaraan, vanuit het perspectief van de praktijkonderzoeker, enkele essentiële elementen of kenmerken van de causale relatie zijn opgehangen (Bijl, 1996). 3.3 Kapers op de kust: alternatieve verklaringen voor gemeten effecten Stel, u werkt in een multifunctionele organisatie, waar al langer onvrede bestaat over de resultaten van het cluster Daghulp. Bij Daghulp wordt psychosociale hulp verleend aan (dreigende) schooluitvallers van 12 tot 16 jaar. Het management team (MT) van de 41

= organisatie , maar ook de plaatsende instantie vinden de output onvoldoende. Er zijn te veel jongeren die bij Daghulp uitvallen en de begeleidingsdoelen worden onvoldoende gerealiseerd. Ook de hulpverleners zelf zijn niet tevreden. Zij vinden dat ze te weinig grip op de jongeren hebben en wijten dat aan een gebrek aan ‘methodisch gereedschap’ dat hen ter beschikking staat. Een collega is er van overtuigd dat de problemen kunnen worden opgelost door de ouders intensiever bij de begeleiding te betrekken. Ook stelt hij voor de contacten vooral thuis te laten plaatsvinden, in plaats van op het dagcentrum, wat tot dusver gebruikelijk is. Het MT is hiervan nog niet overtuigd, maar biedt de ruimte om het effect van de beoogde aanpak aan te tonen. Besloten wordt om het plan op twee (van de acht) locaties uit te voeren en bij te houden in hoeverre uitval, doelrealisatie en medewerkertevredenheid zich ontwikkelen. Tegelijkertijd worden, ter vergelijking, dezelfde gegevens verzameld op de andere locaties, die op de gebruikelijke manier blijven werken. Na verloop van tijd tekenen de verwachte verschillen zich af. De maatregelen van uw collega lijken effectief. Helaas blijkt het MT de onderzoeksresultaten anders te interpreteren. Men plaatst kritische kanttekeningen bij de wijze waarop de uitkomsten zijn gemeten. Er is namelijk gebruik gemaakt van een interview om de behandelaars op de mate van veranderingen in uitval van de jeugdigen en de mate van doelrealisatie en tevredenheid te bevragen. Ze vragen zich af of dat wel een goed middel is om de resultaten boven water te krijgen. Bovendien acht men het niet zeker dat de gevonden verschillen geheel aan de nieuwe aanpak mogen worden toegeschreven. Zij opperen een aantal alternatieve verklaringen. Zo blijken de twee experimentele locaties in dezelfde periode ook een samenwerking aan te zijn gegaan met de scholen waar de meeste jongeren van hen op zitten. Uw collega zal deze alternatieven moeten weerleggen. Box 3.1 Het meten van kenmerken en eigenschappen De term ‘meten’ is al verscheidene keren gevallen. Meten is een gestandaardiseerde en gesystematiseerde manier van observeren, waarbij de mate waarin het geobserveerde kenmerk of eigenschap zich openbaart, wordt uitgedrukt in een getalsmatige waarde op een indicator (een variabele). De indicator is eigenlijk het ‘metertje’ met behulp waarvan kan worden afgelezen of bepaald in welke mate of omvang iets voorkomt of gebeurt. Indicatoren maken de gewenste uitkomsten – de afhankelijke variabele die we willen meten en die vaak in abstracte termen en begrippen is verwoord – zichtbaar of observeerbaar. In het voorbeeld is gebruik gemaakt van een half gestandaardiseerd interview om bij medewerkers te vragen of er door de interventie veranderingen zijn opgetreden in de uitval, doelrealisatie en tevredenheid. Had uw collega dit ook anders kunnen meten? In feite wel. = = Uitval is eenvoudig te meten door te registreren (op een formulier dat daarvoor is ontworpen) of de hulp al dan niet volgens planning is beëindigd. In dit geval worden het formulier, de definitie van de centrale begrippen (hier bijv.: geplande beëindiging) én de afspraken die worden gemaakt over het gebruik van het formulier, tezamen opgevat als een meetinstrument – een instrument om de afhankelijke variabele ‘uitval’ te meten. Het instrument is betrouwbaar te noemen als blijkt dat de deelnemers, onafhankelijk van elkaar, tot een zelfde beoordeling komen (van dezelfde cliënt). Naar verwachting zal dit geen problemen geven. Het meten van doelrealisatie vereist dat per jeugdige wordt geregistreerd welke doelen er zijn gesteld en in hoeverre deze zijn bereikt. Dat kan door bij elk doel aan het einde van de interventie aan te laten geven (0) situatie onveranderd, doel niet bereikt, (1) situatie verbeterd, maar nog niet conform doel) en (2) situatie verbeterd, conform doel. Nog beter is het als aan elk doel een meetinstrument(je) wordt gekoppeld dat de rubrieken 0, 1 en 2 treffend operationaliseert in termen van gedrag, cognities, gevoelens of situaties. Aan de hand daarvan is scherper aan te geven wat het inhoudt dat een doel is bereikt. Voor de variabele medewerkertevredenheid geldt dat hieraan vele facetten zijn te onderscheiden. Het ontwerp van een instrument dat deze facetten op een betrouwbare manier kan meten, vergt een veel grotere inspanning. Gezien de aard van het begrip, is het meetbaar maken van medewerkertevredenheid een stuk lastiger. We laten uw collega even alleen met het MT en richten ons hier op de belangrijkste aspecten van deze casus. Allereerst heeft uw collega gekozen voor een beproefde onderzoeksopzet om 42

= het effect van een ingreep te bestuderen, namelijk ‘het experiment’. De gevolgen van een nieuwe aanpak worden vergeleken met een situatie waarin níet wordt ingegrepen. We komen daar straks op terug. Op dit moment willen wij de aandacht vestigen op een ander aspect van het voorbeeld. De gekozen onderzoeksopzet levert op zichzelf nog niet het overtuigende bewijs dat de interventie effectief is geweest. Wat nu van belang is, is dat het MT alternatieve verklaringen oppert voor de gemeten veranderingen. Kapers op de kust, zo lijkt het. Dit soort bedreigingen zijn funest voor de ‘hardheid’ waarmee we conclusies kunnen trekken uit effectonderzoek. Daarmee snijden we het onderwerp ‘validiteit’ aan. Dit is een uiterst belangrijk, maar ook ingewikkeld onderwerp. We volstaan hier met het noemen van twee soorten validiteit. • Interne validiteit.

Hierbij staat de geldigheid van de conclusies centraal die in het onderzoek worden getrokken over de relatie tussen interventie en effect. Hoe overtuigender alternatieve verklaringen voor gemeten veranderingen binnen het onderzoek kunnen worden uitgesloten, hoe hoger de interne validiteit van het onderzoek, des te groter de zekerheid dat de interventie verantwoordelijk gehouden mag worden voor de resultaten die zijn gemeten. Zo staat uw collega in zijn discussie met het MT sterker als hij kan aantonen dat de interne validiteit van zijn onderzoeksresultaten voldoende is. • Externe validiteit.

Hier gaat het om de generaliseerbaarheid van onderzoeksbevindingen: de vraag of de resultaten ook geldig zijn buiten de situatie van het onderzoek, bijvoorbeeld bij andere populaties, op andere tijdstippen en in andere situaties. Het voert te ver om dit type in de context van dit handboek te behandelen. Daarvoor verwijzen wij naar het standaardwerk van Shadish, Cook & Campbell (2002). Als de interne validiteit van een onderzoek onvoldoende zijn gewaarborgd, dan is het aannemelijker dat de gemeten effecten moeten worden toegeschreven aan andere factoren (‘storende’ variabelen) dan de gepleegde interventie. Deze factoren zetten het ‘bewijs’ dat de interventie effectief is onder druk. In alle methodologieboeken is het volgende rijtje van storende factoren terug te vinden (zie bijv. Shadish e.a., 2002) die – al dan niet in combinatie met elkaar - hun verstorende invloed kunnen uitoefenen. • Geschiedenis . Een gunstige verandering is te verklaren uit gebeurtenissen die tijdens de interventie plaatsvinden, maar niets met de behandeling of begeleiding zelf te maken hebben. Bijvoorbeeld, een verhuizing, een nieuwe leerkracht, het hertrouwen van de moeder. • Rijping . Een kind kan over zijn problemen heen groeien, ouders kunnen door ervaring wijzer worden, zonder dat dit door de behandeling komt. Ook spontaan herstel valt hieronder. • Testgewenning . Alleen al deelname aan de eerste meting aan het begin van de interventie kan de scores op de nameting anders doen uitvallen, een soort gewenning of een soort leereffect (vooral bij prestatietaken: men herinnert zich de vorige oplossing nog, of heeft er zodanig van geleerd dat soortgelijke taken gemakkelijker uitgevoerd worden). 43

= = • Instrumentatie . De scoring van een instrument (bijvoorbeeld het invullen van een vragenlijst) kan in de loop der tijd veranderen, niet omdat de problemen minder zijn geworden, maar omdat de invullers (ouders, behandelaars) hun invultaak anders uitvoeren. Bijvoorbeeld door vermoeidheid, of om er maar snel van af willen zijn, omdat voor de zoveelste keer een lijst moet worden ingevuld, of omdat men geen gezeur meer wil, of andere normen aanlegt bij de beantwoording van vragen. Anders dan bij testgewenning gaat het hier om bewuste of onbewuste invloeden op de scores, die ervoor kunnen zorgen dat de tweede meting anders uitvalt en een verandering vastgesteld wordt die wederom niets met de interventie te maken heeft. Hier wreekt zich het feit dat in onderzoek naar psychosociale behandelingen of begeleidingen niet met objectieve meetlatten gewerkt kan worden maar met de menselijke maat, en die is zoals we weten gevoelig voor allerlei invloeden (zie box 3.2). Ook het ‘ hello-goodbye effect’ valt hieronder. Cliënten geven zichzelf of hun kinderen (bewust of onbewust) aan het begin hoge scores om maar te laten zien dat de problemen heftig zijn, en aan het eind lage scores omdat ze de hulpverlener niet willen teleurstellen, hij ‘heeft zich immers zo voor ons ingespannen’. • Statistische regressie . Dit treedt vooral op wanneer de scores op een instrument bij de eerste meting erg hoog of erg laag zijn; men kan bij een tweede meting dan niet hoger (of lager) scoren. Men kan ‘maar één kant op’; dat gebeurt dan ook. Hier ontstaat dus al gauw een verandering die niet aan de interventie gerelateerd is. Ook dat kan in de praktijk voorkomen. Cliënten die een behandeling of begeleiding beginnen komen niet voor niets en zullen vaak extreem hoog scoren op allerlei probleemlijsten. De kans dat de score op louter statistische gronden een tweede keer lager is, is niet te verwaarlozen. • Selectieve uitval . Er is altijd wel een verloop in deelname tussen en eerste en de tweede meting. Het is al mooi als minstens 80% van de deelnemers aan de voormeting ook aan de nameting mee doet. Een probleem ontstaat als die 20% uitval niet willekeurig is, maar selectief, bijvoorbeeld de cliënten met de meeste problemen. Hierdoor kan het gemiddelde van de tweede meting lager uitvallen zonder dat er in de groep verder iets veranderd is. • Cliëntselectie . Niet de interventie veroorzaakt het effect, maar het gegeven dat onbedoeld een groep cliënten is ingestroomd die van elke hulpvorm (of het nu X of Z was) wel zou profiteren, bijvoorbeeld cliënten met een hogere opleiding, extra gemotiveerde cliënten, etc. Een aantal jaren geleden werd in dit verband wel eens de YAVIS-cliënt ten tonele gevoerd: Young, Attractive, Verbal, Intelligent en Social, met die patiënten kan elke hulpverlener wel scoren. Het probleem is hier dat de interventie wel effect heeft, maar dat een andere (bijv. kortere of goedkopere) interventie net zo goed effect had kunnen hebben. • Behandelaarselectie . Behandelaars die geloven in hun behandeling, die ‘er voor gaan’, of voor wie het belangrijk is om succes te hebben brengen dit zonder dat ze dit weten of bedoelen op hun cliënten over. Dit effect treedt vooral op bij innovaties en pionierswerk. Bekend is het fenomeen dat de pioniers van een nieuwe behandeling vaak wel successen boeken, maar de door hen opgeleide tweede en derde generatie behandelaars niet meer, of althans veel minder. Deze alternatieve verklaring lijkt op de vorige (cliëntselectie), maar nu vanuit het behandelaarperspectief. De betreffende behandelaar had van elk zorgaanbod wel een successtory gemaakt. Het is dus niet het aanbod dat effect sorteert, maar de behandelaar. 44

= Box 3.2 Betrouwbaarheid en effectonderzoek Geen meetinstrument is feilloos. Zelfs bekende ‘meters’ als de weegschaal of de thermometer kennen – hoe gering ook – afwijkingen of onnauwkeurigheden. Een meetinstrument is ‘betrouwbaar’ als het, bij herhaald gebruik en onder dezelfde omstandigheden, telkens dezelfde meetwaarden laat zien met betrekking tot hetzelfde aspect of kenmerk (Rossi e.a., 2004). Onbetrouwbare metingen zijn misleidend; zij leveren een niet-getrouw beeld van de eigenschap of het kenmerk dat we proberen te meten. Elk onderzoek vereist het gebruik van betrouwbare meetinstrumenten, maar voor effectonderzoek gaat dat misschien nog wel sterker op. De misleiding kan twee kanten opgaan. Het kan zijn dat ‘ware’ effecten hierdoor worden verduisterd. Maar omgekeerd kunnen de metingen ook ten onrechte grote veranderingen suggereren en daarmee tot de conclusie leiden dat een interventie wel effectief is (Shadish e.a., 2002). Bij onbetrouwbare meetinstrumenten is de kans groot dat wel of niet gevonden verschillen (tussen metingen en/of tussen groepen) berust op toeval (‘ruis’ of ‘onbedoelde variantie’). Het is dan minder aannemelijk dat de gevonden verschillen als effecten (‘bedoelde’ of ‘ware variantie’) beschouwd kunnen worden. Nu is het voorstelbaar dat beproefde, betrouwbare meetinstrumenten niet altijd voorhanden zijn. In dat geval dient de praktijkonderzoeker, bij het ontwerp van nieuwe instrumenten, zoveel mogelijk maatregelen te nemen die de invloed van toevalsfactoren op de metingen beperken of uitschakelen. Dit is te bereiken door, bijvoorbeeld, meerdere informatiebronnen naast elkaar te gebruiken, door de metingen strikt te protocolleren en/of door observatoren of interviewers scherp te instrueren en te trainen (vgl. Shadish e.a., 2002). Dit soort verklaringen dient in effectonderzoek uit te worden gesloten om de weg vrij te maken voor de conclusie dat de interventie – en niets anders dan de interventie – de gemeten veranderingen heeft veroorzaakt. De vraag is nu: hoe zijn dit soort invloeden het beste uit te sluiten? Of anders gezegd: hoe is ervoor te zorgen dat de conclusie over het effect van de interventie zo zeker mogelijk is te trekken? Met betrekking tot deze vraag zijn er drie onderwerpen relevant om te bespreken. In de eerste plaats gelden er een aantal algemene vuistregels die gevolgd kunnen worden om te bepalen of een conclusie over het effect stevig is te trekken of niet. Ten tweede is het goed om in de interventietheorie aandacht te geven aan zowel de werkzame factoren van de interventie, als de variabelen die de verklaring van het effect kunnen vertroebelen. Ten derde is het goed om een onderzoeksopzet te kiezen die zoveel mogelijk alternatieve verklaringen elimineert. In de volgende paragrafen gaan we op elk van deze onderwerpen in. 3.4 De interventietheorie als wegwijzer In de vorige paragraaf gaven we aan dat naarmate de onderzoeksresultaten beter passen op de interventietheorie, dan is dat – zeker als de theorie heel specifiek is – een ondersteuning van de veronderstelling dat de interventie voor het resultaat verantwoordelijk is. Van belang is in dat verband dat de interventietheorie niet alleen de relatie tussen de onafhankelijke en afhankelijke variabelen specificeert (ingrediënten van de interventie en de verwachte uitkomst). Ook moet er aandacht zijn voor de context waarin de beïnvloeding plaatsvindt (het causaal veld) en voor variabelen eveneens van invloed zijn op de uitkomsten van de interventie (vergelijk paragraaf 3.2). De interventietheorie legt een consistente, logische en onderbouwde verbinding tussen het te behandelen probleem en de factoren die dat in stand houden enerzijds, en anderzijds de (behandel- of begeleiding)activiteiten die hierin verandering zouden moeten brengen en de resultaten die daarvan, op korte en langere termijn, het gevolg zouden moeten zijn (Rossi e.a., 2004). Of, in termen van het model dat in hoofdstuk 2 is gepresenteerd: de theorie geeft zo goed mogelijk aan wat de ingrediënten zijn van de interventie, en welke andere factoren en mechanismen er in het spel zijn die invloed hebben op de uitkomst, maar die niet door de interventie benut worden of die niet met de interventie beïnvloedbaar zijn. Met behulp van een dergelijke interventietheorie is goed te bepalen met welke factoren men bij de opzet van een onderzoek rekening moet houden. Met 45

= behulp hiervan zijn immers de ‘concurrerende’ of storende invloeden te identificeren, uit te sluiten of gecontroleerd mee te nemen in de onderzoeksopzet. Ook de praktijkonderzoeker zal ervaren dat – vrij naar Kurt Lewin – niets praktischer is dan een goede interventietheorie. Want een gedegen interventietheorie biedt een basis voor het waarborgen van de interne validiteit van de onderzoeksresultaten. Hoe sterker de onderbouwing en hoe ‘dwingender’ de logica van de interventietheorie, hoe meer zekerheid over een causaal verband tussen interventie en effect. Natuurlijk bestaat de ultieme test van de houdbaarheid van een interventietheorie uit een toetsing aan de praktijk. Het verzamelde bewijsmateriaal uit de praktijk moet de specificaties uit de interventietheorie kunnen ondersteunen; hieruit moet blijken in hoeverre de veronderstelde causale mechanismen of ketens houdbaar zijn (Barkham & Mellor-Clark, 2003; Reynolds, 2004). Als de interventietheorie deze toets met succes doorstaat, dan is het bestaan van een causale relatie tussen interventie en effect aannemelijker geworden. Of anders gezegd: de onzekerheid over de causale relatie is gereduceerd. Of nóg anders, met een bepaalde graad van zekerheid kunnen we iets zeggen over de werkzaamheid van de interventie. 3.5 Designs op de effectladder Onderzoekers houden niet van alternatieve verklaringen voor de veranderingen die zij hebben gemeten. Deze verklaringen zijn lastig, omdat zij onzekerheid geven over het echte of ware effect van de interventie. Daarom proberen onderzoekers zoveel mogelijk onzekerheid uit te sluiten. Dat doen zij door factoren die de interne validiteit van het onderzoek bedreigen via maatregelen zoveel mogelijk onder controle te brengen. Grofweg zijn daar twee methoden voor (maar in de praktijk worden ook tal van mengvormen gebruikt). • Designcontrole.

Hierbij vindt controle vooraf plaats door bij het onderzoeksontwerp expliciet rekening te houden met de invloed van een aantal bekende storende factoren (zie het rijtje in paragraaf 3.3). De onderzoeker schept zodanige onderzoekscondities dat de invloed van deze variabelen op de uitkomsten zoveel mogelijk wordt voorkomen of geneutraliseerd. • Statistische controle. In de fase waarin de onderzoeksgegevens worden geanalyseerd, wordt de invloed van storende variabelen gecorrigeerd. Controle vindt dus achteraf plaats. Het bijzondere van deze werkwijze is dat storende variabelen opzettelijk worden opgenomen in het onderzoek en niet, zoals bij de eerst genoemde methode, worden uitgesloten (Bijl, 1996; Saris & Stronkhorst, 1984). Onderzoeksdesigns zijn er in vele soorten en maten. Van belang op dit moment is dat onderzoeksdesigns zich van elkaar onderscheiden in de mate waarin zij de interne validiteit van het onderzoek waarborgen. Het ene design biedt meer graden van zekerheid dan het andere. Figuur 3.2 laat dat zien. Daarbij beperken we ons, omwille van de overzichtelijkheid, tot drie hoofdtypen: het experimenteel, het quasi-experimenteel en het niet- of pre experimenteel design (zie box 3.3 t/m 3.5). Elk hoofdtype kent diverse varianten. Een = = compleet overzicht is te vinden in het standaardwerk van Shadish e.a. (2002). 46

Figuur 3.2 Onderzoeksmethoden en daarmee corresponderende graden van zekerheid De designtypen zijn op een methodologisch continuüm te plaatsen (zie ook Van Loon & Van der Meulen, 2004). Op het ene uiterste liggen de designs (non-experimenteel) die op voorhand weinig waarborgen bieden voor de interne validiteit. Daar tegenover bevinden zich de designs (experimenteel) die juist ontworpen zijn om van tevoren zoveel mogelijk storende factoren uit te kunnen schakelen; het bestrijden van onzekerheid staat in dit type designs voorop. Bij niet-experimenteel onderzoek is het vooraf uitschakelen van storende factoren niet aan de orde. Hier wordt als het ware de omgekeerde weg bewandeld: onzekerheid wordt niet bestreden, maar zekerheidsgraden worden verworven. Er worden argumenten verzameld die de conclusie (logisch gezien) onontkoombaar moeten maken dat het gevonden resultaat niet anders dan aan de interventie móet worden toegeschreven. Quasi-experimenteel onderzoek is hier ergens tussenin te plaatsen en controle vindt hier vooraf plaats, maar kan, afhankelijk van de invulling van het design, ook deels achteraf worden uitgevoerd. Uit de afbeelding blijkt ook dat het onderscheid tussen niveau 3 (‘Doeltreffend’) en niveau 4 (‘Werkzaam) niet absoluut, maar gradueel is. Maar het design is niet allesbepalend. In figuur 3.2 is ook te zien dat extra zekerheidsgraden worden verworven als bijvoorbeeld resultaten uit eerder onderzoek naar het effect van de interventie worden ‘gerepliceerd’. Dat betekent dat de interventie in een andere context en/of op een ander tijdstip soortgelijke of – in het ideale geval – identieke resultaten te zien geeft. Het wordt dan aannemelijker dat de relatie tussen interventie en uitkomsten causaal is. Zekerheid over het effect van de interventie wordt als het ware opgebouwd met behulp van een stelsel of reeks van (deel)onderzoeken. Vanuit methodologisch oogpunt mag dan misschien het een en ander aan te merken zijn op de interne validiteit van de afzonderlijke, non-experimentele onderzoeken, tezamen vormen zij (in beginsel) een steviger basis voor causale uitspraken. Bij experimenteel onderzoek is geïnvesteerd in de kwaliteit van de onderzoeksopzet, met een hoge interne validiteit als gevolg. Hierdoor kan (in beginsel) een = 47

= gering aantal herhalingen van het onderzoek volstaan, om een overtuigend bewijs te leveren = = van het effect van een interventie. In de volgende paragraaf gaan we daar nader op in. Box 3.3 De ‘Gouden Standaard’: het experimenteel design = De bewijskracht van het wetenschappelijk experiment wordt algemeen erkend. Ook in praktijkonderzoek is het experiment een beproefde methode om de effecten van een interventie vast te stellen. De ‘veldvariant’ van het laboratoriumexperiment (de Randomized Control Trial of Randomized Clinical Trial, kortweg RCT) wordt algemeen beschouwd als het design dat de beste waarborgen biedt voor de interne validiteit. Storende variabelen worden op grond van dit design het meest overtuigend geneutraliseerd. Om die reden wordt het (gerandomiseerde) experimentele onderzoeksontwerp volgens Rossi e.a (2004) vaak de ‘Gouden Standaard’ genoemd. = = In de meest eenvoudige opzet worden de deelnemers aan het onderzoek (individuen als kinderen met angststoornissen of ‘first offenders’, of collectieven als multi-problem gezinnen of residentiële leefgroepen) willekeurig (at random) toegewezen aan één van in totaal twee groepen. De experimentele groep of interventiegroep ontvangt of ondergaat de interventie, waarvan men het effect wil vaststellen. De interventie wordt niet toegepast bij de deelnemers in de controle- of vergelijkingsgroep. Zij ontvangen een gangbare of traditionele behandeling ( wordt een ‘care as usual’), een pseudobehandeling (een ‘nepmiddel’ of placebo) of geen behandeling (omdat zij bijv. nog op de wachtlijst staan). De deelnemers zijn, als het enigszins kan, onwetend over de onderzoeksgroep waaraan zij zijn toegewezen (wat in het geval van een wachtlijstconditie uiteraard niet realiseerbaar is). Dit single blind opzet genoemd. In een double blind procedure weten ook de behandelaars niet of ze te maken hebben met de experimentele conditie of de controleconditie. In de meest beperkte uitvoering vinden bij beide condities twee metingen van de afhankelijke variabele plaats. Tussentijds heeft de interventie plaatsgevonden in de experimentele groep. Veranderingen die tussen de meetmomenten plaatsvinden worden exclusief toegeschreven aan de interventie. Verondersteld wordt namelijk dat de experimentele conditie en de controleconditie, op alle andere aspecten, identiek zijn, dus ook voor wat betreft hun vatbaarheid of ontvankelijkheid voor de storende invloeden. Box 3.4 ‘Effect meten met hindernissen’: het quasi-experimenteel design = = = Quasi-experimenteel onderzoek verschilt op één wezenlijk punt van de RCT en dat is dat de deelnemers aan het onderzoek (cliënten, gezinnen, groepen etc.) niet willekeurig aan de onderscheiden experimentele condities worden toegewezen. Omdat daardoor niet op voorhand kan worden aangenomen dat de onderzoeksgroepen op een aantal cruciale kenmerken aan elkaar gelijk zijn, ligt hier een potentiële alternatieve verklaring voor het optreden van effecten (Rossi e.a., 2004; Shadish e.a., 2002). De weg naar de conclusie dat interventie en effect causaal gerelateerd zijn kent dus wat hindernissen. Het voorbeeld waarmee we paragraaf 3.3 begonnen, heeft een quasi-experimenteel onderzoeksontwerp. Het experiment van uw collega wordt uitgevoerd op bestaande Daghulplocaties, waarvan de personele samenstelling en de samenstelling van de betrokken cliëntgroepen als een gegeven wordt beschouwd. Box 3.5 ‘Tenminste verandering, mogelijk effect’: het niet-experimenteel of pre-experimenteel design = = = = Bij non-experimentele designs ontbreekt een controle- of vergelijkingsgroep. Het onderzoek naar veranderingen ten gevolge van een interventie spitst zich dus toe op één onderzoeksconditie. Bovendien heeft de onderzoeker niet altijd controle over de interventie. Dat wil zeggen, soms kan hij, anders dan bij (quasi-) experimenteel onderzoek, de onafhankelijke variabele niet manipuleren. Bijvoorbeeld omdat de interventie al heeft plaatsgevonden (Saris & Stronkhorst, 1984). De eventueel waargenomen veranderingen kunnen pas als effect worden geïnterpreteerd als (achteraf) de aanspraak op zekerheidsgraden overtuigend kan worden beargumenteerd. 3.6 Een zeker bewijs Zekerheid is geen alles-of-niets toestand. Zij hangt af van de mate waarin de onderzoeker alternatieve verklaringen voor de gemeten veranderingen overtuigend weet te verwerpen. Zekerheid is dus gradueel. Op niveau 3 van de effectladder (zie fig. 3.1) resteert een bepaalde mate van onzekerheid over de causale relatie tussen interventie en het gemeten resultaat. De bewijsvoering is nog niet helemaal rond, maar de puzzel is, als het ware, bijna gelegd. Op dit 48

= niveau is het echter niet haalbaar om ‘met een aan zekerheid grenzende waarschijnlijkheid’ uitspraken te doen over causale relaties. Bij maximale zekerheid zeggen we dat ‘het bewijs is geleverd’. Dit is het type bewijsvoering ( ‘evidence’ ) dat we kunnen verkrijgen op de hoogste sport van de effectladder (niveau 4). De (interne) validiteit van de onderzoeksresultaten is hier het best gewaarborgd. Maar als niet alleen het design maatgevend is voor de zekerheid van het bewijs, hoe krijgen we daar dan wel zicht op? Een handig hulpmiddel is de werkwijze die Reynolds (2004) heeft uitgewerkt om de interne validiteit te boordelen, aan de hand van zes criteria. Naarmate een onderzoek aan meer van deze criteria voldoet, wordt het waarschijnlijker dat de relatie tussen interventie en effect een causale is. De criteria betreffen: • Consistentie van de relatie.

Als een bepaalde interventie (bijv. een opvoedcursus voor ouders van kinderen met gedragsproblemen) onder uiteenlopende omstandigheden (bij verschillende populaties, in andere sociale contexten, bij ‘x’ programmavariaties) een consistent patroon van resultaten laat zien, dan mogen we hieruit concluderen dat deze interventie effect heeft. Dit is de situatie waar we in figuur 3.2 in de vorige paragraaf aan refereerden: replicaties dragen bij aan bewijskracht. Dat geldt des te meer als die replicaties niet alleen in dezelfde omstandigheden worden uitgevoerd, maar ook in variabele situaties. • Volgorde van gebeurtenissen (in tijd).

Een belangrijk criterium is voorts dat de uitvoering van de interventie (onafhankelijke variabele) vooraf moet zijn gegaan aan het moment waarop de uitkomsten (afhankelijke variabele) worden gemeten. • Statistische relatie.

Er dient een (statistisch) aantoonbare relatie te zijn tussen de uitvoering van de interventie en de uitkomsten van de ingreep (onder overigens gelijkblijvende omstandigheden). Hoe sterker of groter dit verband is, hoe waarschijnlijker het is dat de relatie een ‘echt’ effect is. • ‘Dosis-respons relatie’ . Dit criterium, ontleend aan medisch onderzoek, verwijst naar het verband tussen de mate waarin cliënten de interventie ‘ondergaan’ en de uitkomsten die bij hen worden gemeten (opnieuw onder overigens gelijkblijvende omstandigheden). Een hogere dosis (bijv. meer contacturen of deelname aan meer componenten van de interventie) vertaalt zich in een gunstiger respons. Een dosis-respons patroon rechtvaardigt de aanspraak op een causaal verband tussen interventie en effect. • Specificiteit van de relatie.

Hier gaat het om de precieze formulering (in de interventietheorie) van de veranderingen die als gevolg van de interventie worden verwacht op specifieke gebieden (bijv. toename van prosociaal gedrag) of bij specifieke groepen (bijv. bij jongeren met een hoog recidiverisico). Als vervolgens juist dit soort specifieke veranderingen worden gemeten en er zich tegelijkertijd geen wezenlijke veranderingen aftekenen op andere gebieden (bijv. algemeen welbevinden) of bij andere groepen (bijv. bij jongeren met een laag recidiverisico), dan mogen we dit opvatten als een ondersteuning van de causale relatie tussen interventie en effect. • Samenhangend patroon van bevindingen (coherentie). Dit criterium stelt aan de kaak of de onderzoeksbevindingen ‘passen op’ de interventietheorie ( ‘goodness of fit’ ). We moeten dan kunnen bevestigen dat de bedoelde interventies daadwerkelijk zijn uitgevoerd bij de beoogde doelgroep en dat deze inspanningen de gewenste uitkomsten hebben opgeleverd 49

(binnen de noodzakelijk geachte organisatorische context). Als dit het geval blijkt, is de conclusie dat de interventie ook ‘werkt’ zoals bedoeld. Anders gezegd, in de praktijk blijken de causale mechanismen, zoals die in de interventietheorie zijn verondersteld, de verandering te kunnen verklaren (zie ook Axford, Little, Morpeth & Weyts, 2005; Veerman, 2004). Als een onderzoek aan een van deze criteria voldoet, biedt dat al een basis voor het bewijs dat een interventie ‘effect’ heeft. Vanzelfsprekend wordt de zekerheid over de causale relatie groter als gelijktijdig aan meer criteria wordt voldaan (door één onderzoek of door een reeks van onderzoeken naar dezelfde interventie). Met steeds meer graden van zekerheid kunnen we = = dan conclusies trekken over het effect van de interventie. 3.7 Aan elk bewijs hangt een prijs ‘Een kwestie van bewijzen …’ luidt de titel van dit hoofdstuk – bewijzen of aantonen dat een interventie doet waarvoor het ontworpen is: gewenste veranderingen bewerkstelligen bij cliënten. Wij hopen te hebben laten zien dat er vele wegen naar Rome leiden; voor het aandragen van evidence staan de onderzoeker, de beleidsmaker en de praktijkwerker tal van onderzoeksdesigns ter beschikking. Maar welke kan het best worden gebruikt? Een algemeen advies is niet te geven. Eigenlijk – zo luidt voor sommigen misschien de wat teleurstellende conclusie – zijn ze allemaal even geschikt. Elke planner van onderzoek, elke manager of opdrachtgever zal hierin zijn eigen afwegingen moeten maken. Daarbij zal ‘de prijs’ die hij voor het gewenste bewijs kán of wíl betalen van doorslaggevend belang zijn. ‘Prijs’ moet allereerst letterlijk worden opgevat: hoeveel tijd en geld heeft men er voor over om effectonderzoek uit te voeren? Opvattingen over ‘nut en noodzaak’ van het onderzoek bepalen voor een belangrijke deel hoeveel men wil investeren. Experimenteel onderzoek (de RCT) heeft een grote potentiële bewijskracht, maar heeft als bezwaar dat het een groot beslag legt op mensen en middelen. Daarnaast betaalt men ook inhoudelijk een prijs. Twee aspecten willen we hiervan belichten. Ten eerste de ethische kant van de methodekeuze. Zo is het voorstelbaar dat het niet ethisch is om een (even hulpbehoevende) controlegroep doelbewust een potentieel doeltreffende ingreep te onthouden of, willens en wetens, een (in potentie) minder effectieve interventie aan te bieden. Hiermee vergelijkbaar is het de vraag of het verdedigbaar is dat sommige cliënten, uitsluitend om onderzoeksredenen, een interventie in volle omvang ontvangen, terwijl anderen bepaalde onderdelen niet ontvangen (dosis-respons). Het is aan de betrokkenen bij het onderzoek om deze en dergelijke afwegingen te maken (vgl. Axford e.a., 2005; Shadish e.a., 2002). Ten tweede, in termen van validiteit van de onderzoeksresultaten wordt ook altijd een prijs betaald. Met de wens om ‘effecten’ (in de causale zin van het woord) te meten, zit men al snel op het spoor van (quasi-) experimentele designs, omdat daarmee de interne validiteit (redelijk) goed is gewaarborgd. Maar het realiseren van een zo hoog mogelijke interne validiteit gaat vaak ten koste van de generaliseerbaarheid of de externe validiteit. De onderzoeker boetseert als het ware de werkelijkheid. Hij probeert zodanige condities te creëren dat de kans van het optreden van een bepaald effect zo groot mogelijk is, door er tegelijkertijd voor te zorgen dat storende factoren een (hooguit) minimale invloed kunnen hebben. Dit wordt wel het ‘maxmincon-principe’ genoemd: het maximaliseren van de = 50

effecten door het minimaliseren van storende factoren en het controleren van de interventie (Veerman, 2004). Het risico ligt voor de hand. Door alle ingrepen ontstaat een situatie die geen getrouwe afspiegeling (meer) is van hoe het er in de praktijk werkelijk aan toe gaat. De onderzoeksomgeving is vervreemd van de praktijk en niet meer (voldoende) representatief. Het tegenovergestelde gebeurt ook: een zwaar accent op externe validiteit betekent dat het onderzoek vaak inlevert op interne validiteit (vgl. Axford e.a., 2005). Kortom, bij voorbereiding op elk onderzoek moeten de betrokkenen (de onderzoekers, de beleidsmakers, de praktijkwerkers etc.) vaststellen welke prijs (of prijzen) zij bereid zijn te betalen. In het spanningsveld van wat praktisch haalbaar, inhoudelijk wenselijk en methodologisch vereist is, dienen zij hun positie te bepalen. Waar het optimum ligt, is van geval tot geval anders. De volgende vragen kunnen als leidraad dienen bij de bepaling van een standpunt. a.

Hoe luidt de onderzoeksvraag of –opdracht: moet in termen van effect (causaliteit) worden gerapporteerd? b.

Is er voldoende budget om een omvangrijk experimenteel onderzoek (in de vorm van een RCT) uit te voeren? c.

Wat is de status van de interventie: gaat het om een goed gedocumenteerd, methodisch en theoretisch min of meer uitgekristalliseerd programma? d.

Is het mogelijk om een of meer controle- of vergelijkingsgroepen samen te stellen? e.

Wordt het (ethisch) aanvaardbaar gevonden om de controle- of vergelijkingsgroepen de interventie geheel of gedeeltelijk te onthouden? f.

Is randomisatie mogelijk? Kunnen cliënten willekeurig worden toegewezen aan onderzoekscondities? g.

Is het mogelijk om een voor- of nulmeting te doen? h.

Is al eerder onderzoek gedaan naar de uitkomsten van de interventie of naar een (min of meer) verwante vorm? Als het antwoord op de vragen 1 tot en met 7 ‘nee’ is, dan ligt een non-experimenteel design (niveau 3 van de effectladder) voor de hand. Zeker als de opdracht slechts bestaat uit het verkrijgen van een eerste indruk van gerealiseerde veranderingen, of de interventie nog methodisch en theoretisch sterk in ontwikkeling is, heeft het weinig zin of al met experimenteel onderzoek te starten. Naarmate meer vragen met ‘ja’ worden beantwoord, lijken er op voorhand meer garanties te bestaan voor de interne validiteit. Quasi experimenteel onderzoek en uiteindelijk experimenteel onderzoek (RCT; niveau 4) komen dan allengs meer in zicht. De vraag naar eerder onderzoek (vraag 8) heeft een andere achtergrond. Een bevestigend antwoord zou kunnen betekenen dat geprofiteerd kan worden van elders opgebouwde kennis over de causale relatie tussen interventie en effect (hoe pril dan ook). Mocht dat inderdaad zo zijn, dan legt dit in nieuwe gevallen een minder grote druk op de interne validiteit van het onderzoek. Immers, een aantal zekerheidsgraden wordt als het ware meegenomen vanuit het bestaande bewijsmateriaal ( evidence ). Een tweede RCT (niveau 4) voor een interventie is dan misschien niet meer noodzakelijk. In plaats daarvan zou een goed opgezet veranderingsonderzoek (niveau 3) kunnen volstaan. Als het bewijs uitsluitend op veranderingsonderzoek (niveau 3) is gebaseerd, moet hieraan de eis worden verbonden dat het gewicht van dit materiaal bestaat uit meerdere onderzoeken. Natuurlijk biedt dit bouwwerk van afzonderlijke onderzoeken meer zekerheid naarmate de bevindingen sterker met elkaar = 51

overeenkomen. Langs deze weg kan de praktijk – zelfs met betrekkelijk bescheiden middelen – het effect van haar werk met cliënten bewijzen. Hoe ziet dit alles nu in de praktijk eruit? In dit hoofdstuk is het vraagstuk van de bewijskracht in algemene zin aan de orde gesteld. In de volgende delen zullen illustraties volgen van onderzoeken die de effectiviteit van een interventie in meer of mindere mate aantonen. Ook zullen er uitwerkingen volgen van onderzoeksopzetten die in de praktijk vrij gemakkelijk te realiseren zijn en die – zeker bij voldoende herhaling van de studies – bij elkaar redelijk veel aanwijzingen voor de effectiviteit van een interventie kunnen opleveren. Langs deze weg zijn de interventies van het niveau ‘veelbelovend’ naar de niveaus ‘doeltreffend’ of ‘werkzaam’ te brengen. In dit hoofdstuk is daarvoor het kader aangereikt. De uitwerkingen volgen. 3.8 Bronvermelding Axford, N., Little, M. Morpeth, L. & Weyts, A. (2005). Evaluating Children’s Services: recent conceptual and methodological developments. British Journal of Social Work, 35, 73-88. Barkham, M., & Mellor-Clark, J. (2003). Bridging evidence-based practice and practice-bases evidence. Developing a rigorous and relevant knowledge for the psychological therapies. Clinical Psychology and Psychotherapy, 10, 319-327. Bijl, B. (1996). Innovaties in de jeugdhulpverlening. Over het rendement en de soliditeit van nieuwe programma's.

Leiden: DSWO Press (academisch proefschrift). Loon, D. van & Meulen, B. van der (2004), Effectonderzoek naar vroegtijdige orthopedagogische interventies. Methodologische moeilijkheden en mogelijkheden . Amsterdam: Boom. Reynolds, A.J. (2004). Research on early childhood interventions in the confirmatory mode. Children and Youth Services Review, 26 , 15-38. Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation: A Systematic Approach (7e druk). Thousand Oaks: Sage Publications. Saris, W.E. & Stronkhorst, L.H. (1984). Causal Modelling in Nonexperimental Research. An introduction to the LISREL approach . Amsterdam: Sociometric Research Foundation. Shadish, W.R., Cook, T.D. & Campbell, D.T. (2002). Experimental and quasi-experimental designs for generalized causal inference.

Boston/New York: Houghton Mifflin Co. Veerman, J.W. (2004). Wanneer mogen we over effect spreken? Notitie over causaliteit bij effectonderzoek in de zorgpraktijk.

Nijmegen: Radboud Universiteit/Praktikon.

= 52

=

Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden

= = Tom van Yperen, Jan Willem Veerman en Bas Bijl 4.1 Circuits verbinden In de vorige hoofdstukken is de aandacht uitgegaan naar de verschillende niveaus van effectiviteit en de wijze waarop van het ene naar het andere niveau is te komen. Belangrijk uitgangspunt daarbij is dat het belang van de praktijkfunctionarissen bij elke stap voorop staat. Praktijkgestuurd effectonderzoek geeft immers antwoord op vragen van praktijkwerkers over de resultaten van hun werk. Hun interessen staan dan ook bij dit type studie centraal. Maar niet alleen praktijkwerkers hebben belang bij dit onderzoek. Ook beleidsmakers zijn er mogelijk in geïnteresseerd. Immers, zij kunnen met gegevens over de effectiviteit van het aanbod beleid in gang zetten om geld vrij te maken voor de verdere ontwikkeling van de interventies. Een probleem is wel dat het uitvoeren van onderzoek niet de ‘corebusiness’ van praktijkwerkers. Van oudsher zijn het wetenschappers die zich met die activiteit bezighouden. Zij zijn dan ook doorgaans diegenen die voor de opzet, de uitvoering of de ondersteuning van het onderzoek uitgenodigd worden om deel te nemen. Het resultaat is dat er bij praktijkgestuurd onderzoek vaak drie ‘partijen’ in het spel zijn: praktijkwerkers, beleidsmakers en onderzoekers. Van belang is nu te beseffen dat deze ‘partijen’ niet per definitie dezelfde kijk op het onderzoek hebben. Elk neemt belangen en interesses mee die kenmerkend zijn voor het circuit waartoe ze behoren. De vraag is dan hoe zowel praktijk, beleid en wetenschap van het onderzoek kunnen profiteren, zonder dat de belangen en interesses van de verschillende partijen een belemmering vormen voor het gebruik in de praktijk. Om dat te kunnen beoordelen is het nodig drie circuits van nabij te gaan bekijken: de praktijk van het primaire proces, het beleid en de wetenschap. Door de belangen en mogelijkheden binnen elk circuit te expliciteren, kan er een vruchtbare wisselwerking gaan ontstaan. Ook kunnen mogelijke belangentegenstellingen duidelijk worden gesignaleerd en ingecalculeerd. De drie circuits worden in de paragrafen 4.2 tot en met 4.4 elk afzonderlijk besproken. We doen dat sterk profilerend, soms misschien erg zwart-wit, om de verschillende belangen en interesses zo scherp mogelijk te kenschetsen. Vervolgens gaat in paragraaf 4.5 de aandacht uit naar de verbinding tussen die circuits. Het leggen van die verbinding biedt veel mogelijkheden om de praktijk van de hulpverlening, het functioneren van de hulpverleningsorganisatie en het wetenschappelijk onderzoek naar de effectiviteit van de hulp vooruit te brengen. In paragraaf 4.6 maken we aan de hand van enkele voorbeelden duidelijk dat er bij het uitwerken van de verbindingen er belangentegenstellingen kunnen voordoen die moeten worden overbrugd. In paragraaf 4.7 volgt een samenvatting van het voorgaande. 53

= 4.2 De praktijk van het primaire proces In het primaire proces staat de concrete hulpverlening aan cliënten centraal. Deze hulpverlening wordt gekenmerkt door een interactie tussen hulpverlener en cliënt. In dit interactieproces brengt men de problematiek in beeld, stelt men de hulpvraag vast, worden de doelen van de hulp bepaald, de hulp uitgevoerd en uiteindelijk bepaald of de doelen zijn bereikt. Dit proces is met de volgende kenmerken te typeren. • Het belang van de hulpverlener is cliënten goed te helpen. Hier is het proces op gericht. • De focus van de hulpverlener is sterk gericht op ‘zijn’ cliënten, of ‘zijn’ doelgroep en de daarbinnen voorkomende variëteit aan gezinnen, jeugdigen en ouders. • Evaluatie maakt een vast onderdeel uit van de dagelijkse praktijk van de hulpverlening. De hulpverlener heeft in zijn opleiding geleerd deze evaluaties te gebruiken, hetzij in het kader van het individuele hulpverleningsplan bij casus X of Y, hetzij in het kader van de meer algemene reflectie op zijn handelen en de verdere optimalisering van zijn aanpak. • De hulpverlener is gewend zijn werkwijze te evalueren in een cyclus waarin de casuïstiek centraal staat (figuur 4.1): onderzoek met de cliënt wat het probleem is en wat de hulpvraag is (Vraag), stel doelen en plan de hulp (Plan), voer de hulp uit (Hulp), evalueer de hulp (Eval). Deze werkwijze staat ook wel bekend als de regulatieve cyclus (Van Strien, 1984). Plan Vraag Hulp Eval Vraag Plan Hulp Eval = Stel hulpvraag op = Stel doelen, plan hulp = Voer hulp uit = Evalueer de hulp Figuur 4.1 De hulpverleningscyclus Dit model heeft in handboeken voor diagnostiek en indicatiestelling diverse uitwerkingen gekregen. In de bureaus jeugdzorg volgt men een soortgelijk model. De vraaganalyse is daar verder uitgesplitst in de zogeheten diagnostische cyclus (voorafgegaan door de aanmelding en acceptatie van de cliënt): o Analyse: analyseren en taxeren van informatie over klacht en hulpvraag, aard en ernst van de problematiek, risico- en beschermende factoren, oplossingsmogelijkheden en aangrijpingspunten voor in te zetten hulp; o Conclusie: kernachtige samenvatting / integratie van de klacht, hulpvraag of hulpbehoefte van de cliënt, aard / ernst van de problematiek, risico- en beschermende factoren, verklaring (ontstaan/voortbestaan) van de problematiek of de beperking, oplossingsmogelijkheden en prognose; o Vaststellen benodigde zorg: bepaling van doelen en argumentatie wat de cliënt aan middelen nodig heef om het probleem te kunnen oplossen / hanteren. 54

= (Eijgenraam & Van der Steege, 2005). In de verschillende uitwerkingen van de hulpverleningscyclus is de evaluatie van de effecten van de hulp een vast onderdeel. De hulpverlener optimaliseert aan de hand van dit soort evaluaties niet alleen het individuele hulpverleningsproces. De werkwijze in het primaire proces ontwikkelt zich aan de hand van dergelijke evaluaties voortdurend. Hulpverleners leren hun lessen op basis van hun ervaring en stellen naar aanleiding van de bevindingen hun persoonlijke werkwijze met cliënten bij. Langs deze weg bouwt hij algemene kennis en ervaring op met betrekking tot vragen als: Hoe kan ik het type cliënt waar ik veel mee te maken heb het beste helpen? Hoe kan ik de hulpverleningsdoelen het beste bereiken? Bij sommige van mijn cliënten mislukt de hulpverlening. Hoe kan ik dat voorkomen? Bij andere cliënten verloopt de hulp heel goed. Hoe kan ik dat vaker bereiken? Deze kennis is vaak niet geëxpliciteerd, maar bevindt zich ‘tussen de oren’ en ‘in de vingers’ van de praktijkwerkers. • De maatstaf om te bepalen of de hulp voldoende effectief is, ligt bij de hulpvragen van de cliënten (zijn deze voldoende beantwoord?) en bij de doelen van de hulpverleningsplannen (zijn deze gerealiseerd?). Een criterium om van een geslaagde hulp te spreken is verder of de cliënten en de hulpverlener zelf tevreden zijn. • De hulpverlener is bij het bepalen van effecten niet geneigd tests en vragenlijsten als meetinstrumenten te gebruiken (Eijgenraam, Bothof & Van Yperen, 2001; Van Yperen, Van den Berg & Eijgenraam, 2002). Aan het kwalitatieve (en subjectieve) oordeel van verschillende deelnemers aan het hulpverleningsproces hecht men veel belang. Dat oordeel is vaak gebaseerd op ´het timmermansoog´. • Als hulpverleners hun gegevens verzamelen op het algemene niveau van al ‘hun’ cliënten, hun afdeling, of hun team, dan is dat om te reflecteren op hun werk, en om die reflecties te gebruiken voor de verbetering van het concrete hulpverleningsproces. Overzichten van gegevens moeten snel na het verzamelen worden teruggekoppeld en herkenbaar zijn voor de concrete praktijk, willen ze voor de hulpverlener interessant zijn. Hulpverleners ervaren gegevensverzameling als een last als de informatie niet in het hulpverleningsproces te gebruiken is, of als ze pas laat of op een te abstract niveau wordt teruggerapporteerd. Al met kenmerkt het primaire proces door een sterke en directe oriëntatie op de concrete casuïstiek en de vragen en behoeften die bij de hulpverleners in dat verband leven. Evaluatie maakt deel uit van het werkproces van de hulpverleners en is vaak kwalitatief van aard. Als de hulpverleners verzamelde gegevens op bovenindividueel niveau gebruiken, dan is dat om de bevindingen direct en herkenbaar op hun eigen werk te betrekken. 4.3 Het beleid Een belangrijke doelstelling van beleid is de kwaliteit van de hulpverlening vast te stellen, daarover verantwoording af te leggen en de kwaliteit – waar nodig – via maatregelen te verbeteren. Dat beleid is op verschillende niveaus te situeren, zoals: de instelling (de directie en het management), de gemeente of provincie (de gezamenlijke instellingen, de ambtenaren, de politiek) en op landelijk niveau (de brancheorganisaties, de ministeries). 55

= Er zijn modellen in omloop die aangeven welke aspecten van de hulpverlening bij die kwaliteitsvraag aan de orde zijn. Het model voor de Harmonisatie Kwaliteitsbeoordeling Zorgsector (HKZ) en het model van het Instituut voor Nederlandse Kwaliteit (INK) zijn daarbij de meest gebruikte. Voor een handzame samenvatting en vergelijking van deze modellen, zie Diephuis (2004). De kwaliteitseisen in deze modellen hebben betrekking op verschillende aspecten van de organisatie: enerzijds de ‘productiefactoren’ zoals het personeel, de materiële middelen, de werkprocessen, en anderzijds de ‘uitkomst- of resultaatfactoren’ zoals de tevredenheid van de klanten, of de mate waarin belangrijke maatschappelijke problemen worden opgelost. Als het gaat om het werken met dit soort modellen, laat het beleid zich als volgt kenmerken. • Het primaire belang ligt erin te bezien of de hulpverleningsorganisatie, een groep instellingen, een werksoort of een hele sector aan de belangrijkste kwaliteitseisen voldoet. De eisen gelden ten aanzien van zowel het resultaat van de hulp, als de context waarin dat resultaat tot stand komt (de randvoorwaarden, de organisatie, etc. – die ook hoofdstuk 1). • De focus van de beleidsmaker is niet gericht op de individuele cliënt, maar op de sector of de organisatie als geheel, of op deelsectoren, of afdelingen, doelgroepen of hulpvormen binnen de organisatie. • Net als de hulpverlener, wil de beleidsmaker de hulpverlening optimaliseren. De managementliteratuur presenteert in dat verband vaak een stappenmodel dat wordt aangeduid als Nolan’s PDSA-cyclus (Langley, Nolan, Nolan & Provost, 1996; figuur 4.2): formuleer welke kwaliteitseisen gelden ten aanzien van de resultaten van de hulp en stel een plan op om de uitvoering daarop te toetsen (P = Plan); voer het plan uit (D = Do); bestudeer de resultaten (S = Study); zorg indien nodig voor bijsturing en verbeteracties (A = Act). D P S A P = Stel eisen en plan toetsing (Plan) D = Voer plan uit (Do) S = Bestudeer de resultaten (Study) A = Zorg voor verbeteracties (Act) Figuur 4.2 Kwaliteitsontwikkeling in beleid: de PDSA-cyclus • De maatstaven om al dan niet van goede kwaliteit te spreken, worden bepaald door de doelen die door de doelen die de financier, de politiek, de cliënten- of de beroepsorganisaties met de instellingen voorhebben en de kwaliteitsnormen die men daarbij hanteert. Prestatie-indicatoren geven aan hoe goed of slecht de organisatie scoort ten aanzien van die normen (zie ook box 4.1). Om op instellingsniveau de resultaten van de hulp in beeld te brengen, gebruikt men bijvoorbeeld als indicatoren: ‘het percentage cliënten dat op de tevredenheidsschaal een 8 of hoger scoort’ en ‘het percentage cliënten dat aangeeft dat de doelen van de hulp zijn gehaald’. De normen die hier voor een goede kwaliteit gelden, zijn bijvoorbeeld: minstens 85% moet op de tevredenheidsschaal een 8 of hoger scoren èn bij minstens 70% moeten de doelen zijn gehaald. 56

= • Scores op prestatie-indicatoren worden bepaald aan de hand van registraties, al dan niet afkomstig uit meetinstrumenten (vragenlijsten, tests, beoordelingsschalen) die de hulpverlener gebruikt. • Kenmerkend is verder dat de prestaties periodiek worden opgemaakt. Dat kan bijvoorbeeld gebeuren in beleidscycli van een jaar, in het circuit van het opmaken van een kwaliteitsjaarverslag. Ook kan het voorkomen dat er frequenter overzichten worden gemaakt, bijvoorbeeld in het circuit van specifieke kwaliteitstrajecten. Kwaliteitsvraagstukken op het niveau van de organisatie staan hier centraal. Prestatie indicatoren geven daarbij aan wat de belangrijkste ´meetpunten´ zijn waaraan de kwaliteit is te bepalen. De geformuleerde normen zijn belangrijke ijkpunten om de gemeten prestaties tegen af te zetten. Scoort de organisatie onder de norm, dan is dat een belangrijke aanleiding om de vraag op te werpen: hoe kan ik beter presteren? Haalt men de norm, dan hoeft men niet zelfgenoegzaam achterover te leunen. De norm kan worden opgetrokken (bijvoorbeeld: over een jaar zijn bij 80% van de cliënten zijn de doelen gehaald!). Verbeteracties kunnen er vervolgens op gericht zijn om ook weer aan die nieuwe norm te gaan voldoen. Box 4.1 Prestatie-indicatoren Een prestatie-indicator is een onderwerp waarop gemeten wordt in welke mate een prestatie wordt geleverd. Er bestaan vele aspecten waarop prestatie-indicatoren betrekking op kunnen hebben: niet alleen resultaten van de hulp, maar ook bijvoorbeeld de kwaliteit van het hulpverleningsproces (voor een overzicht zie Groenewoud & Huijsman, 2003). Een belangrijk uitgangspunt is daarbij dat de prestatie-indicator is ingebed in een systeem van evaluatie en verbetering van de organisatie. Er zijn verschillende modellen gemaakt die handen en voeten geven aan dit uitgangspunt. Een bekend model in dat kader in de Balanced Scorecard (zie Ahaus & Diepman, 1998). De kern daarvan komt op het volgende neer: • Een organisatie heeft een visie of een missie ten aanzien van wat zij wil bereiken. • Deze missie/visie leidt tot de benoeming van factoren die het succes van de organisatie op korte en langere termijn bepalen. Die factoren kunnen op verschillende aspecten betrekking hebben (in de figuur: klanten, financieel, bedrijfsprocessen, lerend vermogen). • • Een prestatie-indicator is een meetbare eenheid die aangeeft in welke mate een succesbepalende factor aanwezig is. Een doel is in het model opgevat als een te bereiken waarde op de prestatie-indicator (bijvoorbeeld: criminaliteitspreventie bij Harde-Kern-jeugdigen is geslaagd als de recidive is teruggebracht naar 20% of minder). In de jeugdzorgsector spreken we hier liever van een norm. • Uitgangspunt is dat de prestatie-indicatoren iemand of iets in de organisatie moeten aanspreken op een verantwoordelijkheid en een bevoegdheid. Immers, wat heeft het voor zin om te meten dat de recidive 80 % is, en vervolgens niemand in de organisatie verantwoordelijk is om daar iets mee te doen en niemand ook bevoegd is om er wat aan te doen? • Om de prestaties te realiseren, worden er verbeteracties gekozen en ingezet. Deze acties worden idealiter zo gekozen, dat deze maximaal bijdragen aan de succesbepalende factoren en daarmee ook aan de realisering van de missie of de visie. De kunst is dus om die prestatie-indicatoren te selecteren, die een bijdrage leveren aan een doelbewuste én (be)stuurbare verbetering die past bij de belangrijkste taken van de organisatie. 4.4 De wetenschap Het wetenschappelijk circuit bevindt zich in belangrijke mate in universitaire onderzoekscentra en andere wetenschappelijke onderzoeksinstituten. Dit circuit heeft de volgende kenmerken. • Het primaire belang van de wetenschapper is kennis vergaren, theorieën opbouwen, deze theorieën toetsen en over de bevindingen publiceren in wetenschappelijke tijdschriften. 57

= • Ook een onderzoeker hanteert een model waarin evaluaties worden benut om tot verbetering te komen, in dit geval verbetering van zijn theorieën. Daar heten de stappen: observeer, verzamel en groepeer feitenmateriaal (Orden); stel inductief een theorie op en leidt deductief hypothesen af in de vorm van toetsbare voorspellingen, in dit geval over ‘wat werkt’ in de hulpverlening (Th); voer een onderzoek uit om de hypothesen te testen (Test); evalueer de bevindingen (Eval); groepeer al het feitenmateriaal opnieuw, ook met gegevens van andere, nieuwe onderzoekingen etc. Deze werkwijze staat bekend als de empirische cyclus (vgl. De Groot, 1968). Theor Orden Test Eval Orden = Verzamel, groepeer feiten Theor = Stel theorie, hypothesen op Test = Toets hypothesen Eval = Evalueer bevindingen Figuur 4.3 De empirische cyclus in de wetenschap • De focus van de wetenschappelijk onderzoeker is daarbij niet primair gericht op instelling A of B of op het werk van hulpverlener X of Y. De onderzoeker wil over personen en instellingen heen kunnen generaliseren; de kennis en theorie moet daarom zo algemeen mogelijk geldig zijn. • Bij de maatstaven die de onderzoeker aanlegt om al dan niet van effectiviteit te spreken, speelt de mate waarin het onderzoek en de resultaten geaccepteerd worden door het wetenschappelijk forum een belangrijke rol. Een goede doordenking vooraf, een gedegen onderzoeksopzet en een adequate analyse van de resultaten zijn daarbij van groot belang. Zo wordt een effect pas van belang geacht, als analyses laten zien dat resultaten statistisch significant zijn en als er gecontroleerd is op allerlei storende invloeden die het resultaat ook beïnvloed kunnen hebben. Belangrijk is daarbij tevens dat de resultaten van het onderzoek iets toevoegen aan de theorievorming of het kennisbestand. Oud nieuws is voor wetenschappers zelden goed nieuws, tenzij het om een doelbewuste replicatiestudie gaat. • De wetenschapper verzamelt zijn gegevens bij voorkeur aan de hand van tests, vragenlijsten of beoordelingsschalen die op betrouwbaarheid en validiteit zijn getest. • Om een wetenschappelijk onderzoek goed voor te bereiden, op een gedegen manier uit te voeren, te analyseren en te rapporteren is doorgaans veel tijd nodig. Niet zelden geschiedt het onderzoek in het kader van een dissertatie. Studies die enkele jaren duren zijn geen bijzonderheid. Een enkel effectonderzoek in een instelling kent vanuit het wetenschappelijk perspectief geredeneerd allerlei beperkingen. Het hoort bij het werk van de wetenschapper om bij die beperkingen uitgebreid stil te staan en van daaruit de resultaten van de studie te relativeren. Niettemin vormt een enkelvoudig onderzoek in een instelling een steen in een bouwwerk dat bestaat uit een verzameling van studies in allerlei instellingen. Wetenschappers hechten dan ook veel belang aan overzichtsstudies (reviews, meta-analyses), om daaruit af te leiden wat de globale trends zijn in de resultaten van het effectonderzoek, en welke factoren met een hoge of lage uitkomst lijken samen te hangen. Met behulp van dit soort overzichten wil de 58

= wetenschapper bijdragen aan de formulering van steeds trefzekere regels over ‘Wat werkt’ in de hulpverlening in het algemeen, bij specifieke doelgroepen of bij bepaalde hulpvormen. Het tot stand komen van dergelijke overzichten vergt een lange adem: het duurt vaak vele jaren voordat er voldoende zicht komt op wat nu wel en niet werkt. 4.5 Verbinden met het oog op praktijkverbetering In de voorgaande paragrafen zijn drie circuits geschetst waarin hulpverleners, beleidsmakers en wetenschappers hun werk doen. Figuur 4.4 vat samen wat de kenmerken van de drie circuits zijn. Ze zijn hier geschetst als drie duidelijk verschillende typen. De werkelijkheid is een stuk genuanceerder. Veel beleidsmakers werken met hulpverleners samen om in hun organisatie zicht te krijgen op de kwaliteit van het werk en om verbeterslagen door te voeren. Hetzelfde geldt voor samenwerkende onderzoekers en hulpverleners. Er zijn ook praktijkwerkers die hun werk zelf vanuit een wetenschappelijk circuit weten te evalueren – en daar bijvoorbeeld in een meerjarig traject een dissertatie aan wijden. Circuit Focus Vraag naar optimalisering Verbetercyclus Belang bij evaluatie of effectonderzoek Maatstaf Primair proces Individuele cliënt en hulpverlener (‘microniveau’ of N=1), alsook voor hulpverlener relevante en herkenbare doelgroepen. Hoe kan ik de hulpverlenings doelen het beste bereiken? Hoe kan ik mijn werkwijze verbeteren? Hulpverleningscyclus • • Vraaganalyse Hulpverleningsplan • • Uitvoering Evaluatie Vooruitgang in de hulp bepalen en nagaan of doel is bereikt. Bijdragen aan verbetering werkwijze eigen praktijk. Het bereiken van hulpverleningsdoelen, tevreden cliënt, tevreden hulpverlener. Beleid De organisatie als geheel, of afdelingen, doelgroepen of hulpvormen binnen de organisatie. Hoe kan ik (nog beter) aan de doelen van de organisatie en de kwaliteitsnormen voldoen? Wetenschap Generaliseerbare kennis en theorie (niet gebonden aan specifieke instellingen), t.a.v. werksoorten, doelgroepen, hulpvormen. Kan ik (nog meer) precies aangeven ‘wat werkt’ bij welke doelgroepen? Kwaliteitscyclus (PDSA) • • Planning (Plan) Doen (Do) • • Studie (Study) Verbeteractie (Act) Bepalen of de organisatie voldoet aan kwaliteitseisen (ter verantwoording en/of verbetering). Bijdragen aan optimalisering. Empirische cyclus • • Ordening feiten Theorie + Plan onderzoek • • Onderzoek en toetsing Evaluatie Kennis vergaren, theorie opbouwen over ‘wat werkt’ in de hulpverlening en daarover publiceren. Bijdragen aan verbetering kennis en theorie. Het bereiken van beleids- en organisatiedoelen, voldoen aan kwaliteitsnormen t.a.v. de resultaten van de hulp. Registraties, al dan niet met instrumenten. Een door het wetenschappelijk forum geaccepteerde verbetering van kennis en theorie t.a.v. ‘wat werkt’. Betrouwbare en valide meet instrumenten. Toetsing aan de hand van Oordelen van betrokkenen. Tijdsbestek De duur van het hulpverlenings proces. De duur van beleidscycli of van kwaliteitsprojecten. Lange adem (soms over vele jaren heen). Figuur 4.4 Vergelijking circuits effectonderzoek == De verbinding ligt echter ook in de wisselwerking die in hoofdstuk 1 is geschetst. Evaluaties in het primaire proces leveren immers de benodigde practice-based evidence.

De wetenschappelijke cyclus kan die kennis verder ordenen, er een theorie op bouwen over ‘wat werkt’ en dit aan verdere toetsing onderwerpen. Dat levert weer belangrijke gegeneraliseerde kennis die nodig is voor de evidence-based practice.

Het beleid neemt daarbij een belangrijke 59

= sleutelpositie in. Door hulpverleners in staat te stellen mee te doen aan onderzoek, helpt het beleid mee aan de opbouw van praktijkkennis die tot verbeteracties kan leiden. Andersom geldt dat het beleid de hulpverleners in staat kan stellen – bijvoorbeeld via bijscholing, deelname aan congressen e.d. – kennis te nemen van nieuwe wetenschappelijke inzichten. Ook kan ze actief beleid voeren om hulpvormen die op basis van wetenschappelijk onderzoek effectief zijn gebleken in eigen huis in te voeren. De geschetste circuits kunnen elkaar dan ook voor een belangrijk deel aanvullen. Dat gebeurt zeker, waar er sprake is van meer systematische vormen van praktijkontwikkeling, waarin hulpverleners, kwaliteitsfunctionarissen en wetenschappers in het kader van een project samenwerken om een hulpverleningsmethodiek steeds hoger op de effectladder te brengen. Praktijkgestuurd effectonderzoek is er nu op gericht om ten behoeve van de praktijkontwikkeling een slimme verbinding te maken tussen de verschillende circuits (zie = = = = = = = = = = = = = = = = = = = = = = = = figuur 4.5).

Practice- Based Evidence

Weten schap (de empirische cyclus) Beleid (PDSA-cyclus) Primaire proces (hulp verlenings cyclus)

Evidence- Based Practice

Figuur 4.5 De circuits van effectonderzoek jeugdzorg in wisselwerking . In de lijn met wat in hoofdstuk 1 is geschetst, geldt bij het maken van die verbindingen een drietal uitgangspunten. • Aansluiting.

De onderzoeksopzet sluit aan bij praktijk en de ontwikkelingsfase van de hulpverlening. Als de interventie waarop het onderzoek is gericht nog in ontwikkeling is, werkt het onderzoek met een opzet en met methoden die ervoor zorgt dat de interventie een stap verder wordt geholpen. Het onderzoek loopt, met andere woorden, niet teveel stappen vooruit. • Inbedding. Het onderzoek past qua opzet, meetinstrumenten en belasting van hulpverleners goed bij het werk en de vragen interesses van de praktijkwerkers. De instrumenten zijn goed hanteerbaar. De gegevens die ermee worden vastgelegd, zijn voor de hulpverlener 60

= bruikbaar en beschikbaar in het kader van zijn primaire kwaliteitscyclus (hulpverleningsplan, uitvoering, evaluatie, bijstelling, etc.). • Benutting.

De verzamelde gegevens worden gebruikt om de effectiviteitvragen te beantwoorden op het niveau van hulpvormen of doelgroepen die voor de hulpverlener herkenbaar en relevant zijn. Voor een belangrijk deel zullen dit ook vragen zijn die in het kader van kwaliteitsbeleid en wetenschappelijk onderzoek aan de orde zijn. Er wordt echter op gelet dat de resultaten altijd naar de hulpverlener worden teruggekoppeld op een voor hem begrijpelijke en motiverende manier, en dat hij wordt gestimuleerd en ondersteund bij het gebruik van de gegevens om de kwaliteit van zijn werk te optimaliseren. Het praktijkgestuurd effectonderzoek diskwalificeert niet het onderzoek dat uitsluitend in het kader van kwaliteitsbeleid of wetenschappelijk onderzoek gebeurt. Integendeel, dat werk is van groot belang om verbeteringen in organisaties, theorievorming en kennisvermeerdering tot stand te brengen. De verschillende circuits kunnen elkaar in die zin sterk voeden. Daarbij zijn de volgende mogelijkheden denkbaar (zie ook figuur 4.6). Primair proces Beleid Wetenschap • Gegevensbron • Plaats binnen organisatie voor bezinning op kwaliteit • Plaats voor kritische en onafhankelijke reflectie • Vindplaats succesvolle praktijken • • Proeftuin nieuwe aanpak Afzetgebied ontwikkelde hulpvormen • • Middelen voor bundeling gegevens over kwaliteit Middelen voor uitwisseling praktijkkennis • • Vindplaats van theorieën Bron van en middelen voor methoden en technieken van onderzoek • De uiteindelijke toetssteen van verbeteracties (“Wordt de hulpverlening er beter van?”) • Middelen voor uitvoering verbeteracties • Kennisbron verbeteracties m.b.t. ‘wat werkt’ = Figuur 4.6 Wat hebben de circuits aan elkaar? In praktijkgestuurd onderzoek is het primaire proces een belangrijke gegevensbron om vragen in het kader van kwaliteitsbeleid en onderzoek te beantwoorden. Daarmee is het ook een vindplaats voor succesvolle en minder succesvolle praktijken: via kwaliteitsmonitors en onderzoek kunnen deze boven komen drijven. Maar tegelijk is de praktijk van de hulpverlening ook een belangrijke proeftuin voor vernieuwingen die primair vanuit het kwaliteitsbeleid en het wetenschappelijk onderzoek worden ingezet. Vanuit dat oogpunt is de werkvloer een afzetgebied voor goed ontwikkelde en op effectiviteit getoetste hulpvormen. Verbeteracties die vanuit het praktijkgestuurd onderzoek worden ingezet, kunnen daarop inspelen. Het is niet nodig om overal het wiel uit te vinden; het getuigt van wijsheid om elders succesvol gebleken praktijken over te nemen. Het kwaliteitsbeleid is voor hulpverleners een belangrijk vehikel om verbeteracties in de eigen praktijk door te voeren. In het kader van dat beleid is het mogelijk om op een wat algemener niveau te kijken naar de kwaliteit van het eigen werk en te zoeken naar manieren om verbeteringen in het dagelijkse werk door te voeren. Praktijkgestuurd onderzoek en kwaliteitsbeleid kunnen daarmee hand-in-hand gaan. Ook de wetenschappelijk is vanuit de praktijk een interessante partner. Daar vindt men immers expertise om op een zeer grondige en neutrale manier te bepalen of de praktijk aan kwaliteitsnormen voldoet en of verbeteracties die de organisatie doorvoert tot het gewenste resultaat leiden. Tevens kan de wetenschappelijke kennis zijn toepassing vinden in de praktijk. 61

= In de wetenschap zoekt men naar fundamentele kennis en theorie die helpt de werkzame principes van de hulpverlening te ontdekken. Een kritische en onafhankelijke reflectie op de hulpverlening vormt daarin een essentieel onderdeel. De daarvoor benodigde gegevens kan men eventueel uit de hulpverlening en het kwaliteitsbeleid halen. Tegelijk geldt de wetenschappelijke kennis en theorie als een belangrijke inspiratiebron bij het verzinnen van verbeteracties in de praktijk en het kwaliteitsbeleid. De conclusie hieruit is evident: een productieve wisselwerking tussen de circuits kan de vooruitgang in de hulpverlening enorm stimuleren. Ook het wetenschappelijk onderzoek heeft daarin een belangrijke rol. In de praktijk zien we echter dat resultaten van onderzoek waarvoor hulpverleners gegevens hebben geleverd lang niet altijd bij de praktijk terechtkomen. Ze blijven hangen bij de beleidsmakers of onderzoekers die er ‘hun ding’ mee doen. Bij praktijkgestuurd effectonderzoek geldt echter als uitgangspunt dat de vragen van praktijkwerkers worden beantwoord. Dat gebeurt onder meer door de gegevens altijd en zo mogelijk ook snel terug te koppelen naar de hulpverleners. Beleidsmakers of onderzoekers mogen met de gegevens ook ‘hun ding’ doen – graag zelfs -, zolang dat maar niet ten koste gaat van die terugkoppeling naar de praktijk. 4.6 Omgaan met verschillende belangen Praktijkgestuurd onderzoek stelt het belang van het primaire proces centraal. Het haakt in op de belangen en interesses van hulpverleners. Tegelijk heeft het duidelijk zijn basis in het wetenschappelijk onderzoek. Dit brengt spanningen met zich mee. Het is wetenschappelijk onderzoek midden in de turbulentie van de dagelijkse realiteit. Dat betekent werken met cliënten die soms niet komen opdagen, vergeten vragen op de vragenlijst in te vullen, de Nederlandse taal soms niet machtig zijn, niet duidelijk in een diagnosecategorie te plaatsen zijn, de interventie niet helemaal willen uitvoeren, naast de interventie ook andere activiteiten doen om de problemen de baas te worden, enzovoort. Het betekent ook werken met hulpverleners die niet altijd tijd of zin hebben om alle onderdelen van het onderzoek trouw uit te voeren, dat ze door alle drukte soms vergeten vragenlijsten af te geven of in te vullen, soms de metingen en de interventie aanpassen omdat ze vinden dat het met het oog op de cliënt echt noodzakelijk is, de hulp anders uitvoeren van voorgeschreven is, enzovoort. Een deel van deze beperkingen zijn te verkleinen door een zo gering mogelijke belasting van de betrokkenen, door goede afspraken te maken en door een training en ondersteuning van de betrokkenen om de vereiste discipline op te brengen de gegevens te leveren én te gebruiken. Een deel van de beperkingen zij echter niet te voorkomen. Het is goed om dat te signaleren, om te voorkomen dat praktijkgestuurd onderzoek discussie oproept die contraproductief werkt. We illustreren dit punt kort aan de hand van twee kwesties die doorgaans bij de uitwerking aan de orde zijn. In het vervolg zullen deze kwesties nog geregeld aan de orde komen. 62

= Hulpverlening en effectonderzoek In de praktijk is geregeld te horen dat hulpverlening en wetenschappelijk effectonderzoek twee verschillende zaken zijn. Voor een deel is dat waar, maar voor een deel ook niet. Strikt genomen verschillen hulpverlening en effectonderzoek niet zoveel. Immers, bij beide a.

vindt een voormeting plaats (het in beeld brengen van de problematiek en de hulpvraag); b.

c.

er volgt een interventie (de uitvoering van de hulp) en er wordt een nameting uitgevoerd (de bepaling of de doelen zijn bereikt). De metingen gebeuren soms aan de hand van tests of vragenlijsten, maar vaak ook kwalitatief, met vraaggesprekken en observaties. In beide gevallen worden de metingen verricht om te bepalen wat de beginsituatie is en of aan het einde van de hulp de doelen zijn gehaald. In de praktijk is het niet erg gebruikelijk om het hulpverleningsproces en effectonderzoek zo aan elkaar te relateren. Dat blijkt alleen al in de taal. In plaats van een voormeting heeft de hulpverlener het over diagnostiek. In plaats van een nameting, heeft men het over de evaluatie van de hulp of over het bepalen van de mate van doelrealisatie. De hulpverlener duidt dit hele proces aan met de hulpverleningscyclus. In het onderzoek heet dit een effectbepaling op individueel niveau (het zogeheten N=1 – onderzoek). Maar in essentie doet de hulpverlener in de praktijk altijd aan effectonderzoek. Niet voor niks duidde Van Strien (1984) het hulpverlening aan als een proces op N=1 – niveau. Volgens hem hebben professionele hulp en wetenschap alles met elkaar te maken. De hulpverlener is zijn eigen onderzoeker: hij verzamelt en ordent gegevens, stelt samen met de cliënt een theorie op over wat er aan de hand is en welke interventie waarschijnlijk effectief zal zijn, voert de interventie uit en verzamelt opnieuw gegevens om te bekijken (te testen) of de theorie over de effectiviteit van de interventie klopt. Ook op globaler niveau liggen er belangrijke dwarsverbanden. Net als de wetenschapper is de hulpverlener nieuwsgierig naar ‘wat werkt’ bij de doelgroepen waar hij mee te maken heeft. De evaluatie van hulpvormen, modules of zorgprogramma’s is een herkenbaar onderdeel van zijn werk. Hoewel er dus veel raakvlakken zijn, is het cruciaal om te realiseren dat hulpverleners in de eerste plaats hulpverlener zijn en geen wetenschappelijk onderzoeker, en dat het in de praktijk primair draait om hulpverlening, niet om wetenschappelijk onderzoek. Wat betekent dit? • In de eerste plaats is het nuttig te beseffen dat veel hulpverleners niet uitgebreid zijn opgeleid als wetenschappelijk onderzoeker. Groepsleiders, gezinsondersteuners, trainers hebben vaak een HBO-opleiding gehad. Zij hebben in dat kader kennisgemaakt met onderzoek, maar kennen niet alle ins and outs van de empirische wetenschap. • Veel hulpverleners ontlenen niet hun beroepsidentiteit aan het doen van wetenschappelijk onderzoek, maar aan het helpen van jeugdigen en opvoeders. Dat betekent niet dat ze onderzoek niet belangrijk vinden; zij zien het gewoon niet als hun vak. • Theorie, reflectie en meten hoort bij het vak van hulpverlener. Het vakmanschap van de hulpverlener wordt daarbij gekenmerkt door de mate waarin hij die theorie, reflectie en het 63

= meten op een creatieve manier kan inzetten in het hulpverleningsproces. Als het in een bepaald geval niet slim of zinvol is om een instrument af te nemen, dan hoort het bij het vakmanschap om dat niet te doen en naar andere wegen te zoeken om te weten te komen wat je moet weten. • Een hulpverlener moet productie maken: zoveel mogelijk cliënten helpen tegen zo laag mogelijke kosten. Kritische reflectie op het vak moet zeer efficiënt gebeuren. Reflectie die niet duidelijk bijdraagt aan verbetering van het primaire proces is iets voor heidagen en gesprekken tijdens de boterham … en voor wetenschappers. Net zoals een wetenschappelijk onderzoeker zijn beroepsidentiteit niet ontleent aan de hulpverlening met concrete cliënten, mag van de hulpverlener niet verwacht worden dat deze zich zonder meer identificeert met het wetenschappelijk onderzoek. Van een hulpverlener mag echter wel verwacht worden dat hij zijn eigen werk kritisch volgt. Binnen de mogelijkheden betekent dat: theorie, reflectie, meten, verbeteren. Voor zowel de onderzoeker als de hulpverlener zijn dat elementen die behoren tot ieders vakmanschap. Daar kunnen ze elkaar dan ook op vinden. Wat zijn de gehanteerde normen? Van groot belang is er rekening mee te houden dat een ieder vanuit zij eigen kader kijkt naar de resultaten van onderzoek. Wat voor de wetenschapper interessant kan zijn, hoeft de hulpverlener nog niet zomaar aan te spreken. Dit laat zich goed illustreren aan de hand van de vraag wat de normen zijn om al dan niet van effectieve zorg te spreken. Daarbij zijn er grofweg drie mogelijkheden te onderscheiden. • De eerste mogelijkheid zijn kwalitatieve normen , zoals: de cliënten zijn over het algemeen tevreden over het resultaat; de hulpverleners geven aan dat de doelen in de meerderheid van de cliënten worden gehaald. Praktijkwerkers voelen zich vaak hierdoor aangesproken. • De tweede mogelijkheid zijn de absolute, kwantitatieve normen . Bijvoorbeeld: meer dan 80% van de doelen in de hulpverleningsplannen zijn behaald; de score op een landelijk gestandaardiseerd meetinstrument voor gedragsproblemen laat zien dat 90% van de cliënten er na de hulp minder problemen hebben. Dit soort normen zijn erg populair bij beleidsmakers. • De derde mogelijkheid betreft de hantering van relatieve, kwantitatieve normen . Bijvoorbeeld: er is een statistisch significant verschil (p < .05) tussen de voor- en de nameting; er is een statistisch significant verschil (p < .05) tussen de behandelde groep en een vergelijkingsgroep (controlegroep). Wetenschappers zijn gewend om in het kader van effectonderzoek dergelijke normen te hanteren. Wat voor de ene partij een geldige norm kan zijn, hoeft voor de andere nog niet van belang te zijn. Voor praktijkwerkers kan het bijvoorbeeld erg frustrerend zijn een tabel voorgeschoteld te krijgen waarin staat dat de gemeten veranderingen niet statistisch significant zijn, terwijl ze daarvan weinig herkennen in hun eigen werk. Ze zien bij de meeste cliënten toch veelal duidelijk vooruitgang? Hoe kan dat? Omgekeerd geldt dat een wetenschapper soms tevreden kan zijn als een experimentele groep er significant meer op is vooruitgegaan dan een 64

= controlegroep. De hulpverlener hoeft daarvan echter nog niet onder de indruk te zijn, als de vooruitgang te gering is om daarmee de hulpverleningsdoelen te kunnen realiseren. Bij het interpreteren van de resultaten is het dan ook goed in de gaten te houden dat cijfers zelden voor zich spreken; vaak is het van belang om over de cijfers te spreken. ‘Harde’ wetenschappelijke gegevens zullen daarbij pas tot bereidheid voor verbeteracties in de praktijk leiden, als ze tot herkenning leiden. Om de kans op verbeteracties te vergroten, is het dan ook van groot belang om bij de opzet van het onderzoek ruim aandacht te besteden aan de vraag wat de verschillende betrokkenen onder effectieve zorg verstaan, welke normen ze daarbij hanteren en hoe ze denken zichtbaar te kunnen maken in welke mate de normen worden gehaald. Ook zal de interpretatie van de resultaten vanuit de verschillende perspectieven ruimschoots aandacht moeten krijgen. Zonder deze stappen kunnen de onderzoeksgegevens het zand worden in de verbetercyclus van de praktijk, en niet de smeerolie. 4.7 Samenvatting en conclusies In dit hoofdstuk hebben we laten zien dat praktijkgestuurd effectonderzoek een verbindende schakel kan zijn tussen de hulpverleningscyclus, het kwaliteitsbeleid en de wetenschappelijke theorievorming. Een productieve wisselwerking tussen de circuits kan de vooruitgang enorm stimuleren. De focus in de wisselwerking die wordt gezocht, is gericht op praktijkverbetering. Het praktijkgestuurd effectonderzoek diskwalificeert daarmee niet het onderzoek dat uitsluitend in het circuit van kwaliteitsbeleid of wetenschappelijk onderzoek gebeurt. Integendeel, dat werk is van groot belang om verbeteringen in organisaties, theorievorming en kennisvermeerdering tot stand te brengen. Bij praktijkgestuurd effectonderzoek geldt echter als uitgangspunt dat de vragen van praktijkwerkers worden beantwoord. Beleidsmakers of onderzoekers mogen met de gegevens ook ‘hun ding’ doen – graag zelfs -, zolang dat maar niet ten koste gaat van de terugkoppeling naar de praktijk. Praktijkgestuurd effectonderzoek vindt plaats in de turbulentie van de dagelijkse realiteit van de hulpverlening. Bovendien is het primair gericht op praktijkrelevante vragen. Dit levert bij de uitwerking van het onderzoeksmodel mogelijk spanning op tussen belangen van de hulpverlener, de beleidsmaker en de wetenschapper. Een deel van deze spanningen zijn te verkleinen, maar een deel ook niet. Het is goed om dit expliciet te signaleren. Dat moet voorkomen dat praktijkgestuurd onderzoek discussie oproept die contraproductief werkt. De kracht van het verbinden van de verschillende circuits zit in de vraag wat men voor elkaar kan betekenen. Dat moet – oneerbiedig gezegd – uitgebuit worden. Daarnaast is de spanning tussen de circuits ook een gezonde stimulans om de effectladder steeds hoger te beklimmen. 65

4.8 Bronvermelding Ahaus, C.T.B. & Diepman, F.J. (1998). Balanced Scorecard & Model Nederlandse Kwaliteit.

Deventer: Kluwer. Diephuis, K.H. (2004). Doorbreken met kwaliteit. Programma Kwaliteitszorg in de Jeugdzorg II.

Utrecht: GGZ Nederland / Maatschappelijk Ondernemers Groep. Eijgenraam, K., Bothof A. & Yperen, T. van (2001). Haalbaarheid samenhangend instrumentarium Bureaus Jeugdzorg. Eindrapport . Utrecht: NIZW. Eijgenraam, K. & Steege, M. van der (2005). Een samenhangend instrumentarium voor het bureau jeugdzorg. Eindrapport project ‘Ontwikkeling Samenhangend Instrumentarium bureau jeugdzorg’ (OSI) . Utrecht: NIZW. Groenewoud, A.S. & Huijsman, R. (2003). Prestatie-indicatoren voor de kiezende zorggebruiker . Den Haag: ZonMw.

Groot, A.D. de (1968). Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen. Den Haag: Mouton. Langley, C., Nolan, K., Nolan, T., Norman, C. & Provost, L. (1996). The Improvement Guide: A Practical Approach to Improving OrganizationalPerformance. San Francisco: Jossey-Bass Publishers. Lodewijks, H. P. B., Doreleijers, Th. A. H., de Ruiter, C. & de Wit-Grouls, H. F. (2001). SAVRY: Handleiding voor de gestructureerde risicotaxatie van gewelddadig gedrag bij jongeren. Geautoriseerde Nederlandse vertaling Ib . Effde: Rentray. Strien, P.J. van (1984). Naar de verwetenschappelijking van de praktijk. Tijdschrift voor Orthopedagogiek, 23, 162 180. Yperen, T.A. van, Berg, G. van den & Eijgenraam, K. (2002). Project ´Registratie ernst problematiek´. Eerste deelrapport: begrippen, doelen en instrumenten.

Utrecht: NIZW. = 66

=

Hoofdstuk 5. Organiseren van het onderzoek

= = = Dries Roosma, Herma Ooms en Jan Willem Veerman 5.1 Inleiding = In de vier voorgaande hoofdstukken is een weg aangegeven waarlangs meer zicht op effectiviteit van jeugdzorg kan gaan ontstaan. In plaats van top down de sector op te leggen hoe effectieve zorg georganiseerd en geïmplementeerd moet worden is een omgekeerde bottom up route voorgesteld. Met de term praktijkgestuurd effectonderzoek werd die route van een naam voorzien die aangeeft dat de praktijk aan het roer zit, maar de wetenschap nodig blijft. Praktijkgestuurd effectonderzoek veronderstelt een nauwe samenwerking tussen praktijkfunctionarissen en wetenschappers. Aansluiten bij wat er is, inbedden in het hulpverlenend handelen en benutten van resultaten werden als de drie werkzame principes van dit soort onderzoek gezien. Door het benoemen van potentieel, veelbelovend, doeltreffend en werkzaam als vier verschillende niveaus van effectiviteit werd een eenheid van taal gecreëerd die het mogelijk maakt over de effecten van interventies in de jeugdzorg te spreken op een manier die de praktijk recht doet en toch wetenschappelijk houvast biedt. Door deze niveaus op een effectladder te plaatsen kon de route verder worden uitgetekend en in een ontwikkelingsperspectief worden geplaatst. Door het gebruik van steeds sterkere onderzoeksdesigns ontstaat er op hogere niveaus steeds meer bewijskracht voor de effectiviteit van een interventie. Praktijkgestuurd onderzoek is een kwestie van (het leveren van) bewijzen. Via de effectladder kon de route tevens tussen praktijk en wetenschap geplaatst worden. De empirische cyclus, respectievelijk de hulpverleningscyclus werden opgevoerd als beschrijving van de kernactiviteiten in deze werkterreinen. Om praktijkgestuurd effectonderzoek in een instelling te kunnen uitvoeren is het noodzakelijk deze twee cycli met elkaar te verbinden. Hiervoor werd de beleidscyclus als middel gezien. De beleidscyclus verbindt de wetenschappelijke eisen van een evidence based practice met de mogelijkheden van de praktijk voor het produceren van practice based evidence . Praktijkgestuurd effectonderzoek is daarmee ook een kwestie van organiseren. In dit hoofdstuk gaan we hier verder op in. We beginnen, in paragraaf 5.2, met een visualisatie van een droom: Hoe ziet een jeugdzorginstelling eruit die praktijkgestuurd effectonderzoek op een succesvolle wijze heeft ingevoerd? Deze droom vertellen we middels gefingeerde interviews met betrokkenen. Dit geeft een voorstelling van zaken. De volgende paragrafen handelen over hoe deze droom werkelijkheid kan worden. In paragraaf 5.3 gaan we in op de kwaliteitscriteria die een instelling kan gebruiken bij het bepalen welke stappen ondernomen moeten worden in de richting van de gedroomde situatie. In paragraaf 5.4 geven we praktische tips op welke wijze vier kernprocessen (techniek, logistiek, methodiek en statistiek) ingericht moeten worden om praktijkgestuurd effectonderzoek minimaal op de derde trede van de effectladder binnen een jeugdzorg instelling aan het draaien te krijgen en vervolgens ook draaiend te houden. In paragraaf 5.5 gaan we nader in op het huiswerk van de overheid en de brancheorganisaties in de jeugdzorg om instellingen en professionals bij het realiseren van de gedroomde situatie een flinke steun in de rug te geven. 67

= 5.2 Praktijkgestuurd effectonderzoek: een droom van een casus Stichting ‘Jeugd in Balans’ (afgekort JIB, een fictieve instelling) is een jeugdzorgaanbieder die de afgelopen jaren, met ondersteuning en instemming van VWS, de provincie en het regionale zorgkantoor, praktijkgestuurd effectonderzoek op een succesvolle wijze binnen de gehele instelling heeft ingevoerd. Kern van dit onderzoek is het gebruik van enkele gestandaardiseerde meetinstrumenten om opgroei- en opvoedingsproblemen van aangemelde kinderen en jeugdigen vast te kunnen stellen en om het verloop van die problemen te kunnen volgen. Mede omwille van de vergelijkbaarheid met onderzoeksresultaten van andere instellingen heeft JIB heeft gekozen voor instrumenten die ook elders al gebruikt worden (Ten Brink, Kerkstra, Roosma & Veerman, 2001): de Child Behavior Checklist – CBCL (Verhulst, Van der Ende & Koot, 1996) en de Youth Self-Report – YSR (Verhulst, Van der Ende & Koot, 1997) voor het vaststellen van de opgroeiproblemen in termen van emotionele en gedragsproblemen en de Nijmeegse Ouderlijke Stress-Index – NOSI (De Brock, Vermulst, Gerris & Abidin, 1992) voor het vaststellen van opvoedingsproblemen in termen van opvoedingsbelasting. Na afloop van de hulp vullen alle cliënten van JIB een cliënttevredenheidslijst in waarmee ze de hulpverleners feedback geven over verschillende aspecten van de geboden hulp (de C-toets; Stichting Alexander, 2003). Wat zouden ouders en kinderen hiervan merken? Wij interviewen een moeder en haar 14-jarige zoon die via het Bureau Jeugdzorg (BJZ) hulp hebben gehad van de stichting JIB. Welke hulp hebben jullie gehad?

Moeder: Van het Bureau Jeugdzorg kregen wij een indicatiebesluit waarmee wij hulp konden krijgen van IOG (Intensieve Orthopedagogische Gezinsbehandeling, red.) . In het indicatiebesluit stond dat wij deze hulp bij ons in de buurt konden krijgen bij JIB. Wij kregen van onze casemanager een folder over IOG waarin heel duidelijk beschreven werd wat deze hulp inhoud en hoe ze te werk gaan.

Zoon: Ik heb toen op internet deze instelling opgezocht. Moeder: Ja, mijn zoon liet mij een website zien waarop alle resultaten van JIB en van andere instellingen in Nederland op een rijtje stonden. Ik zag dat IOG van JIB hele goede resultaten haalde, en wat mij vertrouwen gaf was dat andere ouders IOG een heel hoog cijfer hadden gegeven (op de C-toets, red.). Zoon: Ik zag dat IOG ook van andere jongeren een behoorlijk hoog cijfer had gekregen, ik dacht dan zullen ze wel niet alleen partij voor mijn moeder kiezen, maar misschien ook wel luisteren naar wat ik ervan vind.

Hoe zijn jullie in contact gekomen met IOG van JIB? Moeder: We hebben met onze casemanager (van BJZ, red) besproken om hulp te zoeken bij IOG van JIB. Zij heeft toen een afspraak bij IOG voor ons geregeld.

En toen?

Moeder: Toen kregen we na drie weken bezoek van Stella (de gezinshulpverlener van IOG, red.). We hebben kennisgemaakt. Zij had gelukkig het rapport van BJZ ook al gelezen, zodat we niet ons hele verhaal weer opnieuw hoefden te doen. Na een tijdje vroeg ze ons of wij voor het volgende bezoek een paar vragenlijsten wilden invullen. 68

= Zoon: Ik kreeg ook een vragenlijst (de YSR, red.), die erg veel leek op die ene die mijn moeder kreeg (de CBCL, red). Moeder: Ja, de ene was een gedragsvragenlijst, waarin ik moest aankruisen welk gedrag op mijn zoon van toepassing was. De andere lijst ging meer over mijzelf en over hoe ik de opvoeding van mijn zoon ervaar (de NOSI, red.).

Stella vertelde ons dat zij de lijsten nodig had om op een goede manier samen met ons op een rijtje te zetten wat niet goed gaat en ook wat al wel goed gaat. En? Moeder: Wel het invullen van de lijsten vond ik niet makkelijk, ik denk dat ik daar toch bijna wel een uur mee bezig ben geweest. Zoon: Ik was veel sneller klaar.

Moeder: Ja, maar jij hoefde ook maar één lijst. Stella heeft de lijsten de keer daarop meegenomen, en het volgende bezoek was voor mij heel belangrijk.

Ja, waarom? Moeder: Zij kwam toen bij ons met drie plaatjes (de profielen van de vragenlijsten, red.). Stella heeft ons uitgelegd dat in deze plaatjes te zien is hoe wij op dat moment tegen onze problemen aankijken. Wat ik het meest opvallend vond was dat ik en mijn zoon op de meeste punten er wel hetzelfde tegenaan keken (de vergelijking van het CBCL en YSR profiel, red.). Behalve op twee punten. Ik vond het agressieve gedrag van mijn zoon een veel groter probleem dan mijn zoon en ik had niet in de gaten dat hij met allerlei kleine angsten en zorgen zat.

Zoon: Dat is zo, maar wat ik goed vond van Stella is dat zij toen aan ons ging vragen of jij en ik dat ook herkennen. Uit dat gesprek kwam in elk geval naar voren dat jij ook vond dat ik niet altijd agressief ben en vaak ook wel naar jou luister.

Moeder: Dat klopt, maar duidelijk werd ook dat zowel jij als ik vonden dat hier wel een groot probleem zat, waar we mee aan het werk moesten.

Zoon: Wat ik erg fijn vond was dat duidelijk werd dat niet alles zo slecht ging als dat jij altijd zegt. Ook kon ik eindelijk eens vertellen wat soms allemaal in mijn hoofd omgaat, de dingen waar ik mee zit.

Moeder: Dat ben ik helemaal met je eens. Stella was ook de eerste die mij echt begreep. Op die andere lijst over mijzelf (de NOSI, red.) scoorde ik op bijna alle punten heel erg hoog (in het klinische deel, red.). Ook hierover vroeg Stella mij of ik dit herkende. En dat deed ik zeker! Zij vroeg mij daarna hoe ik het zo heb kunnen volhouden! En ja, dat vraag ik mij zelf ook regelmatig af. Uit het gesprek met Stella kwam ik erachter dat dit toch ook erg knap van mij is, maar ook dat de problemen niet altijd spelen, dat ik ook goede momenten heb met mijn zoon.

Aan het eind van dat bezoek weet ik nog, hadden we alledrie helder waar we aan wilden en moesten werken. Zoon: Het mooie vond ik dat ik niet alleen doelen voor mij had, maar jij ook voor jou ma!

Tsjonge, dat is wel veel in een bezoek? Moeder: Ja dat bezoek is heel belangrijk voor mij geweest, dat had ik nooit willen missen!

En, hoe ging het verder? Moeder: We zijn toen aan het werk gegaan. Zoon: Stella kwam vaak als ik er ook was, ze heeft mij echt goed geholpen met mijn doelen. Op school en tussen mij en mijn moeder ging het steeds beter.

Moeder: Na een aantal maanden zei Stella dat het tijd werd om eens met elkaar te kijken hoe ver we al opgeschoten waren. Zij vroeg ons om de vragenlijsten weer een keer in te vullen. 69

= Ja? Moeder: Uit de vergelijking van de plaatjes van deze lijsten met die we in het begin hadden ingevuld, werd erg duidelijk welke dingen we al veel beter vonden gaan en aan welke dingen we nog moesten werken.

Zoon: Jij was zo blij dat we daarna patat hebben gegeten, dat vond ik echt leuk om mijn moeder zo vrolijk te zien!

Moeder: Ja ik was ook blij. Nog niet alles ging zoals dat ik wilde, maar er was toch al heel veel veranderd.

Moeder: Daarna hebben we nog een periode aan de nieuwe doelen gewerkt, en bij de afsluiting ging het op dezelfde manier als bij de evaluatie.

Zoon: Behalve dat we toen een feestje hebben gevierd met Stella erbij. Moeder: Stella gaf ons toen ook nog een andere vragenlijst, die we later konden opsturen naar JIB (de C-toets, red.) , in die lijst heb ik de hulp van Stella toen een 10 gegeven! Zoon: Ik een 9 want ik ben kritischer dan mijn moeder.

Reactie van Stella Stella vertelde ons dat de manier van werken met de vragenlijsten bij hun in de instelling altijd zo gebeurt als in het interview met dit gezin naar voren komt. Stella: Werken met de vragenlijsten op zo’ n manier is erg leuk en scheelt mij echt heel veel tijd. Ik heb veel sneller de problemen en ook krachten van ouders en kinderen op een rijtje, en ook nog op een manier die aansluit bij zoals zij er tegenaan kijken . Ons werd verteld dat dit werken met vragenlijsten bij JIB een aantal jaren geleden is ingevoerd. Dat iedereen hier toen een training in heeft gehad en dat er in de werkbegeleiding ook elke keer aandacht voor was. Stella: Niet alleen wij als hulpverleners waren ermee bezig. Ook onze secretaresse had extra tijd. Zij hebben een computerprogramma en een training gekregen om ons op tijd de profielen (de plaatjes, red.) van de vragenlijsten te kunnen geven, zodat wij ze ook direct met de gezinsleden kunnen bespreken . Reactie van de teamleider van Stella Sinds de invoering van dit nieuwe beleid heeft mijn werk echt meer diepgang gekregen. De vragenlijsten worden niet alleen gebruikt op individueel niveau, maar omdat ze verwerkt worden in een onderzoeksdatabase krijgen wij elk jaar van de onderzoekers ook een tabellenboek en een power-point presentatie van de uitkomsten op team- en afdelingsniveau. In de teams bespreek ik die onderzoeksuitkomsten, waarbij we eerst bekijken wat de opvallende zaken zijn die we in de uitkomsten zien. Vervolgens vraag ik de teamleden of deze uitkomsten voor hen herkenbaar zijn en of zij mogelijke verklaringen hebben waarom de uitkomsten eruit zien zoals ze eruit zien. Als laatste vraag ik de teamleden of zij de uitkomsten goed genoeg vinden en of zij denken dat er nog verbeteringen mogelijk zijn. Ik maak van deze bijeenkomsten dan een verslag, wat ik in de daarop volgende teambijeenkomst laat vaststellen. In deze teambijeenkomst vraag ik de teamleden dan wat zij denken nodig te hebben om de voorgestelde verbeteringen te bereiken. 70

= De teamleider gaf aan dat binnen JIB alle teamleiders een training hebben gehad in het gestructureerd bespreken van onderzoeksuitkomsten in de teams, waardoor dit op dezelfde manier in alle teams gebeurt. De verslaglegging vindt ook binnen eenzelfde format plaats. De sectormanagers en directie gebruiken de ingevulde analyse en verbeterplannen die wij als teamleiders hebben gemaakt in een bijeenkomst met ons. Daarin wordt een gezamenlijke analyse gemaakt van hoe wij als instelling dat jaar gepresteerd hebben. Ook worden er de prioriteiten bepaald in de verbeteracties. De onderbouwing van het instellingsjaarverslag en het instellingsjaarplan wordt gevormd door de onderzoeksuitkomsten, de analyse en de verbeterplannen van de teams en de afdelingen. Ik voel echt wind in de rug van de directie en mijn sectormanager bij het werken aan de verbeteracties met mijn team. Bij mijn teamleden merk ik een grote betrokkenheid bij het halen van de verbeterdoelen. Het is eigenlijk een wedstrijd die we doen met onszelf voor het halen van een nog beter resultaat met onze cliënten! Korte reactie van de sectormanager Sinds we zo werken voel ik me veel minder een crisismanager. Omdat we dit nu een aantal jaar al doen, gaan we door de jaarlijkse rapporten van de onderzoeksuitkomsten veel meer zicht en inzicht krijgen in de trends over de jaren heen. Werken we nog met dezelfde doelgroepen? Veranderen de effecten van de door ons geleverde zorg? Door het benchmarken van de uitkomsten tussen verschillende afdelingen en met de uitkomsten van gelijksoortige afdelingen bij collega-instellingen is er van hoog tot laag binnen de instelling een sterke focus op het halen en verbeteren van onze resultaten gekomen. Dit haalt bij iedereen in de instelling onvermoede spirit en creativiteit naar boven. Door de vergelijking met andere instellingen en door vergelijking over de jaren heen krijg je ook zicht op waar de lat ligt wat betreft het aangebodene. Wat is haalbaar binnen de methodiek? Wat zou je aan methodiekontwikkeling kunnen doen opdat resultaten nog meer verbeteren? Korte reactie van de directeur/bestuurder Bij ons in de instelling is erg veel veranderd sinds dat wij een aantal jaren geleden onze visie op zorg hebben opgefrist. Het zichtbaar maken van de resultaten van de door ons geleverde zorg is toen een expliciet onderdeel van onze zorgvisie geworden. Opmerkelijk was dat alle medewerkers bij onze instelling zich hier direct in konden vinden. Zij gaan gewoon voor resultaat! Als je dit in je visie opneemt geeft dat direct een verplichting om daar concreet handen en voeten aan te geven. Wat ik kon doen is de financiële en organisatorische randvoorwaarden realiseren die het voor onze medewerkers mogelijk maken om daadwerkelijk onze resultaten zichtbaar te maken. We hebben daarbij dankbaar gebruik gemaakt van goede voorbeelden om ons heen. Met mijn financier kon ik afspreken om een deel van de doeluitkering te besteden aan kwaliteit, onderzoek, opleiding en ontwikkeling: 1,2 procent van mijn doeluitkering besteed ik momenteel aan een stafafdeling kwaliteit en onderzoek, 0,3 procent gebruik ik voor het inhuren van onderzoeksexpertise van de universiteit. Vijf procent van de doeluitkering gebruiken wij voor de organisatie, ontwikkeling en uitvoering van functiescholing en training van onze medewerkers. Een deel hiervan wordt gebruikt voor het leren werken met de onderzoeksinstrumenten en voor het gebruiken van onderzoeksinformatie voor het 71

= onderbouwen van (beleids)beslissingen. Het lijkt duur, maar inmiddels behandelen wij voor hetzelfde geld veel meer cliënten dan voorheen, is het ziekteverzuim teruggelopen en hebben wij geen problemen met het invullen van vacatures met nieuwe medewerkers die gaan voor resultaat. = Box 5.1 Alle drie circulaire processen in beweging De droom van een casus geeft een beeld van beweging, op de drie in hoofdstuk 4 beschreven circulaire processen, in de richting van steeds effectievere jeugdzorg. Practice Based Evidence gericht op verantwoording van de geleverde prestaties. Weten schap (empirisch e cyclus) Beleid (PDSA-cyclus) Primaire proces (hulp verlenings cyclus) Evidence Based Practice De casus geeft een beeld van een instelling die het benutten van onderzoeksinformatie uit het praktijkgestuurd effectonderzoek in de hulpverleningscyclus op een hele mooie manier verbonden heeft met de benutting van onderzoeksinformatie binnen de interne PDSA beleidscyclus. Dit geschiedt in een systematische, periodieke, dialoog tussen professionals, teams, afdelingen en directie, gericht op borging en verbetering van de resultaten van de zorg. Een het gebeurt in de externe PSDA beleidscyclus als een systematische, periodieke, dialoog tussen directie(s), financiers en overheden, JIB heeft een structurele samenwerkingsrelatie met een aan een universiteit gelieerd wetenschappelijk onderzoeksinstituut. Deze samenwerking wordt gebruikt voor het tijdig en op onafhankelijke wijze beschikbaar hebben van onderzoeksinformatie met daarbij een toetst van kwaliteit, betrouwbaarheid en zeggingskracht van deze informatie. Dit een belangrijk begin voor het in beweging krijgen van de wetenschappelijke, empirische cyclus, waarmee meer kennis verkregen kan worden over welke algemene en specifieke werkzame factoren van een interventie het best werken bij het behandelen van welke problemen bij welke doelgroepen. Bij JIB speelt dit onderzoek zich vooralsnog op niveau 3 van de effectiviteitladder af (Doeltreffend). Practice Based Evidence organiseren van een voor de praktijk relevante Werkzaam Doeltreffend Veelbelovend Potentieel Evidence Based Practice Het onderzoeksinstituut kan de wetenschappelijke cyclus inzetten voor het toetsen van in de praktijk - op basis van de onderzoeksuitkomsten - geformuleerde hypothesen over ‘wat werkt bij wie’ en daaruit voortvloeiende verbeteracties. Deze empirische onderzoekscyclus kan dan gericht gebruikt worden voor nadere analyse van de verzamelde data, eventueel aangevuld met dossieranalyses of interviewanalyses. Hiermee wordt de stap van het niveau Doeltreffend naar het niveau Werkzaam gezet en kunnen meer graden van zekerheid over effectiviteit worden verkregen. Ook kan dit leiden tot het randomized controlled trial (het ideale onderzoeksdesign op het niveau Werkzaam). = = Ook kan het onderzoekinstituut binnen de reeds bestaande samenwerking met JIB ondersteuning bieden bij het verbeteren van de theoretische onderbouwing van de zorgmodules, interventies en programma’s die door JIB uitgevoerd worden. Ook hiermee kunnen meer graden van zekerheid over effectiviteit worden verkregen. 72

= 5.3 Kwaliteitscriteria voor de praktijk = Dromen, zoals in de droom van een casus, is altijd leuk. Wat zou er moeten gebeuren om op een dag wakker te worden en te merken dat de droom werkelijkheid is geworden? Dat is, zoals we in de inleiding al stelden, een kwestie van organiseren. Om dit goed te kunnen doen, dienen we eerst met beide voeten op de grond te gaan staan en rond te kijken hoe een jeugdzorginstelling met een bloeiende praktijkgestuurde effectonderzoekscultuur er uit ziet. Welke kwaliteitscriteria kunnen aan zo’n best (reseach) practice gesteld worden? Daarna dienen we ons af te vragen welke processen in gang moeten worden gezet om daar te komen. De kwaliteitscriteria komen hieronder aan bod, de processen bespreken we in de volgende paragraaf. De criteria voor een best (research) practice zijn in figuur 5.1 op een rij gezet. = = Deze lijst is bedoeld als checklist voor instellingen die van plan zijn om met praktijkgestuurd effectonderzoek te starten of de hier al mee gestart zijn. De lijst werkt als een diagnosticum waarmee bepaald kan worden wat al goed gaat en op welke punten verbeteracties genomen moeten worden. A. Gebruik van onderzoeksuitkomsten: 1.

2.

Individuele uitkomsten worden besproken met cliënten. Individuele uitkomsten spelen een rol bij diagnostiek en behandelplanning (bijvoorbeeld in werkoverleg en behandelplanbesprekingen). 3.

4.

Uitkomsten van een team komen in teambesprekingen aan de orde en zetten aan tot reflectie en verbeteracties ten aanzien van het methodisch handelen. Uitkomsten van meerdere teams (afdelingen, units, hele locatie) worden door management (middenniveau, directie) zichtbaar benut in het sturen van hun beleid, uitkomsten spelen een rol in de kwaliteitscyclus. 5.

Uitkomsten worden gebruikt voor verdere wetenschappelijke theorievorming. B. Dataverzameling: 6.

7.

8.

9.

Er wordt gebruik gemaakt van gestandaardiseerde en valide instrumenten. Werkers zijn gemotiveerd om onderzoeksinstrumenten in te (laten) vullen. Er is sprake van een voormeting en een nameting. Er is sprake van een follow-up meting 10.

11.

Er is een respons van minimaal 80% op één meetmoment, en minimaal 70% op twee meetmomenten. Er is een voor iedereen duidelijk protocol voor de dataverzameling. 12.

Er is goede software aanwezig om de gegevens op te slaan en aan onderzoekers aan te leveren (BergOp of anderszins). C. T.a.v. de randvoorwaarden: 13.

14.

15.

16.

17.

18.

Er is een (pro)actief secretariaat. Er is een (pro)actieve procesbewaker aanwezig (aandachtsfunctionaris). Er is een (pro)actieve functionaris voor het vertalen van onderzoeksuitkomsten in verbeteracties voor de module. Er is een (pro) actieve belangstelling vanuit directie en management. De omgeving (verwijzers, vervolghulp) is op de hoogte van het onderzoek en werkt hier, indien gevraagd, aan mee. Er is een programma voor scholing en bijscholing ten aanzien van het gebruik van onderzoeksinstrumenten en uitkomsten. 19.

De financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget en/of in de kostprijs van de module. 20.

Er is een goede inhoudelijke en procesmatige modulebeschrijving. = Figuur 5.1 Criteria en scoringslijst best (research) practice voor praktijkgestuurd effectonderzoek 73

= De lijst is gemaakt op basis van de ervaring van al langer lopende Nederlandse good (research) practice projecten die een ontwikkeling naar een best (research) practice hebben ingezet. De lijst is binnen het project ‘Zicht op effectiviteit’, op basis van een dialogisch proces tussen onderzoekers en praktijkdeskundigen, ontwikkeld en gebruikt voor het maken van een sterkte-zwakte analyse van de reeds lopende good practice projecten op het gebied van praktijkgestuurd effectonderzoek. Het gaat hierbij om de praktijken van Hulp aan huis Drenthe, Groningen en Overijssel (Schot & Van der Steege,1998; Roosma, 2000; Ten Brink e.a. , 2001; De Meyer & Veerman, 2005; Leysen, 2005), klinische gezinsbehandeling de Bron en Oude Pastorie in Beilen (Roosma, 1999; Harink, 2003; Kroes & Veerman, 2005a) , klinische gezinsbehandeling de Bellenbergh in Zeist (Kroes & Veerman, 2005b) en het follow-up onderzoek van de Hoenderloogroep en onderzoekers van Praktikon Nijmegen (Janssen, Kroes & Van Dam, 2005). Binnen deze projecten wordt de lijst nu gebruikt als instrument om per project een sterkte-zwakte analyse te maken die leidt tot het formuleren van verbeteracties in de richting van best (research) practice. De lijst geeft alle kwaliteitscriteria weer waar een project of instelling aan moet voldoen om het predicaat best (research) practice voor praktijkgestuurd effectonderzoek te krijgen. Tevens is de lijst te gebruiken als hulpmiddel bij het beoordelen van wat de instelling al goed doet, en voor het maken van een stappenplan voor de invoering van praktijkgericht effectonderzoek binnen de instelling Twee van de drie in Hoofdstuk 1 genoemde principes van praktijkgestuurd effectonderzoek komen in de lijst duidelijk voor het voetlicht: (1) Inbedding in het hulpverlenend handelen (criteria categorie B en C).

Duidelijk is dat randvoorwaarden met betrekking tot de betrokkenheid van verschillende personen en partijen goed geregeld moeten zijn om het onderzoek op gang te brengen en gaande te houden. (2) Benutting van onderzoeksgegevens (criteria categorie A) . Duidelijk is dat de onderzoeksgegevens op diverse manieren binnen de instelling gebruikt dienen te worden. Allereerst gebeurt dat binnen het primaire proces tussen hulpverlener en cliënt, maar ook op team- en instellingsniveau in een planmatige beleidscyclus gericht op praktijkverbetering. Het derde principe (3) Aansluiten bij wat er is , komt niet expliciet aan de orde. Uitgangspunt is dat dit principe een belangrijke rol speelt bij de aanpak om van de huidige naar de gewenste situatie te komen: maak gebruik van de goede praktijken die reeds in de organisatie en bij collega-instellingen ontwikkeld zijn. 5.4 Het organiseren van praktijkgestuurd onderzoek In de casus uit paragraaf 5.2 komt naar voren dat JIB in staat is gebleken om het bottom-up onderzoek van interventies dat in de praktijk plaatsvindt, goed te verankeren in de instellingspraktijk. Instellingen die aan de gang willen met het bereiken van de geschetste droom doen er goed aan een project te starten, waarin een aantal zaken vanaf het begin goed is geregeld: • Zorg dat het project gedurende de gehele looptijd expliciet gedragen wordt en blijft door directie en management. Voor directie en management betekent dit: Blijf voor medewerkers zichtbaar de leiding geven aan dit proces!

• Zoek contact en afstemming met gelijk gezinde projecten bij andere jeugdzorginstellingen in Nederland, wissel ervaringen en plannen uit, kies voor dezelfde protocollen en instrumenten, deel problemen en zoek samen naar oplossingen. 74

= • Neem de financier en beleidsverantwoordelijke overheid (voor de jeugdzorg: de provincie of grootstedelijke regio en/of het regionale zorgkantoor) mee in de ontwikkeling en uitvoering van het project. Met dit als basis gaat de instelling verder planmatig en stapsgewijs aan het werk (Senge, 1992; Mintzberg, 1994; Mastenbroek, 1996; Boonstra, 2000; Cauffman, 2005). De belangrijkste stappen zijn: Stap 1 Veranker het doen van praktijkgestuurd effectonderzoek in de visie van de instelling. Maak daarbij helder door welk soort praktijkvragen het onderzoek gestuurd wordt en welke overige doelen het onderzoek dient. Communiceer hierover binnen en buiten de instelling. Stap 2 Stel een projectleider aan die met de visie als vertrekpunt een plan van aanpak maakt. Geef dit project een voor medewerkers aansprekende naam. Kijk of je met het project kunt aansluiten bij good practices op dit terrein die er nu al zijn binnen en buiten de eigen instelling, betrek medewerkers erbij die hier nu al goede dingen op doen, of enthousiast zijn om hierin wat te gaan doen. Zorg dat de opdracht gericht is op het ontwikkelen en daarna verankeren in de reguliere structuren van de instelling. Integreer het project in de verbetercyclus van de instelling en zorg dat het niet iets wordt wat er ook nog bij gedaan moet worden. Stap 3 Benoem binnen de instelling een aantal aandachtsfunctionarissen, die het mandaat hebben om binnen de instelling al het nodige te regelen wat nodig is om bij het proces genoemde doelen te realiseren. Zorg er in ieder geval voor dat er vier aandachtsfunctionarissen zijn, elk voor één van de volgende kernprocessen voor het organiseren van praktijkgestuurd onderzoek in een instelling: 1.

Het technische proces.

De opdracht is hier om een goed functionerende software in de instelling te hebben. 2.

Het logistieke proces. Het gaat er hier om dat de gegevensstroom binnen de organisatie en naar samenwerkende instituten vloeiend verloopt. 3.

Het methodische proces.

De aandachtsfunctionaris is hier verantwoordelijk voor het inbedden van de gegevensverzameling en gegevensbenutting in de verschillende benuttingscycli. 4.

Het statistische proces.

Deze opdracht heeft betrekking op de totstandbrenging en het functioneren van de verbinding tussen de instelling en het onderzoeksinstituut. Deze vier processen moeten als radertjes zo in elkaar haken, dat ze alle vier goed draaien om het praktijkgestuurde effectonderzoek binnen instellingen goed aan te laten sluiten, in te bedden en te benutten. Stap 4 Organiseer binnen de instelling een periodiek overleg van aandachtsfunctionarissen onder leiding van de projectleider(s). Dit is belangrijk omdat de vier processen een sterke onderlinge afhankelijkheid hebben. Gebeurt dit niet, dan hangt het gehele praktijkgestuurde effectonderzoek aan het zijden draadje van een of enkele “zeer gedreven” medewerker(s) 75

= binnen de instelling. Verdwijnt deze medewerker, dan stort direct de hele onderzoekspraktijk in. Stap 5 Zorg ervoor dat elke aandachtsfunctionaris ‘zijn’ kernaspect uitwerkt, op gang brengt en laat functioneren. Begin bij de deelprocessen die nodig zijn voor de verankering van het praktijkgestuurd onderzoek in het primaire proces. Leg het een en ander vast in een werkboek of een protocollenboek (zie bijvoorbeeld De Meyer e.a., 2005). Het overzicht in figuur 5.2 maakt duidelijk wat er voor elk proces bij komt kijken. = Proces Wat te doen? 1. Techniek 2. Logistiek 3. Methodiek a. Zorg voor goed werkende onderzoekssoftware op het netwerk van de instelling. Veel instellingen maken inmiddels gebruik van de in opdracht van Praktikon ontwikkelde onderzoeksdatabase BergOp (Kroes, 2005), een database waarin de meeste in de jeugdzorg gebruikte vragenlijsten (zoals ook de CBCL, NOSI, C toets) verwerkt en verzameld kan worden. b. De instelling zorgt voor applicatiebeheerders die de werking van deze onderzoekssoftware op het netwerk van de instelling kunnen ondersteunen. a. Het cliëntsecretariaat van een afdeling zorgt ervoor dat de door hulpverleners aangeleverde vragenlijsten in de onderzoeksdatabase ingevoerd worden en zorgt dat de hulpverlener op tijd de uit de vragenlijsten voortkomende profielen in het bezit heeft. b. De instelling zorgt voor voldoende cliëntsecretariaat op de afdeling. Het gaat hierbij om een tijdige administratieve afhandeling van registratie, rapportage, onderzoek en dossiervorming taken. c. De instelling zorgt ervoor dat de cliëntsecretariaten zijn getraind in het gebruiken van de voor deze taken beschikbare software. a. Er vindt een matching plaats tussen de doelen die in de hulpverlening veel worden gesteld en de vragenlijsten die de effectiviteit van de interventies in beeld moeten brengen. b. De teamleiders en werkbegeleiders zorgen ervoor dat de uitkomsten van de vragenlijsten door de hulpverleners worden besproken met ouders en jeugdigen. c. Hulpverleners worden in de methodische werkbegeleiding door hun werkbegeleider ondersteund in het goed gebruiken van de uitkomsten in de gesprekken met ouders en jeugdigen . d. Werkbegeleiders en hulpverleners worden (periodiek) getraind in het (beter leren) gebruiken van deze uitkomsten binnen het hulpverleningsproces. De instelling organiseert deze trainingen. e. Teamleider en/of de voor een afdeling verantwoordelijke manager bespreekt jaarlijks de teruggekoppelde onderzoeksuitkomsten met het team van hulpverleners. = 4. Statistiek a. De instelling sluit een overeenkomst met een wetenschappelijk onderzoeksinstituut dat de statistische analyses van de verzamelde data verzorgt dat de resultaten rapporteert in op maat gemaakte tabellenboeken die (mede) voor de teams interessant zijn. b. Er is een planning waarin is opgenomen wanneer welke onderzoeksinformatie in welke tabellen beschikbaar is. Door het jaar heen wordt periodiek informatie geleverd over de kwaliteit van de verzamelde data (responscontrole). c. De gewenste tabellen en data responscontrole overzichten zijn zoveel mogelijk geprogrammeerd. Figuur 5.2 Processen bij inbedding van het praktijkgestuurd effectonderzoek in het primaire proces Stap 6 Herhaal stap 5, maar nu voor de benutting van de gegevens in de beleidscyclus en de empirische cyclus. Start dit zo mogelijk al op tijdens fase 5. Maar neem niet teveel hooi op de vork. Waak er ook voor dat de benutting voor de beleidscyclus en de empirische cyclus niet de benutting in de hulpverleningscyclus gaat overstemmen. 5.5 Huiswerk voor overheid en instellingen Duidelijk is dat werken met praktijkgestuurd effectonderzoek door professionals binnen een jeugdzorginstelling veel van zowel de instelling als van de professional vraagt. Duidelijk is ook dat het erg veel kan opleveren. Voor het realiseren van een dergelijke ambitie is er steun in de rug nodig van de overheid en brancheorganisaties. 76

= Het beste en snelste zal het werken als ieder op zijn eigen niveau met dit huiswerk aan de gang gaat. Toch willen we iedereen vragen om niet op elkaar te gaan zitten wachten. De al bestaande praktijkvoorbeelden laten zien dat er veel te bereiken is als je gewoon zelf binnen je eigen mogelijkheden met je eigen huiswerk begint! Het huiswerk van de overheid en financier De overheid mag en moet hierbij instellingen en professionals verplichten zich op een transparante en navolgbare wijze te verantwoorden over de resultaten van de geleverde zorg. Dit kost de instellingen echter tijd en energie. De overheid doet er goed aan hierbij een prikkel in te bouwen die instellingen beweegt om steeds beter te worden in het afleggen van de gevraagde verantwoording. Het zou goed zijn als de overheden en financiers met de branche nagaan welke prikkels dit zijn en hoe deze het beste zijn in te bouwen. Aandachtspunt is voorts hoe de kosten voor bijscholing, voor het meten van resultaten, het laten uitvoeren van effectonderzoek gericht op het bereiken van de laatste trede van de effectladder, en voor het onderhouden van kwaliteitssystemen in de financiering van de instellingen zijn te verankeren. Tot slot is aandachtspunt de landelijke borging en verspreiding van kennis. Immers, we hebben aangegeven dat het samenwerken met en te rade gaan bij collega-instellingen belangrijk is. Lastig punt daarbij is hoe de kennisverspreiding optimaal is te realiseren in een meer marktgerichte sector. Mooi onderwerp voor een nationaal kennisdebat over de jeugdzorg. Het huiswerk van de instellingen en haar brancheorganisaties De instellingen hebben de taak om effectieve hulp te verstrekken (Stam, 2004) en om ruimte te bieden voor vakmanschap (Dresen, 2005). Het organiseren van de vier processen voor praktijkgestuurd effectonderzoek vragen van elke instelling een behoorlijke inspanning. Dit is zeker het geval als elke instelling hierbij zelf het wiel moet gaan uitvinden. Het scheelt enorm als instellingen gezamenlijk via bijvoorbeeld hun brancheorganisaties hierbij een aantal richtinggevende kaders ontwikkelen. Zo is het verstandig om in elk geval gezamenlijke afspraken te maken over welke instrumenten worden gebruikt bij het meten van de aard en ernst van de opgroei- en opvoedproblemen en op welke meetmomenten deze instrumenten in de hulpverleningscyclus worden ingezet. Een dergelijke afspraak geeft de mogelijkheid om ook gezamenlijk te investeren in het ontwikkelen en verspreiden van een goede methodiek voor het gebruiken van deze instrumenten door professionals in hun hulpverlenend handelen en voor het gebruiken van deze gegevens in het onderbouwen van beslissingen in de beleidscyclus. Ook ontstaat er zo een mogelijkheid de uitkomsten onderling te vergelijken (benchmarking). Een ander aandachtspunt is het maken van afspraken over de wijze waarop doelen van de hulpverlening worden vastgelegd en op welke manier de doelrealisatie wordt gemeten. Bij het maken van afspraken op deze beide punten moeten we ons realiseren dat er op dit moment (nog) geen ideale instrumenten bestaan voor het meten van de aard en de ernst van de opgroei- en opvoedproblemen. Ook bestaat er (nog) geen ideale manier voor het meten en 77

= vastleggen van doelrealisatie. Door de “goede praktijkvoorbeelden” bij verschillende instellingen in Nederland te bekijken, hierbij te leren van de professionals die in de dagelijkse hulpverleningspraktijk op een methodische wijze instrumenten gebruiken, werken met het stellen van doelen en het evalueren van doelen is het zeer wel mogelijk om uit een aantal alternatieven de beste te kiezen. 5.6 Bronvermelding Boonstra, J.J. (2000). Lopen over water: over dynamiek van organiseren, vernieuwen en leren. Amsterdam: Vossiuspers AUP. Brink, T., ten, Kerkstra, G., Roosma, A.H. & Veerman, J.W. (2001) Het Onderzoek IAG, doelgroep, resultaten en werkwijze. Assen: Uitgeverij Hulp aan Huis. Brock, A.J.L.L. de, Vermulst, A.A., Gerris, J.R.M. & Abidin, R.R. (1992). NOSI, Nijmeegse Ouderlijke Stress Index, Handleiding experimentele versie. Lisse: Swets en Zeitlinger. Cauffman, L. (2005). Oplossingsgericht management: simpel werkt het best. Utrecht: Lemma. Dresen, C. (2005) Effectiviteit en vakmanschap. Nederlands Tijdschrift voor Jeugdzorg, 9 (6), 268-275. Harink, M. (2003). De methodiek van de gezinsdagbehandeling. Beilen: Programma Psychiatrische Gezinsgerichte Behandeling Noord Nederland. Janssen, M., Kroes, G. & Dam, G. van (2005). De knuppel in het Hoederhok: resultaten follow-up onderzoek 2005 . Hoederloo: Hoenderloogroep. Kroes, G. (2005). Handleiding BergOp.

Nijmegen: Praktikon. Kroes, G. & Veerman, J.W. (2005a). Resultaten van de gezinskliniek en gezinsdagbehandeling in Beilen, Tabellenboek 2004.

Nijmegen: Radboud Universiteit, ACSW/ Praktikon. Kroes, G. & Veerman, J.W. (2005b). Resultaten van de gezinskliniek de Bellenbergh in Zeist, Tabellenboek 2004.

Nijmegen: Radboud Universiteit, ACSW/ Praktikon. Leysen, M. (2005). Praktijk en effectonderzoek van intensieve thuishulp in de eigen instelling. In: J.R.M. Gerris (red.) Interventie en preventie samen met effectonderzoek: professionele winst. Assen: van Gorcum. Mastenbroek, W.F.G. (1996). Conflicthantering en organisatieontwikkeling. Diegem: Samsom. Meyer, R.E. de, Rijks, K., Roosma, A.H. & Veerman, J.W. (2005). Handleiding registratie, rapportage, onderzoek en dossiervorming. Assen/ Papenvoort: BJZ Drenthe en Jeugdzorg Drenthe. Meyer, R.E. de & Veerman, J.W. (2005). Resultaten Hulp aan Huis Drenthe, Tabellenboek 2004. Nijmegen: Radboud Universiteit, ACSW/ Praktikon Mintzberg, H. (1994). Organisatiestructuren.

Schoonhoven: Uitgeverij Academic Service Economie en Bedrijfskunde. Roosma, A.H. (1999). Het project Psychiatrische Gezinsgerichte Behandeling Noord Nederland. Assen/ Beilen: GGZ Drenthe. Roosma, A.H. (2000). Het projectplan Hulp aan Huis Twente, Assen: Uitgeverij Hulp aan Huis. Roosma, A.H. (2005). Het monitoringsysteem Resultaatgericht Meten, systematisch meten en volgen van de effectiviteit van de jeugdzorg . Assen: BJZ Drenthe en Jeugdzorg Drenthe.

Schot, E. & Steege, M. van der (1998). De methodiek van IOG . Assen: Uitgeverij Hulp aan Huis Senge, P.M. (1992). De vijfde discipline: de kunst en praktijk van de lerende organisatie. Schiedam: Scriptum Books. Stam, P. (2004). Oplossingsgerichte beleidsvorming, beweging richting een effectievere jeugdzorg. Notitie gepresenteerd aan de vaste Tweede Kamercommissie Jeugdbeleid. Assen: Jeugdzorg Drenthe. Stichting Alexander (2003). Verantwoording C-toets. Amsterdam: Stichting Alexander. Verhulst, F.C., Ende, J, van der & Koot, H.M. (1996) Handleiding CBCL / 4-18. Rotterdam: Erasmus Universiteit / Sophia Kinderziekenhuis, afdeling Kinder- en Jeugdpsychiatrie. Verhulst, F.C., Ende, J. van der, & Koot, H.M. (1997). Handleiding voor de Youth Self-Report (YSR).

Rotterdam: Erasmus Universiteit/ Sophia Kinderziekenhuis, Afdeling Kinder- en Jeugdpsychiatrie. 78

=

Blik op de overige delen

Deel 2. Beschrijving van voorbeeldpraktijken In dit deel worden verschillende thema’s die in hiervoor aan de orde zijn geweest aan de hand van praktijkvoorbeelden uitgewerkt. Aan bod komen onderwerpen als • de opleiding van hulpverleners in het inbedden van het gebruik van instrumenten in het primaire proces; • het gebruik van onderzoeksinformatie in het primaire proces en op teamniveau; • het organiseren van de dataverzameling en de benutting van de gegevens; • het benchmarken van resultaten over afdelingen en instellingen heen; • het organiseren van follow-up-metingen. De voorbeelden zijn afkomstig van Hulp aan Huis in Groningen, Drenthe en Overijssel, Klinische gezinsbehandeling De Bellenbergh en Beilen, de Hoenderloogroep en Spirit. Deel 3. Methoden en technieken • • • • Hier volgen hoofdstukken die een nadere theoretische en praktische verdieping geven aan belangrijke ingrediënten van het praktijkgestuurd onderzoek. Elk hoofdstuk biedt praktische handreikingen. Daarbij gaat de aandacht uit naar de verschillende onderzoeksopzetten voor praktijkgestuurd effectonderzoek; de keuze van instrumenten voor het meten van verrichtingen en effecten; de procedures die nodig zijn voor een succesvolle registratie en gegevenslogistiek; het analyseren van de gegevens op verandering in de problematiek van cliënten en het succes van de hulpverlening; • het benutten van de gegevens in de verschillende cycli en het formuleren van verbetervoorstellen. Deel 4. Strategie en context • • • In het laatste deel gaat de aandacht uit de verbeterstrategieën en de context waarvan praktijkgestuurd onderzoek deel van uitmaakt. Het gaat hierbij onder meer om het werkendeweg ontwikkelen van methodieken; het opleiden van behandelaars tot actieve participanten in praktijkverbetering; het in de organisatie verankeren en financieren van praktijkgestuurd onderzoek. 79

= 80

=

Over de projectgroep

Dr. B. Bijl Bas Bijl is kinder- en jeugdpsycholoog en als senior onderzoeker/adviseur verbonden aan PI Research te Duivendrecht. Zijn werkgebied betreft de jeugdzorg en het speciaal onderwijs. De ontwikkeling van ‘solide’, werkzame interventies is een thema waarmee hij zich de afgelopen vijftien jaar in verschillende functies heeft beziggehouden. Onderbouwing van interventies met onderzoeksresultaten is hiervan een wezenlijk onderdeel. In zijn werk als onderzoeker heeft hij diverse projecten onder handen (gehad) waarin de vraag over het effect van interventies. Tevens is hij als adviseur betrokken bij projecten die tot doel hebben onderzoek naar hulpverleningsresultaten structureel in te bedden in het primair proces. H.A.M. Ooms-Temmink Herma Ooms is verandermanager en heeft een arbeidsverleden als uitvoerende, leidinggevende en docent/trainer binnen de (Jeugd)zorg. Zij is als senioradviseur/manager werkzaam bij Collegio, kennispraktijk voor de Jeugdzorg. Daar houdt ze zich vooral bezig met het begeleiden en implementeren van veranderingen in organisaties, waarbij de doorvertaling van de consequenties voor de beroepsbeoefenaar speciale aandacht krijgt. Binnen het project Zicht op Effectiviteit is zij voorzitter van het Effectiviteitsplatform. Drs. A.H. Roosma Dries Roosma is psycholoog / andragoog. Hij is als projectleider werkzaam bij BJZ Drenthe en de zorgaanbieder Jeugdzorg Drenthe. Daar houdt hij zich vooral bezig methodiekontwikkeling en kwaliteitsverbetering in de Drentse jeugdzorg, jeugd-GGZ en jeugd-Gehandicaptenzorg. Hij is betrokken geweest bij de ontwikkeling en invoering van Hulp aan Huis Drenthe, het programma Psychiatrisch Gezinsgerichte Behandeling Noord Nederland en meer recent het Voordeurprogramma BJZ Drenthe en de ontwikkeling en invoering van het monitoringsysteem Resultaatgericht Meten in de Drentse jeugdzorg. Prof. dr. J.W. Veerman (projectleider en penvoerder) Jan Willem Veerman studeerde klinische psychologie. Hij is vanwege de Stichting De Waarden te Nijmegen bijzonder hoogleraar Speciale Kinder- en Jeugdzorg aan de Radboud Universiteit Nijmegen (RU). Tevens is hij hoofd van Praktikon, een onderzoeksorganisatie in de jeugdzorg die deel uitmaakt van de Stichting de Waarden. Hij houdt zich bezig met evaluatie- en effectonderzoek in de praktijk van de jeugdzorg. Vanuit die rol heeft hij meegewerkt aan en gepubliceerd over onderzoek naar verschillende vormen van jeugdzorg. Prof. dr. T.A. van Yperen (projectleider) Tom van Yperen is orthopedagoog. Hij is als expert medewerker verbonden aan het Centrum Jeugd van het Nederlands Instituut voor Zorg en Welzijn. Daar houdt hij zich vooral bezig met de kwaliteit van de jeugdzorg. Zijn publicaties gaan hoofdzakelijk over diagnostiek en indicatiestelling, instrumentgebruik en de effectiviteit van interventies. Tevens is hij vanwege het NIZW bij de Universiteit Utrecht werkzaam als bijzonder hoogleraar op het terrein van het onderzoek en de ontwikkeling van effectieve jeugdzorg. In die functie ondersteunt hij de opbouw van een opleiding voor Onderzoek & Ontwikkeling in de sector en stimuleert hij = = onderzoek naar de resultaten van jeugdzorginterventies. 81

= Effectiviteit van de jeugdzorg is ‘in’. Het thema staat op vele plaatsen en in uiteenlopende kringen hoog op de agenda. Algemeen is de behoefte om via onderzoek meer zicht te krijgen op de effectiviteit van de interventies in de praktijk. Ook is er brede steun voor het gebruik van dit onderzoek om – waar nodig – de praktijk verder te ontwikkelen. Hulpverleners, beleidsmakers en wetenschappers kunnen echter nogal verschillend aankijken tegen het doen van onderzoek. Vaak leidt dat tot een kloof die niet productief is. Het boek ‘Zicht op effectiviteit’ biedt een uitstekend kader om deze kloof te overbruggen. Centraal staat het doen van onderzoek naar de effectiviteit van jeugdzorginterventies in de praktijk. Het boek biedt vele ideeën en handreikingen voor hoe het onderzoek is te verbinden aan het ontwikkelingsstadium waarin een interventie verkeert, en hoe de uitkomsten in te passen zijn in de hulpverleningscyclus, de beleidscyclus en de empirische cyclus van de wetenschap. De onderhavige publicatie omvat het eerste deel van het boek. Het is een zogeheten nulversie: een concept waarmee gewerkt wordt om de overige delen van het boek te produceren. De concepten van de volgende delen verschijnen in de loop van 2006. Gebruikers van de publicatie hebben de mogelijkheid hun commentaren op de teksten in te brengen in de totstandkoming van de definitieve versie van het boek. Deze zal in 2007 het licht zien. De auteurs van het boek zijn werkzaam in verschillende praktijk- en ondersteuningsinstituten. In hun functie hebben zij veel te maken met effectiviteitsvraagstukken en praktijkonderzoek. Het werk dat zij verrichten voor de totstandkoming van deze publicatie is in belangrijke mate mogelijk gemaakt door financiële = ondersteuning van het ministerie van Volksgezondheid, Welzijn en Sport. = =