Transcript OOP 6-2011.indd

268
Wetenschap versus praktijk: een
onproductieve tegenstelling
Reactie op de oratie van Geert Jan Stams
Carolien Konijn, Germie van den Berg, & Mariëtte van Brandenburg
De oratie van prof. dr. Stams (zie elders in dit
nummer) is zeer relevant voor wetenschap en
jeugdzorgpraktijk. Stams draagt bij aan belangrijke discussies die de kwaliteit en effectiviteit van de jeugdzorg verder ontwikkelen.
En daar zijn wij, auteurs vanuit de jeugdzorgpraktijk, blij mee. Zo maakt hij vanuit recent
onderzoek van zijn eigen universitaire onderzoeksgroep een hernieuwde weging van de
bijdrage van algemeen en specifiek werkzame
factoren aan het behandelresultaat. Een studie van Lambert (1992), die aan de algemeen
werkzame factoren een veel groter belang toedicht dan aan de methodespecifieke factoren,
heeft menig professionele discussie hierover
beïnvloed. Stams betoogt – in navolging van
Van Yperen et al. (2010) – dat Lamberts schatting van de invloed van factoren op de effectiviteit verouderd is en aan revisie toe. Een
nieuwe schatting, onder andere op basis van
onderzoek bij Spirit in Amsterdam, doet de
balans tussen algemeen en specifieke ofwel
methodische factoren omslaan: methodische factoren verklaren meer effectiviteit dan
Lambert eerder betoogde, en nóg meer als het
gaat om het verklaren van de toename van
veiligheid van kinderen. Over deze discussie
is het laatste woord nog niet gezegd. Het is
goed dat Stams wetenschappelijke feiten toevoegt aan de discussie die tot nu toe vooral
over schattingen en opvattingen leek te gaan.
Met een ander deel van Stams’ betoog,
zijn we het minder eens. Het gaat over de bijdrage van Random Clinical Trials (RCT’s),
Routine Outcome Monitoring (ROM) en de
Orthopedagogiek: Onderzoek en Praktijk, 50 (2011), 268
zogenoemde ‘effectladder’ aan de kwaliteitsverbetering van de jeugdzorg. Stams beweert
op basis van een aantal argumenten dat alleen RCT’s deze kwaliteit bevorderen door
causaal bewijs aan te dragen voor effectiviteit van interventies. ROM is volgens hem
zwaar belastende bureaucratie en de effectladder misleidend. Halverwege zijn betoog
stelt Stams: “In de jeugdzorg heeft het meten
dus zijn intrede gedaan.” Je hoort hem bijna
zuchten, hij lijkt er niet erg blij mee. Onderzoek lijkt in zijn visie voorbehouden aan de
universitaire wetenschap. Terwijl wij menen
dat wetenschap en praktijk elkaar hard nodig
hebben om de kwaliteit en effectiviteit van de
jeugdzorg te onderzoeken en te verbeteren.
We pleiten dus niet tegen RCT’s zoals Stams
pleit tegen ROM en effectladder, maar stellen nadrukkelijk dat beide typen instrumenten nodig zijn voor die kwaliteits- en effectiviteitsontwikkeling. De kwaliteit van RCT’s
moet dan wel verbeteren. We brengen in deze
reactie een aantal argumenten voor deze stellingname naar voren.
Ten eerste: ROM is van direct nut voor de
hulpverleningspraktijk en geen belastende
bureaucratie. Door aan het begin en het einde
van de hulp op belangrijke onderwerpen van
de hulpverlening aan gezinnen (gedragsproblemen jeugdige, gezins- en opvoedingsproblemen) gevalideerde en genormeerde vragenlijsten af te nemen verbetert op cliëntniveau
de probleemverkenning, de onderbouwing
van de besluitvorming (welke hulp moet ik
aan deze ouders en deze jeugdige aanbieden?)
WETENSCHAP VERSUS PRAKTIJK
en het inzicht in wat is bereikt bij de cliënt
en wat (nog) niet. In pilots bij Spirit, Altra en
Tender geven cliënten aan dat zij zich hierdoor heel serieus genomen voelen en dat het
(ook) hen helpt de zaken op een rijtje te zetten. In die zin draagt het direct bij aan betere
kwaliteit van de hulpverlening. Hulpverleners van de opvoedtraining Triple P geven
aan dat zij met de vragenlijstgegevens en een
terugkoppelingsgesprek hiervan met ouders,
werk verrichten dat vroeger zes weken in beslag nam. Het gaat dus niet alleen om betere
kwaliteit maar ook om efficiënte besteding
van de tijd. Op programmaniveau evalueren
hulpverleners jaarlijks mede op basis van de
resultaatmetingen voor wie de hulpverlening
goed ging en voor wie het beter kan. Daarmee
verbeteren we werkenderwijs de kwaliteit van
het programma. Op instellingsniveau kunnen de resultaatmetingen worden ingezet
voor benchmarking tussen interventies en
tussen instellingen. Dat hier veel haken en
ogen aan zitten, zoals Stams ook beweert,
leidt geen twijfel. Doelgroepen en doelstellingen van zorgprogramma’s zijn lang niet altijd
vergelijkbaar en je hebt maar een beperkte gegevensset die de vergelijkingsmogelijkheden
en de interpretatie van gevonden verschillen
in resultaten tussen instellingen limiteren.
Met de bewering van Stams dat ROM geen
causale bewijskracht voor effectiviteit oplevert, zijn we het eens. Maar bewijs van effectiviteit zoeken, is onzes inziens ook niet het
primaire doel van ROM. Zoals we hierboven
betogen draagt het vooral bij aan kwaliteitsverbetering. Daarnaast kan ROM helpen om
interventies op te sporen die het waard zijn
om in een RCT op effectiviteit te onderzoeken. Stams vraagt zich in zijn oratie terecht
af hoe je kunt bepalen welke interventies in
aanmerking komen voor een RCT. RCT’s zijn
immers duur en kosten veel tijd en energie,
en dienen daarom spaarzaam en gericht ingezet te worden, bij interventies waarvan we al
signalen hebben dat ze goede resultaten boeken. Goede resultaten uit de praktijk (ROM)
kunnen zich zo tot wetenschappelijk bewijs
van effectiviteit ontwikkelen.
Stams vindt overigens vooral interventies
die reeds in het buitenland uit meerdere expe-
rimentele studies effectief zijn gebleken een
RCT in Nederland verdienen. Waarom geen
interventies die in onze Nederlandse praktijk
zijn ontwikkeld? Zijn die minder kansrijk? Ze
sluiten in ieder geval aan bij de Nederlandse
context en cultuur. In een paar recente RCT’s
in Nederland en Zweden bleken in deze landen zelf ontwikkelde zorgprogramma’s niet
onder te doen voor in de Verenigde Staten en
Australië wetenschappelijk effectief gebleken
interventies (De Graaf, 2009; Löfholm & Jergeby, 2010). Hulpverleners boekten met Triple P en Multisysteem Therapie grote vooruitgang op de aangemelde problematiek van
cliënten, maar met de care as usual evenzeer;
men vond geen significante verschillen. Een
van de geopperde gevolgtrekkingen uit deze
onderzoeksresultaten is dat de in Amerika
en Australië ontwikkelde zorgprogramma’s
kwalitatief beter zijn dan de care as usual in die
landen. Dat in Europa en in het bijzonder in
Nederland aanzienlijk minder duidelijke verschillen zijn tussen de onderzochte interventies en de care as usual, zegt iets over het hoge
kwaliteitsniveau van deze care as usual, van de
hier ontwikkelde interventies dus. Ook presentaties van uitkomsten bij Yorneo, voorheen
Jeugdzorg Drenthe, (Roosma & Tönjes, 2008;
Leijsen 2008) en uit het Amsterdamse onderzoek naar Spoedhulp (Al e.a., 2009) blijkt dat
in Nederland ontwikkelde programma’s betekenisvolle positieve resultaten hebben. Laten we de effectiviteit van deze Nederlandse
programma’s met RCT’s aantonen.
De opzet en uitvoering van RCT’s vraagt
echter – zo stellen wij ten tweede – wel om
verbetering. Zoals bekend kost dergelijk onderzoek veel geld en tijd, niet alleen van onderzoekers maar ook van hulpverleners en clienten. Dat maakt dat RCT’s nooit het hoofdbestanddeel van de kennisontwikkeling zullen uitmaken. Een instelling, zo ervaren wij
vanuit de praktijk, kan niet veel meer dan één
RCT tegelijkertijd aan. Uiteraard zijn RCT’s
nodig want, zoals Stams terecht betoogt, zij
bieden – vanwege de vergelijking met de controleconditie – de sleutel tot de analyse of de
geboekte vooruitgang op het conto van de interventie is te schrijven of niet. Maar een RCT
in de huidige opzet en uitvoering heeft te wei-
269
270
CAROLIEN KONIJN, GERMIE VAN DEN BERG, & MARIËTTE VAN BRANDENBURG
nig zeggingskracht: het zegt iets over een beperkte groep cliënten (jeugdigen en gezinnen
met complexe of samengestelde problematiek
worden vaak buitengesloten omdat dit de
doelgroep van de interventie onzuiver maakt)
en het zegt alleen óf iets werkt (meestal worden maar twee of hooguit drie condities meegenomen) en niet waarom. Vermeiren (2011)
stelt dan ook terecht dat maar het merendeel
van de cliënten vanwege de exclusiecriteria
niet mag meedoen aan dit type onderzoek
en dat de resultaten vaak niet goed te repliceren zijn in de praktijk. Om RCT’s dan, zoals
Stams doet, te kenschetsen als voornaamste
bron voor kennisontwikkeling in de wetenschap, gaat ons te ver. De externe validiteit
van de kennis laat vaak te wensen over. In de
praktijk melden zich maar zelden jeugdigen
en gezinnen met enkelvoudige problematiek
aan. Bijna altijd hebben cliënten in de jeugdzorg meerdere problemen. We weten niet met
zekerheid of de onderzochte interventie, die
voor enkelvoudige problematiek effectief is
gebleken, voor cliënten met multiproblemen
nog steeds het juiste aanbod is. Bovendien – zo
geeft ook Stams in zijn oratie aan – zijn RCT’s
in de praktijk lastig uit te voeren en lukt het
bijna nooit zoals gepland: vaak ontbreekt een
van de vergelijkingscondities vanwege geringe
respons en is het bewijs dan uiteindelijk gebaseerd op kleine groepen waarvan vergelijking
nog net statistisch toelaatbaar is.
Gezien deze belangrijke maar beperkte
rol van RCT’s, betogen wij ten derde dat de
‘effectladder’ (Veerman & Van Yperen, 2007;
Van Yperen & Veerman, 2008) heel bruikbaar
is voor ontwikkeling van kwaliteit en effectiviteit van de jeugdzorgpraktijk. De effectladder past niet in het wetenschappelijke denken
van Stams waar effectiviteit een kwestie is van
alles of niets: een interventie is effectief of
niet. Voor de praktijk is een systeem waarin je
stapsgewijs in vier niveaus werkt aan de kwaliteit van een interventie of programma veel
stimulerender. Trede één en twee (nauwgezet
beschrijven van doel, doelgroep, activiteiten
en theoretische onderbouwing van de interventie) zijn bovendien basisvoorwaarden voor
elk robuust effectonderzoek. Dus ook vanuit
het doel om meer RCT’s uit te voeren, is het
mooi dat de praktijk hier alvast aan werkt.
Dat de databank Effectieve Jeugdinterventies
volloopt met interventies die erkend zijn op
het niveau van ‘theoretisch onderbouwd’, is
ongewenst. Dat onderkennen we, met Stams.
Ten minste, als het bij deze erkenningen op
niveau twee blijft. We hopen dat de Erkenningscommissie Interventies gaat stimuleren
dat, om de plaats in de databank te behouden,
het nodig is binnen een gegeven termijn een
volgende stap op de effectladder te zetten. De
volgende stap, trede drie, is ROM. Hierboven
hebben we al betoogd hoe nuttig dat is voor
kwaliteitsontwikkeling. Graag voegen we
daar nog aan toe dat ROM ook bijdraagt aan
het ‘onderzoeksrijp’ maken van de praktijk.
Professionals raken gewend aan het invullen
van vragenlijsten en leren uitkomsten daarvan te begrijpen. Deze vaardigheden van de
professionals komen voor de wetenschappelijk onderzoekers van pas als zij die professionals betrekken in een RCT. Trede 4 is dan dat
wetenschappelijk bewijs van effectiviteit dat
onder meer met RCT’s geleverd kan worden.
Kortom, we zijn het met Stams eens dat
de praktijk van de jeugdzorg verdere ontwikkeling van kwaliteit en effectiviteit behoeft
en dat RCT’s daarin een cruciale rol spelen.
Maar dat is niet genoeg. Naast wetenschappelijk onderzoek heeft de praktijk behoefte
aan instrumenten waarmee in de dagelijkse
praktijk – werkenderwijs en samen met hulpverleners – gewerkt kan worden aan die ontwikkeling. Door wetenschappelijk onderzoek
tegenover ROM en de effectladder te positioneren en als bureaucratisch en misleidend af
te serveren, creëert Stams een onproductieve
tegenstelling waar praktijk noch wetenschap
baat bij heeft. De praktijk heeft de wetenschap voor verdere ontwikkeling nodig, maar
de wetenschap kan zonder de praktijk geen
RCT’s uitvoeren. En dan hebben we het niet
alleen over RCT’s naar in het buitenland bewezen effectieve interventies, maar ook over
de ambitie om veelbelovende Nederlandse interventies op te sporen en deze te onderzoeken met een RCT. Laten we – zoals we gelukkig in de praktijk van onze instellingen ook
al doen – samen zoeken naar mogelijkheden
om elkaar te versterken in die ambitie.
WETENSCHAP VERSUS PRAKTIJK
LITERATUUR
Al, C., Stams, G.J., & Laan, P. van der (2009). Komt na regen zonneschijn? Resultaten van twee jaar onderzoek
naar Spoedhulp Spirit. Amsterdam: Universiteit van Amsterdam.
Graaf, I. de (2009). Helping Families Change. The adoption of the Triple P – Positive Parenting Program in the Netherlands. Utrecht: Trimbos-instituut.
Lambert, M.J. (1992). Psychotherapy outcome research: Implications for integrative and eclectic therapists. In J.C. Norcross & M.R. Goldfield (Eds.), Handbook of psychotherapy integration (pp. 94-129). New
York: Basic Books.
Leijsen, M. (2008). Onderzoeksgegevens als sturingsinformatie voor hulpverleners en teams. In T. van
Yperen & J.W. Veerman (Red.), Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de
jeugdzorg (pp. 17-34). Delft: Eburon.
Löfholm, C.A. & Jergeby, U. (2010). Multisystemic Therapy (MST) with Swedish conduct-disordered
youth: Treatment outcomes two years after intake. In E.J. Knorth, M.E. Kalverboer & J. Knot-Dickscheit (Eds.), Inside Out. How interventions in child and family care work. An international source book. Antwerpen-Apeldoorn: Garant Publishers.
Roosma, D. & Tönjes, H. (2008). Organisatie praktijkgestuurd effectonderzoek bij Hulp aan Huis. In T.
van Yperen & J.W. Veerman (Red.), Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in
de jeugdzorg (pp. 139-154). Delft: Eburon.
Veerman, J.W. & Yperen, T. van (2007). Degrees of freedom and degrees of certainty: A developmental
model for the establishment of evidence based youth care. Evaluation and Program Planning, 30, 212221.
Yperen, T. van & Veerman, J.W. (2008). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in
de jeugdzorg. Delft: Eburon.
Vermeiren, R. (2011). Opmerkelijk. Voor echt praktijkonderzoek moeten academici ook hun (denken
over) methodes aanpassen. Kind en Adolescent, 32, 48-52.
Yperen, T. van, Van der Steege, M., Addink, A., & Boendermaker, L. (2010). Algemeen en specifiek werkzame
factoren in de jeugdzorg: Stand van de discussie. Utrecht: NJI.
OVER DE AUTEURS
Drs. Carolien Konijn werkt als beleidscoördinator Effectieve Jeugdzorg bij Spirit, E-mail: [email protected]. Dr. Germie van den Berg is hoofd Effectiviteit en Kwaliteit bij Altra. E-mail: g.van.den.berg@altra.
nl. E-mail: [email protected]. Drs. Mariëtte van Brandenburg, GZ psycholoog/Orthopedagoog
generalist, werkzaam binnen Tender, een organisatie voor Jeugd- en Opvoedhulp in West-Brabant, als
hoofd Kennis en Innovatie. Daarnaast actief als hoofddocent en supervisor aan de opleiding Orthopedagoog Generalist van Rino-Zuid. E-mail: [email protected]
271