Transcript Publicatiedrang en citatiestress

Stand van zaken
KLINISCHE PR AKTIJK
Publicatiedrang en citatiestress
De invloed van prestatie-indicatoren op wetenschapsbeoefening
Joeri K. Tijdink, Sarah de Rijcke, Christiaan H. Vinkers, Yvo M. Smulders en Paul Wouters
De Journal Impact Factor (JIF) en Hirsch(H)-index zijn 2 veel gebruikte prestatie-indicatoren die worden gebruikt voor
evaluatie van wetenschap.
De JIF is een tijdschriftmaat die inzicht geeft in het aantal citaties dat een tijdschrift heeft gehaald in de afgelopen
2 jaar.
De H-index is een eenvoudige maat om citatiescores van artikelen van individuele wetenschappers te meten.
De prestatie-indicatoren kunnen prima gebruikt worden om onderzoek te evalueren en zijn een indicator van wetenschappelijke output. Ze moeten niet worden gebruikt als maat om wetenschappelijke kwaliteit te meten.
Wetenschappelijke kwaliteit is niet alleen afhankelijk van citaties, maar staat ook voor methodologische grondigheid,
originaliteit, validiteit, wetenschappelijke en maatschappelijke relevantie en dient ook daarop geëvalueerd te
worden.
Er is weinig bekend over de invloed die de prestatie-indicatoren hebben op de wetenschap en haar beoefenaars, maar
er zijn aanwijzingen dat het een negatieve invloed heeft op de wetenschapsbeoefening en de wetenschappelijke
kwaliteit.
’I
VUmc, afd. Interne Geneeskunde, Amsterdam.
Drs. J.K. Tijdink (tevens: Tergooi, afd. Psychiatrie, Blaricum),
psychiater; prof.dr. Y.M. Smulders, internist.
Universiteit van Leiden, Centrum voor Wetenschap en Technologie
Studies (CWTS), Leiden.
Dr. S. de Rijcke, universitair docent;
prof.dr. P. Wouters, hoogleraar scientometrie.
UMC Utrecht, afd. Psychiatrie, Utrecht.
Dr. C.H. Vinkers, psychiater.
Contactpersoon: drs. J.K. Tijdink ([email protected]).
wish you all a nice, productive, and citable 2013.’
Aldus besloot de hoofdredacteur van het Netherlands Heart Journal zijn nieuwjaarsgroet in het
decembernummer van 2012. Dit redactioneel commentaar bevatte 25 referenties naar artikelen in het Netherlands Heart Journal uit de periode 2010- 2012.1 In deze
nieuwjaarsgroet werden auteurs opgeroepen om het
Netherlands Heart Journal in andere tijdschriften die
geïndexeerd zijn in het ‘Web of science’ te citeren en om
onder andere reviews in te sturen. De publicatie verhoogt
daarmee de ‘Journal impact factor’ (JIF) van het tijdschrift, een maat voor de gemiddelde citatiescore in de
voorafgaande 2 jaar.
Naast al dan niet internationale hoofdredacties van
wetenschappelijke tijdschriften die pogen de impact van
hun tijdschriften te vergroten, proberen ook individuele
wetenschappers hun artikelen geciteerd te krijgen.2,3 De
indicator die sinds 2005 veel wordt gebruikt om individuele onderzoekers te evalueren is de Hirsch(H)-index. De
opmars van de JIF en de H-index is een gevolg van de
evaluatiecultuur van wetenschap. Publicaties en citaties
van deze publicaties hebben grote invloed op het toekennen van promoties, subsidies en interne budgettering
binnen de kenniscentra.4-6 De evaluatiecultuur wordt
NED TIJDSCHR GENEESKD. 2014;158: A7147
1
KLINISCHE PR AKTIJK
versterkt door concurrentie tussen publicerende wetenschappers. Wie meer publiceert en meer wordt geciteerd,
heeft een voorsprong op collega’s voor subsidies en
benoemingen.7-9 Onderzoeksfinanciers zijn ertoe overgegaan regelmatig naar de H-index en naar de JIF te vragen
bij subsidieaanvragen.10
In november 2013 verscheen de veelbesproken ‘position
paper’ van Science in transition (www.scienceintransition.nl/wp-content/uploads/2013/10/Sience-in-Transition-Position-paper-versie-2.pdf), waarin prof.dr. F.
Miedema, decaan van het Universitair Medisch Centrum
Utrecht, en consorten opriepen tot meer maatschappelijke relevantie van wetenschappelijk onderzoek. In deze
paper werd aangegeven dat evaluatie en sturing van
onderzoek nu ‘vooral is gebaseerd op “bean counting”;
we tellen en meten publicaties en citaties en kijken
bovenal naar zogenaamde impact factors’.
Is de praktijk van nadruk op de JIF en H-index vruchtbaar? Voorop staat dat dit type indicatoren nuttige informatie kan opleveren, mits in het oog wordt gehouden wat
zij meten en welke betekenis de maten hebben. In dit
artikel plaatsen wij het gebruik van deze citatiematen in
de biomedische wereld in perspectief. Hiermee willen we
de aandacht vergroten voor mogelijke ongewenste effecten van overmatige aandacht voor de JIF en H-index. Er is
nog veel onduidelijk over deze effecten, maar er zijn aanwijzingen dat een gezonde wetenschapsbeoefening
erdoor onder druk staat.6,11,12
Als onderzoekers niet beter weten dan dat ze op de
H-index moeten scoren en in tijdschriften met een hoge
JIF moeten publiceren, kan dat ten koste gaan van de
betrouwbaarheid, kwaliteit en originaliteit van wetenschap.13
De Journal impact factor
De JIF werd in 1955 geïntroduceerd door Eugene Garfield
en wordt sinds 1975 gepubliceerd in de Journal Citation
Reports (JCR).14 De JIF wordt berekend door het aantal
citaties naar een wetenschappelijk tijdschrift in een
bepaald jaar te delen door het totaal aantal artikelen dat
in de 2 voorafgaande jaren in dat tijdschrift is verschenen. Zo zijn bijvoorbeeld in The Lancet in 2010 en 2011 in
totaal 547 citeerbare artikelen verschenen en werden
deze in 2012 21.366 keer geciteerd. De JIF van The Lancet
is in 2012 dus 39,1 (21.366/547). De JIF is de belangrijkste
maat om de impact van een wetenschappelijke tijdschrift
te beoordelen. Bij deze citatiemaat zijn echter een aantal
kanttekeningen te maken.
In de bibliometrische literatuur is een groot aantal
tekortkomingen van de JIF geconstateerd.15 Zo is de JIF
een rekenkundig gemiddelde van een distributie die zeer
scheef is verdeeld, wat wil zeggen dat de overgrote meerderheid van de tijdschriften een lage JIF heeft. Een publi2
catie in dat tijdschrift zegt dus niet direct iets over de
kwaliteit en impact van dat artikel; het is een tijdschriftmaat, geen artikelmaat. Tevens corrigeert de JIF niet
voor verschillen tussen publicatiegewoontes van vakgebieden. Onderzoeksgebieden met lange referentielijsten
en een snelle turn-over van artikelen (zoals onderzoek
naar diabetes mellitus) zijn hierdoor in het ‘voordeel’
vergeleken met gebieden waarin minder wordt gepubliceerd en dus geciteerd. De JIF is daarom geen goede maat
om tijdschriften in verschillende vakgebieden met elkaar
te vergelijken.16
Ten slotte is de JIF kwetsbaar voor opzettelijke beïnvloeding of zelfs malafide manipulatie. Een recent voorbeeld
hiervan is een door Nature ontdekt ‘geheim’ netwerk van
citatieafspraken tussen enkele biomedische tijdschriften.17 De zorgen over nadelige effecten van de JIF leidden
kort geleden zelfs tot een oproep van een groot aantal
(top)wetenschappers, onderzoeksfinanciers en tijdschriften om de JIF niet meer te gebruiken bij onderzoeks­
evaluaties in hun ‘Declaration on research assessment’
(DORA; http://am.ascb.org/dora).
De Hirsch-index
De H-index werd in 2005 geïntroduceerd om de ‘impact
en relevantie’ van het totaal aantal publicaties van individuele wetenschappers beter weer te geven.18 De H-index
van wetenschapper Y betekent dat deze X artikelen heeft
gepubliceerd die elk minstens X keer zijn geciteerd. Het
probleem dat grondlegger Jorge Hirsch hiermee probeerde op te lossen is dat het totaal aantal citaties van een
individuele onderzoeker sterk kan worden beïnvloed
door een toevallige uitschieter. De H-index wordt door
zo’n toevalstreffer niet beïnvloed en is in korte tijd razend
populair geworden in de biomedische wereld. Zo kent
74% van alle medische hoogleraren in Nederland hun
eigen H-index uit het hoofd.19
De H-index kent bezwaren die lijken op die van de JIF. Zo
zijn onderzoekers in vakgebieden met een grote ‘citatiedichtheid’ (veel citeerverkeer tussen artikelen, lange
referentielijsten en veel auteurs) sterk in het voordeel,
evenals oudere onderzoekers ten opzichte van junioronderzoekers. Ook maakt het voor de berekening van de
H-index geen verschil of onderzoekers eerste, achttiende
of laatste auteur van artikelen zijn, terwijl de auteursvolgorde in de biomedische wereld wel iets zegt over de
betrokkenheid bij het onderzoek.
Er kan van de H-index een perverse werking uitgaan om
bij zo veel mogelijk publicaties betrokken te zijn die in
potentie veel citaties krijgen. Dit leidt tot een cultuur
waarin al dan niet minimale wetenschappelijke inspanningen niet langer ‘pro bono’ worden verricht maar
slechts in ruil voor coauteurschappen. Exemplarisch
hiervoor was een cardioloog die in 2009 1 artikel per 1,9
NED TIJDSCHR GENEESKD. 2014;158: A7147
Explosie van wetenschappelijke productie
Het aantal wetenschappelijke tijdschriften steeg van
5000 in 1997 tot ruim 8000 in 2010 (bron: ISI Web of
Knowledge) en het aantal wetenschappelijke artikelen
verdubbelde de afgelopen 12 jaar (bron: Scopus). In het
algemeen wordt aangenomen dat, naast uiteraard kennistoename, toenemende nadruk op kwantitatieve parameters van publicatieoutput en citatie-impact deze ontwikkeling in de hand werken.20
De invloed van publicatiedruk of publicatiedrang op de
kwaliteit van wetenschap is voor zover wij weten niet
systematisch onderzocht. Wel is gebleken dat publicatiedruk van invloed lijkt te zijn op publicatiebias (preferentiële publicatie van ‘positieve’ resultaten): in een omgeving waar veel wordt gepubliceerd worden relatief meer
positieve uitkomsten gevonden, tot zelfs in > 90% van alle
publicaties, dan in omgevingen waar men minder produceert.11
Zelf deden wij (JT en YS) onderzoek onder alle medische
hoogleraren in Nederland, waaruit bleek dat de helft
vindt dat publicatiedruk excessief is geworden en bijna
40% twijfelt aan de validiteit van onderzoeksresultaten
als gevolg van publicatiedruk.19 Tevens suggereerden de
uitkomsten dat de ervaren publicatiedruk en de hoogte
van de H-index verband hielden met burn-outverschijnselen.6,19,21 Van burn-out is bekend dat het leidt tot verminderde kwaliteit van patiëntenzorg en lagere productiviteit.22
Indicatoren en kwaliteit
Eerder memoreerden wij al dat zowel de JIF als de
H-index kwetsbaar zijn voor manipulatie, bijvoorbeeld
door zelfcitaties van zowel tijdschriften als auteurs. Los
van deze praktijken is een reflectie op de intrinsieke
waarde van deze citatie-indicatoren op zijn plaats. Zowel
de JIF als de H-index zijn geboren uit de behoefte de kwaliteit van wetenschappelijk onderzoek te kwantificeren.
Voorop staat dat dit type indicatoren nuttige informatie
kan opleveren, mits in het oog wordt gehouden dat zij
geen directe weerspiegeling zijn van de wetenschappelijke kwaliteit van het tijdschrift of van de individuele
onderzoeker.23-25
Invloed is een aspect van wetenschappelijke kwaliteit,
maar valt daar niet mee samen. Bovendien valt wetenschappelijke impact niet altijd samen met citatie-impact.
Wie het meest zichtbaar is in het citatieverkeer hoeft met
andere woorden nog niet de meeste wetenschappelijke
impact te hebben of de beste onderzoeker te zijn.26 De
indirecte relatie tussen kwaliteit en aantallen citaties is
niet eenvoudig. Wetenschappelijke kwaliteit staat voor
methodologische grondigheid, originaliteit, empirische
validiteit, wetenschappelijke relevantie enzovoort. Een
publicatie waarin onderzoekers verslag doen van uitmuntend of origineel werk dat vervolgens weinig invloed
heeft, ontvangt niet veel citaties. Andersom geldt hetzelfde: een door de aansprekende of controversiële boodschap aantrekkelijke maar kwalitatief minder hoogstaande publicatie kan toch veel worden geciteerd.
Citatie-indicatoren geven dus slechts gedeeltelijk kwaliteit weer.
Andere functies van deze indicatoren zijn het geven van
veld- en publicatietype-specifieke citatie-informatie, alsmede ‘wetenschapscartografie’ (het schematisch in kaart
brengen van publicaties en citaties binnen vakgebieden).
Zoals eerder gememoreerd bestaan er grote verschillen
in citatiegewoontes binnenvakgebieden. Voor de medische wetenschappen geldt bijvoorbeeld dat het aantal
verwijzingen naar basaal onderzoek significant lager ligt
dan het aantal verwijzingen naar klinisch onderzoek.16,20,27
Daarnaast is het type onderzoeksopzet van invloed op
het aantal verwijzingen naar een studie. Meta-analyses
en reviews ontvangen in de regel meer citaties dan RCT’s,
die weer hoger komen dan cohortstudies en casuïstische
mededelingen,28 terwijl originaliteit en vernieuwing juist
vaker uit publicaties kunnen voortkomen die relatief laag
in bovengenoemde ‘citatiehiërarchie’ staan, zoals patiëntenbeschrijvingen.29
Dankzij slimme visualisatietechnieken is het mogelijk
wetenschapscartografie te bedrijven. Zo kan snel geanalyseerd worden welke vakgebieden in opkomst zijn en
hoe de sociale netwerken van wetenschappers zich ontwikkelen. Dit is onder meer handig om interdisciplinaire
ontwikkelingen op te sporen die vanuit het perspectief
van traditionele disciplines minder zichtbaar zijn.
Nieuwe methoden ontwikkelen
De beoordelingssystematiek van de biomedische wetenschappen zal door moeten evolueren: van louter kwantitatieve maten naar meer gerichte kwaliteitsbeoordeling
op methodologische grondigheid, originaliteit, empirische validiteit, en wetenschappelijke en maatschappelijke
relevantie. Zoals in de position paper van Science in
transition wordt opgeroepen zal wetenschapsevaluatie
nieuwe wegen moeten inslaan. Zo kunnen nanopublicaties (publicaties van relaties tussen wetenschappelijke
artikelen gevonden door automatische tekstanalyse),
aantal downloads en blogging (internetimpact) meegenomen worden in wetenschapsevaluatie (de zogeheten
‘new metrics’) en zal maatschappelijke impact beter
meetbaar moeten zijn. Dat laatste is niet eenvoudig, wat
NED TIJDSCHR GENEESKD. 2014;158: A7147
3
KLINISCHE PR AKTIJK
werkdag produceerde.20 Al is een oorzakelijk verband
tussen aantallen auteurs en de populariteit van de
H-index niet bewezen, in het medisch onderzoek is het
aantal auteurs per publicatie over de jaren enorm toegenomen (bron: www.nlm.nih.gov/bsd/authors1.html).
▼ Leerpunten ▼
KLINISCHE PR AKTIJK
• Wetenschappers en wetenschappelijke tijdschriften
worden in toenemende mate geëvalueerd met
prestatie-indicatoren als de Journal Impact Factor (JIF) en
de Hirsch(H)-index, die veel belang hechten aan citaties
van artikelen.
• De JIF en de H-index kunnen prima gebruikt worden om
onderzoek te evalueren en zijn een indicator van
wetenschappelijke output, maar wetenschappelijke
kwaliteit hangt ook samen met methodologische grondigheid, originaliteit, empirische validiteit, originaliteit, en
wetenschappelijke en maatschappelijke relevantie.
• Als we te veel nadruk leggen op deze prestatie-indicatoren kan dat een negatieve invloed hebben op wetenschapsbeoefening en op de wetenschappelijke kwaliteit.
ook geldt voor het scoren van originaliteit en vernieuwingspotentieel van onderzoek. Het onderzoek naar de
kwaliteit van deze parameters is heden ten dage volop in
ontwikkeling getuige het vernieuwde onderzoeksprogramma van het Centre for Science and Technology
Studies (CWTS; www.cwts.nl/pdf/cwts_research_programme_press_release.pdf).
Natuurlijk zullen ook aan nieuwe evaluatiemethoden
beperkingen kleven, waardoor andere prikkels hun
intrede kunnen doen. Maar door een multidimensionele
beoordeling wordt wetenschap wel evenwichtiger geëvalueerd.
een artikel of wetenschapper te beoordelen op kwaliteit.
Te veel focus op citatie-indicatoren leidt tot veelschrijverij, publicatiebias, overmatige zelfcitaties, verwaarlozing
van ‘low citation impact’-onderzoeksvelden en dito typen
publicaties, en veronachtzaming van andere criteria voor
kwaliteit van onderzoek.
Het adagium ‘Publish or perish’ (ironisch gebruikt in
citatiesoftware
www.harzing.com/pop_hindex.htm)
geeft de gevoelde noodzaak tot publiceren treffend weer.
Een competitieve onderzoeksomgeving door het gebruik
van indicatoren heeft ook voordelen: competitie verhoogt de wetenschappelijke productie.30 De keerzijde is
evenwel dat het ten koste kan gaan van de wetenschap en
haar beoefenaars.
Voor een evenwichtigere evaluatie van wetenschap zijn
nieuwe methoden nodig. De beroepsgroep en de kennisinstituten, universiteiten voorop, kunnen hierin verantwoordelijkheid nemen door bereidheid te tonen en mee
te werken de systematiek te veranderen, en door zo veel
mogelijk perverse prikkels uit hun beloningssysteem te
halen. Dit kan door meer bereidheid tot investeren in
langetermijnonderzoek en risicodragend onderzoek,
focus op de maatschappelijke relevantie van onderzoek
en subsidietoekenning op basis van hybride criteria,
gewaardeerd door maatschappelijke gebruikers en collega-onderzoekers samen. Wetenschap dreigt anders een
bizarre puntenkoers te worden in plaats van een zoektocht naar de waarheid, gedreven door nieuwsgierigheid
en fascinatie.
Belangenconflict: een formulier met belangenverklaring is beschikbaar bij dit
artikel op www.ntvg.nl (zoeken op A7147; klik op ‘Belangenverstrengeling’).
Financiële ondersteuning: drs. J. Tijdink ontving subsidie van ZonMw.
Conclusie
De beschreven citatie-indicatoren, de H-index en de
Journal impact factor, kunnen prima worden gebruikt als
ondersteunende informatie over tijdschriften of wetenschappers, maar hebben beperkingen als unieke maat om
Aanvaard op 29 januari 2014
Citeer als: Ned Tijdschr Geneeskd. 2014;158:A7147
> Kijk ook op www.ntvg.nl/klinischepraktijk
●
Literatuur
1
Van der Wall EE. The NHJ 2012 in retrospect: which articles are cited
5
2
DeMaria AN, Bax JJ, Feld GK, et al. Highlights of the year in JACC 2012. J
6
Lüscher TF, Gersh B, Hendricks G, Landmesser U, Ruschitzka F, Wijns
7
Gannon F. The impact of the impact factor. EMBO Rep. 2000;1:293.
W. The best of the European Heart Journal: look back with pride. Eur
8
Hessels L.K. Science and the struggle for relevance [proefschrift].
Utrecht: Universiteit Utrecht; 2010.
Heart J. 2012;33:1161-71.
4
Miller AN, Taylor SG, Bedeian AG. Publish or perish: academic life as
management faculty live it. Career Dev Int. 2011;16:422-45.
Am Coll Cardiol. 2013;61:357-85.
3
Bird SJ. Research ethics, research integrity and the responsible conduct of
research. Sci Eng Ethics. 2006;12:412.
most? Neth Heart J. 2012;20:481-2.
Bedeian AG, Van Fleet DD, Hyman HH. Scientific achievement and
editorial-board membership. Organ Res Methods. 2009;12:238.
9
Retzer VJG. Towards objectivity in research evaluation using bibliometric
indicators - A protocol for incorporating complexity. Basic Appl Ecol.
2009;10:393-400.
4
NED TIJDSCHR GENEESKD. 2014;158: A7147
actueel/?tx_zonmwdata_pi1[mode]=1&tx_zonmwdata_pi1[tt_news]=1967
&cHash=f3fce67976bd79a605e48ce2449e1f3c, geraadpleegd op 3 maart
Ned Tijdschr Geneeskd. 2012;156:A5715.
22 West CP, Tan AD, Habermann TM, Sloan JA, Shanafelt TD. Association
of resident fatigue and distress with perceived medical errors. JAMA.
2014.
11
21 Tijdink JK, Vergouwen AC, Smulders YM. De gelukkige wetenschapper.
Fanelli D. Do pressures to publish increase scientists’ bias? An empirical
2009;302:1294-300.
23 Calero Medina C, van Leeuwen TN. Seed journal citation network maps:
support from US States Data. PLoS ONE. 2010;5:e10271.
12 Van Dalen HP, Henkens K. Intended and unintended consequences of a
publish-or-perish culture: A worldwide survey. J Am Soc Inf Sci Technol.
A method based on network theory. JASIST. 2012;63:1226-34.
24 Neuhaus C, Daniel HD. A new reference standard for citation analysis in
chemistry and related fields based on the sections of Chemical Abstracts.
2012;63:1282-93.
Scientometrics. 2009;78:219-29.
13 How science goes wrong. The Economist 19 oktober 2013.
14 Garfield E. Citation indexes for science; a new dimension in
documentation through association of ideas. Science. 1955;122:108-11.
15 Moed H. Citation analysis in research evaluation. Springer; 2005.
16 Van Eck NJ, Waltman L, van Raan AF, Klautz RJ, Peul WC. Citation
analysis may severely underestimate the impact of clinical research as
25 Smolinsky L, Lercher A. Citation rates in mathematics: a study of
variation by subdiscipline. Scientometrics. 2012;91:911-24.
26 Waltman L, van Eck NJ, Wouters P. Counting publications and citations:
Is more always better? J Informetrics. 2013;7:635-41.
27 Seglen PO. Why the impact factor of journals should not be used for
evaluating research. BMJ. 1997;314:498-502.
compared to basic research. PLoS ONE. 2013;8:e62395.
17 Van Noorden R. Brazilian citation scheme outed. Nature. 2013;500:510-1.
18 Hirsch JE. An index to quantify an individual’s scientific research output.
28 Patsopoulos NA, Analatos AA, Ioannidis JP. Relative citation impact of
various study designs in the health sciences. JAMA. 2005;293:2362-6.
29 Vandenbroucke JP. In defense of case reports and case series. Ann Intern
Proc Natl Acad Sci USA. 2005;102:16569-72.
19 Tijdink JK, Vergouwen AC, Smulders YM. Publication Pressure and Burn
Out among Dutch Medical Professors: A Nationwide Survey. PLoS ONE.
Med. 2001;134:330-4.
30 Anderson MS, Ronning EA, De VR, Martinson BC. The perverse effects
of competition on scientists’ work and relationships. Sci Eng Ethics.
2013;8:e73381.
20 Opthof T, Wilde AAM. Bibliometric data in clinical cardiology revisited
2007;13:437-61.
The case of 37 Dutch professors. Neth Heart J. 2011;19:246-55.
NED TIJDSCHR GENEESKD. 2014;158: A7147
5
KLINISCHE PR AKTIJK
10www.zonmw.nl/nl/programmas/programma-detail/top-subsidies/