Onderzoeksfinanciers als NWO hebben steeds meer moeite om referenten te vinden. Daardoor is de kwaliteit van het referentensysteem onder druk komen te staan. Dat kan consequenties hebben voor jonge onderzoekers, want die zijn voor het vervolg van hun wetenschappelijke loopbaan vaak afhankelijk van referentenoordelen.

Referenten zijn misschien wel de belangrijkste poortwachters voor jonge onderzoekers die na hun promotie door willen in de wetenschap. Uiteraard hebben sommige pas gepromoveerden het geluk dat de universiteit hun een baan aanbiedt. Maar die banen zijn schaars, en dus zullen meer jonge onderzoekers zich via een onderzoekssubsidie van bijvoorbeeld de Nederlandse Organisatie voor Wetenschappelijk Onderzoek ( NWO) proberen te verzekeren van een baan in de wetenschap. Op dat moment komen zij referenten tegen, ervaren vakgenoten die het onderzoeksvoorstel kritisch bekijken. Iedere aanvraag gaat immers eerst naar een aantal referenten, alvorens de beoordelingscommissie van NWO de beslissing neemt een aanvraag wel of niet voor honorering voor te dragen.

Dit referentensysteem is de laatste jaren onder druk komen te staan. De ervaren wetenschappers die als referent in aanmerking komen, hebben steeds vaker tijd tekort. En het aantal experts dat NWO nodig heeft, is groot: het gaat om vele duizenden per jaar. "Het wordt steeds problematischer om referenten te vinden, want de tijdsdruk bij universiteiten wordt steeds groter", zegt Annet van der Veen van het NWO-gebied Maatschappij- en Gedragswetenschappen ( MaGW). En dat beïnvloedt het systeem van referentenrapporten. "Het komt bijvoorbeeld wel voor dat rapporten te summier zijn of ver na de deadline binnenkomen. Dan moeten we snel nieuwe referenten zoeken."

Dat heeft uiteraard consequenties voor de onderzoekers die van referenten afhankelijk zijn. De Groningse onderzoekster Judith Rosmalen kreeg afgelopen zomer een zogeheten Veni-subsidie voor een onderzoek naar de invloed van stress op gezondheid, mede dankzij twee lovende referentenrapporten. Een eerdere aanvraag werd echter afgewezen, onder andere op grond van drie minder gunstige rapporten. "Ik weet niet of die rapporten de enige reden voor de afwijzing waren", zegt ze nu, "maar van die drie rapporten was er maar één nuttig." Een ander was volgens haar zo summier dat het nauwelijks mogelijk was er een weerwoord op te schrijven, terwijl de derde vol feitelijke onjuistheden zat. Zo kreeg Rosmalen het commentaar dat er een bepaalde periode in haar CV zou ontbreken, terwijl dat nooit het geval is geweest. "Heel frustrerend, want je steekt veel tijd in zo'n aanvraag," zegt ze, "en dan is het jammer om mede beoordeeld te worden op grond van dit soort referentenrapporten."

Experiment

Om te voorkomen dat het referentensysteem nog meer onder druk komt te staan, is MaGW afgelopen voorjaar begonnen met een experiment: het heeft een zogeheten 'referentencollege' samengesteld van zo'n 230 wetenschappers, waarvan de leden hebben toegezegd om in twee jaar tijd maximaal zeven keer als referent op te treden. Ter stimulering krijgen ze een vergoeding voor ieder goed afgeleverd rapport. Daarnaast zijn ze verplicht minstens één keer deel uit te maken van een beoordelingscommissie. Vooralsnog komen de leden uit Nederland, maar het is de bedoeling dat er volgend jaar ook buitenlanders bij komen.

Dit college heeft echter niet een deskundige voor elk specialisme binnen MaGW, en kan daarom niet alle referenten leveren die het gebied nodig heeft. "Desondanks leert de ervaring tot nu toe dat de vorming van dit college in elk geval directe tijdwinst oplevert bij het zoeken naar referenten", zegt Van der Veen, aangezien ook niet-leden via dit college te benaderen zijn. En dankzij de vergoeding kan MaGW ook eisen stellen. "We krijgen van referenten soms een heel beperkt rapport. Zo'n rapport kunnen we nu gewoon terugsturen, met het verzoek er meer aandacht aan te besteden," aldus Van der Veen, "en dat komt de kwaliteit uiteraard ten goede."

Ook de andere NWO-gebieden houden de kwaliteit van hun referenten voortdurend in het oog. "Onze beoordelingscommissies zijn altijd erg kritisch over de referentenrapporten, dat is al jaren zo", zegt Rob Heinsbroek van ZonMW, dat geld voor medisch onderzoek verdeelt. ZonMW vraagt haar commissies standaard een oordeel te geven over de kwaliteit, uiteenlopend van 'goed' via 'matig' tot 'slecht'. De commissie neemt dit oordeel vervolgens mee in de beslissing over goed- of afkeuring van een aanvraag. "Het komt wel voor ? zij het gelukkig zelden ? dat een rapport volgens drie commissieleden slecht is," vertelt Heinsbroek. "Dan weegt zo'n rapport niet zwaar mee in de beslissing van de commissie." Voor de aanvrager kan dat trouwens positief én negatief uitpakken. "Want soms besluit een commissie een kritisch referentenrapport terzijde te leggen," vervolgt Heisbroek, "maar het komt ook voor dat een juichend rapport nauwelijks meeweegt."

Betere Kansen

Heinsbroek heeft nog wel wat tips voor aanvragers. Elke aanvrager krijgt altijd de kans een weerwoord te schrijven op de referentenrapporten. "Altijd doen," zegt Heinsbroek. "Word niet boos, maar houd het zakelijk. Zie de kritiek van referenten als een gelegenheid om te laten zien dat je in staat bent met andere meningen om te gaan." Helpt dat niet en wordt je aanvraag toch afgewezen, gebruik de kritiek van referenten en beoordelingscommissie dan om een volgende, betere aanvraag in te dienen, aldus Heinsbroek. "Nieuwe ronde, betere kansen," is zijn devies.

Dat laatste heeft ook Judith Rosmalen gedaan. De gehonoreerde aanvraag was inderdaad beter dan de eerste, vindt zij, "maar de belangrijkste wijzigingen kwamen niét voort uit het commentaar van de referenten." Zij is gaan praten met mensen aan haar faculteit die veel ervaring hebben met beoordelingscommissies. Aan de referentenrapporten over de tweede aanvraag had zij trouwens wél veel. "Eén ervan wees op andere literatuur over mijn onderwerp en deed suggesties voor verbetering," vertelt ze."Die heb ik in mijn weerwoord bedankt voor zijn commentaar."