Wetenschappers hebben hun geloofwaardigheid zelf in de hand

Politici, journalisten en opinieleiders gaan maar wat graag aan de haal met wetenschappelijk onderzoek, ook als het bewijs nog maar flinterdun is. Wetenschappers kunnen hun geloofwaardigheid vergroten door transparanter te zijn en beter samen te werken, schrijft sociaal wetenschapper Lisanne Wichgers op EW Podium.

Mag ik u allereerst drie tweets voorleggen van Tweede Kamerlid en FVD-leider Thierry Baudet?

‘Groot internationaal onderzoek: LOCKDOWNS WERKEN NIET.’ (2 februari 2021)

‘Nieuwe academische studie bevestigt wat #FVD al langer aankaart: massaal testen van asymptomatische mensen is pure “zwendel”’ (20 juni 2021)

‘Grootschalig Zweeds onderzoek toont aan: na negen maanden bieden de coronavaccins geen enkele bescherming meer.’ (10 november 2021)

En, vooruit, ook eentje van zijn voormalige fractiegenoot Wybren van Haga:

‘Nieuw Nederlands onderzoek wijst uit dat hydroxychloroquine toch werkt tegen #COVID19.’ (13 oktober 2020)

Dit soort uitspraken komt veel voor in het publieke debat over het coronabeleid. Vooral politici onderbouwen hun standpunten geregeld met slechts één onderzoek. De referentie aan de wetenschap wekt de indruk dat de uitspraak van de politicus serieus moet worden genomen.

Een bekende strategie, niet alleen in het debat over het coronavirus, maar ook in andere maatschappelijke discussies zoals over het klimaatbeleid. Niet alleen politici maken zich schuldig aan dit soort cherry picking: ook journalisten, opiniemakers en zelfs wetenschappers (ja, ook ondergetekende) zijn hier niet immuun voor.

De replicatiecrisis

Dat een onderzoek via wetenschappelijke procedures tot stand is gekomen, hoeft nog niet te betekenen dat het ook correct is uitgevoerd of dat de bevindingen kloppen. Vooral binnen de sociale- en gedragswetenschappen is er een groeiend besef dat veel wetenschappelijke bevindingen – waar soms al tientallen jaren op wordt voortgeborduurd – niet reproduceerbaar zijn. Dat wil zeggen dat de bevindingen anders of minder sterk zijn dan eerst.

Uit een poging tot het repliceren van honderd experimenten, gepubliceerd in drie vooraanstaande psychologietijdschriften, bleek bijvoorbeeld dat slechts eenderde tot de helft gerepliceerd kon worden. Wetenschappers noemen dat de ‘replicatiecrisis’.

Ivermectine als coronamedicijn?

Het repliceren van onderzoek is cruciaal voor het creëren van fundamentele kennis. Dat dient ook als basis voor bijvoorbeeld beleidsvorming, het ontwikkelen van nieuwe technologieën en medische behandelingen. Een goed voorbeeld van het belang van replicatieonderzoek is een recent onderzoek naar ivermectine, een medicijn tegen parasieten. De preprint van het onderzoek, geleid door dr. Elgazzar van de Benha Universiteit in Egypte, verscheen in november 2020 op het platform Research Square (pdf).

In de studie werd beweerd dat ivermectine effectief zou zijn bij de bestrijding van COVID-19. Het onderzoek werd meer dan 150.000 keer bekeken en meer dan dertig keer geciteerd, en werd vooral geroemd door coronasceptici. Maar er bleek  van alles mis: patiëntendata werden meerdere keren gebruikt, de oorsprong van sommige cijfers was onvindbaar, sommige percentages waren verkeerd berekend, en deelnemers aan het onderzoek waren selectief gekozen. Nadat dit aan het licht kwam, trokken de auteurs hun artikel terug.

Publicatiedruk belemmert transparantie

Van bovenstaande praktijken kan worden verwacht dat ze eerder uitzondering dan regel zijn. Bovendien was het onderzoek nog niet formeel gepubliceerd, en zouden vakgenoten de frauduleuze praktijken hopelijk hebben opgemerkt tijdens de peer review (intercollegiale toetsing). Maar de risico’s zitten vaak in een kleiner, beter verstopt hoekje.

Onderzoekers zijn bijvoorbeeld niet altijd transparant over wat zij gaan onderzoeken en verwachten te vinden. Dit vergroot de kans op p-hacking: onderzoekers gaan bewust op zoek naar interessante, ‘significante’ effecten, en doen vervolgens alsof deze effecten altijd al verwacht werden. Eén aannemelijke verklaring hiervoor is de publicatiebias: studies met significante resultaten zijn makkelijker te publiceren. En het aantal publicaties is weer een belangrijke factor bij het binnenhalen van onderzoeksgeld of voor het beklimmen van de academische ladder.

Rammelende theoretische onderbouwing

Ook zijn wetenschappers niet altijd transparant over hoe zij hun data gaan analyseren. Het toevoegen van factoren als gender en sociaal-economische status aan statistische modellen kan er bijvoorbeeld voor zorgen dat de resultaten opeens wél significant – en dus interessant – zijn. De theoretische onderbouwing van deze keuzes onderbreekt echter vaak. Het ‘echte’, minder sterke effect wordt daarmee dus verbloemd. Bij een poging tot replicatie zullen de bevindingen daarom vaak niet overeenkomen. Andere reden voor onsuccesvolle replicatie is het gebruik van een te kleine of niet-representatieve onderzoeksgroep.

Tijd voor wat optimisme. Samen met drie andere Amerikaanse universiteiten is mijn onderzoeksgroep aan Stanford al jarenlang betrokken bij een groot replicatieproject. Hierin zijn twintig wetenschappelijke studies vier keer gerepliceerd. De voorlopige bevindingen suggereren dat wanneer onderzoek volledig transparant wordt uitgevoerd, en wanneer de data niet tussentijds worden geanalyseerd, resultaten gelukkig sterk repliceerbaar zijn.

Meer aandacht en waardering voor replicatieonderzoek

Goed nieuws voor de wetenschap, omdat dit concrete handvatten geeft om de replicatiecrisis te beperken. Toch is er nog veel werk aan de winkel, omdat wetenschappers deze handvatten nog maar mondjesmaat aangrijpen. Mogelijk uit tijdgebrek of angst om niet gepubliceerd te worden. Daarnaast zouden wetenschappers zich veel meer moeten bezighouden met replicatieonderzoek, niet alleen met het ontdekken van nieuwe effecten. Dat is niet alleen de verantwoordelijkheid van de individuele wetenschapper, maar ook van de onderzoeksgemeenschap. Hoe relevanter de bevinding, denk aan de aanpak van COVID-19, hoe meer financiële middelen er vrijgemaakt zouden moeten worden om zo snel en goed mogelijk te repliceren.

Onvoldoende aandacht aan replicatieonderzoek heeft een directe impact op de maatschappij en haar burgers. Als vooraanstaande politici hun standpunten ondersteunen met een wetenschappelijk artikel, wordt dit artikel vaak binnen mum van tijd honderden, duizenden keren gedeeld. Vaak hebben de delers niet eens toegang tot het artikel – vanwege een betaalmuur – en daarnaast is het lastig fouten te ontdekken als transparantie vanuit de onderzoekers ontbreekt.

Wetenschappelijke vooruitgang door samenwerking en transparantie

Hoewel het ivermectine-artikel inmiddels is teruggetrokken, is de schade waarschijnlijk al geschied: velen die heilig overtuigd waren van de waarde ervan zullen niet eens weten dat het onderzoek is teruggetrokken of zullen denken dat dit onder externe druk is gebeurd. Bovendien zijn politici zelf helaas vaak de laatsten die toegeven het onderzoek onterecht gepromoot te hebben. Sterker nog, sommigen doen alsof hun neus bloedt, zoals de fractievoorzitter van de rechts-populistische FPÖ in Oostenrijk, Herbert Kickl, die ivermectine blijft promoten. Het gevolg: een toename in ziekenhuisopnames wegens vergiftiging.

Gelukkig worden er, naast alle desinformatie, ook veel wetenschappelijke studies gedeeld die wél van grote waarde zijn. Als wetenschapper ben ik dankbaar dat onderzoeksbevindingen ook buiten de academische gemeenschap worden gedeeld. Maar het is onze verantwoordelijkheid om betrouwbare en valide resultaten aan te reiken. Wetenschappelijke vooruitgang kan alleen worden bereikt door een cumulatie van kennis, waarin wetenschappers samen moeten werken, transparant moeten zijn, en ‘ieder voor zich’ geen optie is.