Voor het beoordelen van wetenschappelijk nieuws in de krant is meer nodig dan alleen de vraag wat er nu weer is ontdekt.
door Hans van Maanen – Skepter 34.4 (2021)
JOURNALISTEN worden al jong afgericht op ‘Vijf W’s en een H’: een verslag in de krant is niet compleet als er niet ten minste op de volgende vragen een antwoord wordt gegeven: wat, wie, waar, wanneer, waarom en hoe. Dus ‘Wat is er gebeurd?’, ‘Wie waren erbij betrokken?’, ‘Waar is het gebeurd?’, ‘Wanneer was het?’, ‘Waarom is dit gebeurd?’ en ‘Hoe is het gebeurd?’
Het lijstje heeft, om meteen maar een zijpad in te slaan, een opmerkelijk lange traditie: de eerste die zo’n opsomming noemde, was de Griekse wijsgeer Aristoteles (384–322 v.Chr.) in zijn Ethica Nicomachea. Hij stelt de vragen om te beoordelen of een bepaalde handeling bedoeld of onbedoeld was:
Daarom is het geen zinloos streven om deze omstandigheden naar soort en aantal te verdelen: (1) het Wie, (2) het Wat, (3) op welke plaats (Waar) of (4) in welke tijd iets gebeurt (Wanneer), en soms (5) Waarmee, zoals een instrument (Met), (6) terwille waarvan (Waartoe), zoals het redden van een leven, en (7) het Hoe, zoals met kalmte of met geweld.
Iemand die niet op de hoogte is van al deze omstandigheden bij zijn acties, handelt in onwetendheid, en is dus minder verantwoordelijk voor zijn daden. Andersom, als niet al deze vragen rond iemands gedrag beantwoord kunnen worden — en dan vooral het Waartoe — is het moeilijk een moreel oordeel over dat gedrag te vellen.
De redenaar Cicero (106–43 v.Chr.) lijkt vervolgens een van de eersten geweest te zijn die het rijtje hanteerde als geheugensteun voor het goed uiteenzetten van alle elementen van een kwestie of een argumentatie. En Rudyard Kipling dichtte in 1902 het versje:
I keep six honest serving-men
(They taught me all I knew);
Their names are What and Why
and When
And How and Where and Who.
Nu is dat allemaal goed en wel als het over een moord, de val van het kabinet of desnoods een aardbeving gaat. Een krantenlezer zal onvermijdelijk het gevoel krijgen niet volledig geïnformeerd te zijn als daarbij een van de vijf W’s en de H niet worden beantwoord (‘Hallo, waar was die brand dan?’), en hoe nieuwswaardig een moord, een val of een aardbeving is, hoef je er als journalist niet bij te vertellen.
Het is de belangrijkste vraag
om zin van onzin,
broddelwetenschap
van goede wetenschap,
kwakzalverij van
geneeskunde
te onderscheiden.
Onvermijdelijk
Maar voor het begrijpen van wetenschappelijke ontwikkelingen in de krant is meer nodig. Er wordt een verband gevonden tussen het eten van vlees en de kans op darmkanker, of tussen het slikken van de pil en depressie. Of iemand claimt dat tomatenketchup beschermt tegen hartziekten, of dat Tweelingen altijd zo evenwichtig zijn — hebben we dan genoeg aan wie, wat, waar, wanneer, waarom en hoe?
Dan moet er onvermijdelijk nog een extra H worden beantwoord: de H van ‘Hoe weten ze dat?’ — of wat specifieker: ‘Hoe hebben ze dat gemeten?’ Het is de belangrijkste vraag om zin van onzin, broddelwetenschap van goede wetenschap, en kwakzalverij van geneeskunde te onderscheiden. Het is echter ook een vraag die in kranten zelden wordt gesteld, laat staan beantwoord.
Vooraf
Laten we zo’n voorbeeld nemen — tomatenketchup beschermt tegen hartaandoeningen. Of nee, laten we liever de voorafgaande kwestie stellen: hoe vindt u dat dit onderzocht moet zijn voordat u het geloofwaardig acht? Dus nog voordat u het krantenverslag gaat lezen, vraagt u zich af: ‘Hoe hebben ze dat gemeten?’ Hebben ze twee groepen van duizend willekeurige mensen genomen en de ene groep vrijelijk tomatenketchup laten eten en de andere groep dat uitdrukkelijk verboden? Waarna ze na zeg dertig jaar hebben geteld hoeveel mensen in beide groepen een hartziekte hebben gekregen? Arbeidsintensief en buitengewoon kostbaar, zeker voor zoiets onnozels als de consumptie van tomatenketchup, maar het zou kunnen.
Of hebben ze hartpatiënten gevraagd hoeveel ketchup ze gebruikten en die antwoorden gelegd naast een vergelijkbare groep mensen die nog geen hartaanval hebben gehad? Eveneens denkbaar en wetenschappelijk verantwoord, maar ook lastig — weten mensen na zoveel jaar nog hoeveel ketchup ze hebben gebruikt, en hoe weet je of de groepen verder wel echt vergelijkbaar waren? Misschien hebben mensen die veel ketchup gebruiken hoe dan ook een ander eetpatroon — of misschien is het de bijbehorende mayonaise die het hart beschermt.
Het zullen toch, God verhoede, geen experimenten met muizen wezen? Dat zou wel heel flauw zijn, om het dan op deze manier te verkopen. Stel dat het inderdaad om dierproeven gaat, zou u het bericht dan nog serieus nemen?
Het voordeel van het vooraf bedenken hoe het onderzoek kan zijn verlopen, is dat u minder kans loopt zand in de ogen gestrooid te krijgen: skepsis-vooraf is vaak makkelijker dan skepsis-achteraf. Achteraf lijkt het allemaal al gauw heel wat en kunnen gaten makkelijker worden verdoezeld of goedgepraat.
Ontsteking
Welnu, het cruciale experiment bestond eruit dat in totaal zes mannen eerst een ontbijt van rijst met vinaigrettesaus kregen en de volgende ochtend een portie rijst met een sloot tomatenketchup. Hun bloed werd na beide maaltijden afgenomen om de waarden van allerlei ontstekingsstofjes te bepalen, en daar kwam zowaar één significant resultaat uit. Gelukkig hebben we eerst onze eisen expliciet gemaakt, zodat we hier niet meer intrappen. (Het roept op zijn beurt de H op van ‘Hoe kan iemand hierop promoveren?’, maar dat is weer een zijpad.)
Als de krant te beroerd is om de methodologie van een onderzoek kort en helder uiteen te zetten, is dat natuurlijk al bijna voldoende reden om het bericht terzijde te schuiven.
Effectgrootte
Er zijn, nu we toch bezig zijn, ook nog wel wat W’s te bedenken die we bij de beoordeling van wetenschap in de wetenschapsbijlages van de krant in stelling moeten brengen — nadat de vraag ‘Hoe weten ze dat?’ naar bevrediging is beantwoord, uiteraard. Wat dacht u van: ‘Wat scheelt het?’? Of wat gewichtiger als H geformuleerd: ‘Hoe groot is het effect?’. Het maakt immers nogal wat uit of er na twintig jaar 3 op 1000 mensen darmkanker hebben gekregen of 300 op 1000.
Het verraderlijke is daarbij nog dat veel wetenschappelijke artikelen het liever over percentages hebben: als in de controlegroep 3 van de 100 mensen darmkanker hebben gekregen en in de behandelde groep slechts 2, heet het al gauw dat het aantal gevallen met 30 procent is gedaald. Dat klinkt erg indrukwekkend, zeker voor iemand die niet paraat heeft hoe groot de kans voor bijvoorbeeld 45-jarigen eigenlijk is om binnen twintig jaar darmkanker te krijgen (ongeveer 1 op 100). Ter vergelijking: rokers verhogen hun kans om binnen tien jaar longkanker te krijgen met 2300 procent — daarbij valt eigenlijk elk krantenbericht over ongezond voedsel in het niet.
Ook hier geldt: als de krant niet in begrijpelijke taal kan uitleggen wat het werkelijk scheelt, weet u vrij zeker dat u zich er niets van hoeft aan te trekken — dat scheelt meteen ruim 80 procent van al het medisch nieuws in kranten en op televisie. En als de cijfers wel worden gegeven, bedenk dan weer vooraf van welk effect u echt zou schrikken. Zo blijven u heel wat hartverzakkingen bespaard.
Context
Er wordt veel opgeschept in de wetenschap, niet alleen door onderzoekers, maar ook door de universiteiten en door de wetenschappelijke tijdschriften. En door journalisten, natuurlijk, die het een eer vinden op de voorpagina te staan. Vindingen worden als doorbraken gepresenteerd terwijl het meeste eigenlijk al wel bekend is — wetenschap is een cumulatief bouwwerk.
Dus de volgende vraag is: ‘Wat zou dat?’. In het krantenbericht hoort ook enige context geboden te worden zodat duidelijker wordt wat er al bekend was op dit terrein, en of er werkelijk sprake is van een nieuwe vondst. En dan gaat het niet om de obligate wetenschappers ‘die niet bij het onderzoek zijn betrokken’ die nog even mogen zeggen dat ze het een prima stukje werk vinden (als ze dat niet zouden vinden, had het bericht beter niet in de krant gekund, dus ze dienen in feite alleen maar als echoput — ze legitimeren de journalistieke keuzes, en ze versterken het beeld dat wetenschappers elkaars werk altijd enorm waarderen op een enkele kanttekening na).
Zo worden er al jaren ingenieuze experimenten gedaan naar de invloed van de anticonceptiepil op de stemming — bijvoorbeeld door onvruchtbare vrouwen pil of placebo te geven — maar een rammelend Deens onderzoek dat door zijn opzet zelfs geen oorzakelijk verband kon vaststellen maar wel hoog van de toren blies, krijgt aandacht in alle media. Dat tomatenketchup goed zou kunnen zijn voor het hart, was al veel eerder duidelijk geworden in veel grootser opgezet onderzoek. Waar deskundigen hun schouders ophalen, horen niet-ingevoerde journalisten het in Keulen donderen.
Motieven
En ten slotte, de W van ‘Wat steekt hierachter?’. Dit is in feite niet anders dan de belangrijkste W van Aristoteles: ‘Waartoe?’ — waartoe is het onderzoek gepubliceerd? Als we dat niet weten, is het inderdaad lastig een oordeel over te vellen.
Helaas is van alle W’s deze voor krantenlezers meestal het moeilijkst te beantwoorden. Soms is het duidelijk — een onderzoeker verspreekt zich tijdens een televisieprogramma waardoor blijkt dat zijn ‘doorbraak’ eigenlijk een oproep voor meer geld is, daags na een breed uitgemeten record in de kernfusiereactie wordt het Europese wetenschapsbudget besproken. Een rapport over de uitstoot van gevaarlijke stoffen blijkt opgesteld met een vinger van de fabrikant in de pap, een advies over de aanleg van een centrale is ter goedkeuring nog even langs de directie gegaan.
Meestal ligt het subtieler, en is enige journalistieke arbeid vereist om achter oneigenlijke motieven, belangen en geldstromen te komen. Alweer, als media er helemaal niets over melden, hebben ze er waarschijnlijk geen moeite voor gedaan en dan mag u desgewenst wat korrels zout aan het nieuwsbericht toevoegen. Niet te veel: het onderzoek naar tomatenketchup was gefinancierd door Heinz, maar dat betekent nog niet dat het alleen daarom al van tafel kan. Het is zeker zo dat onderzoek uitgevoerd of gefinancierd door de farmaceutische industrie stelselmatig gunstiger resultaten rapporteert dan onafhankelijk onderzoek (ruwweg 86 procent tegen 64 procent), maar het verband is statistisch: het zegt niet zoveel over een enkel medicijnenonderzoek.
Maar er zijn veel antwoorden mogelijk op de vraag welke motieven er achter een publicatie steken naast geldelijk gewin. Het varieert van politieke agenda’s (de onderzoekers zijn bijvoorbeeld tegen het gebruik van anticonceptiemiddelen, of ze zijn evangelisch vegetariër) tot prestigeoverwegingen (de onderzoekers hebben hun ziel en zaligheid gezet op een theorie die ze steeds proberen te bewijzen, of ze moeten nu eenmaal publiceren om hun academische positie veilig te stellen). Voor een ingevoerde journalist is het niet zo moeilijk met enig spitwerk achter deze ‘bijkomende’ motieven te komen, voor krantenlezers is het haast ondoenlijk (daarom lezen ze juist een krant).
Overgewicht
Dus. Het nieuws is: ‘Goede vetten beschermen baby’s tegen overgewicht op latere leeftijd’. Dat zou werkelijk heel mooi nieuws zijn! De vraag is: ‘Hoe hebben ze dat gemeten?’
Het is onwaarschijnlijk dat de onderzoekster een paar honderd baby’s goede en slechte vetten heeft gegeven en na dertig jaar heeft gekeken wie van hen dik is geworden. Heeft ze dunne en dikke dertigjarigen gevraagd of ze er vroeger veel onverzadigde of veel verzadigde vetzuren van hun ouders kregen? Of zou ze de babyvoeding van Nederland en de Verenigde Staten hebben vergeleken?
Nee hoor: de promovenda varieerde het dieet van muizenpups, en ‘ontdekte dat de muizen met meer omega 3-vetzuren in hun voeding als ze eenmaal volwassen waren kleinere vetcellen hadden.’
Wat scheelde het in gewicht? Slanker waren de muizen op ‘goede vetten’ in het geheel niet — de twaalf muizen op dieet wogen na veertien weken 29 gram, de twaalf controlemuizen 31 gram, geen significant verschil — en van overgewicht was al helemaal geen sprake, noch in de ene, noch in de andere groep.
Wat zou dat? Weinig — de vethuishoudingen van muizen en mensen verschillen nogal. Mensenbaby’s zijn voor dieren uitzonderlijk vet (15 procent van hun geboortegewicht is vet), ratten zitten op 1 procent). Mensenmoedermelk bevat 4 procent vet, rattenmelk 13 procent. Bij mensen worden de bruine vetcellen allengs wit, bij ratten zijn ze permanent.
Waartoe? De promovenda was verbonden aan Nutricia — misschien doet dat bedrijf onderzoek om zijn poedermelk te verbeteren.
Je verwacht het niet, met zo’n kop boven het artikel (en boven het persbericht: dat is door de media ongeveer een-op-een overgeschreven) maar het ging dus om muizenbaby’s, niet om mensenbaby’s, en om vetcellen, niet om overgewicht. Zo hebben ze dat gemeten.
Literatuur
N. B. King, S. Harper, M. E. Young: Use of relative and absolute effect measures in reporting health inequalities: structured review. BMJ 2012;345:e5774.
A. Lundh, J. Lexchin, …, L. Bero: Industry sponsorship and research outcome. Cochrane Database Systematic Reviews 2017:MR000033.
A. Rodgers, A. N. Sferruzzi-Perri: Developmental programming of offspring adipose tissue biology and obesity risk. International Journal of Obesity 2021; 45:1170.
R. Moynihan, L. Bero, …, S. B. Soumerai: Coverage by the news media of the benefits and risks of medications. New England Journal of Medicine 2000;342: 1645.
