Ook in het meest zorgvuldig opgezette wetenschappelijke onderzoek treedt ongewild vertekening op. Maar hoe groot zou die ongeveer zijn? Homeopathie biedt een uitgelezen kans die bias in een getal uit te drukken.
door Hans van Maanen – Skepter 36.1 (2023)
EEN ‘nulveld’ is, in de landbouwwetenschap, een proefterrein dat onderzoekers geheel met rust laten: het dient als vergelijkingsmateriaal om te zien bijvoorbeeld hoeveel nitraat uitspoelt naar het grondwater ook als er niet, zoals in de echte proefveldjes, bemest wordt.
De Amerikaanse epidemioloog John Ioannidis introduceerde in zijn fameuze essay ‘Why most published research findings are false’ uit 2005 de term ‘nulveld’ voor een onderzoeksgebied waarin wetenschappelijk gezien niets te halen valt. In de geschiedenis van de wetenschap zijn er heel wat spoken nagejaagd: men hoopte een nieuw verschijnsel te ontdekken — polywater, N-stralen, koude kernfusie, perpetuum mobile — maar bleef uiteindelijk met lege handen achter. Er viel niets te ontdekken, aldus Ioannidis:
Dan meten de geclaimde effecten eenvoudig niets anders dan de netto bias in de totstandkoming van deze wetenschappelijke literatuur. Beweerde effectgroottes zijn in feite de meest nauwkeurige schattingen van die netto bias.
John P. A. Ioannidis – Why Most Published Research Findings Are False (Plos, 2005)
Homeopathie is het ideale nulveld. Er bestaat behoorlijk wat literatuur over het effect van homeopathische middelen, en daarin worden niet zelden positieve tot zeer positieve effecten gerapporteerd. Terwijl er toch – tenzij men gelooft in onstoffelijke levenskracht en onzichtbare geest die in alle materie verborgen zit – geen enkele reden is aan te nemen dat oneindige verdunningen van al dan niet actieve ingrediënten enig effect op enige aandoening kunnen hebben. Elk resultaat in het homeopathieonderzoek is het resultaat van bias -en dat biedt een mooie gelegenheid om te bepalen hoe groot die bias is. Dat zegt meteen iets over het risico van bias in ‘niet-nulvelden’: ook daar kunnen positieve resultaten immers (deels) het gevolg zijn van bias. Maar hoe groot is het effect van bias als er geen ander effect is? Valt er een cijfer aan te hangen? Matthew Sigurdson, doctoraalstudent van Ioannidis op de Stanforduniversiteit, vatte de koe bij de horens — en het leidde meteen tot een publicatie in de gewichtige Journal of Clinical Epidemiology (online 1 februari): ‘Homeopathy can offer empirical insights on treatment effects in a null field’.
Meta-analyses
Uit Pubmed, het internet-bestand waarin vrijwel alle medische onderzoeken worden verzameld, haalde Sigurdson allereerst dertien meta-analyses van homeopathische behandelingen (dus onderzoeken waarin bestaand onderzoek wordt samengevoegd en opnieuw geanalyseerd), en pikte daaruit vijftig gerandomiseerde, placebogecontroleerde trials voor nader onderzoek. Zo hoopte hij een redelijke afspiegeling te krijgen van de beste, meest invloedrijke studies in het veld.
Vervolgens was het nog een hele klus om uit die vijftig studies de goede gegevens te halen. Hij was op zoek naar effectgroottes (kortweg het verschil in gemiddelde verbetering tussen de behandelde groep en de placebogroep, wat statistici Hedges’ g noemen), maar hij moest nog heel wat foute berekeningen en redeneringen corrigeren voor hij alles voldoende op een rij had om de analyse te doen.
Daarnaast bekeek hij, meer voor de lol, nog ruim honderd andere variabelen die misschien van invloed zouden kunnen zijn op de resultaten, zoals de kwaliteit van het tijdschrift, het aantal publicaties van de auteurs, hun h-index (als maat voor hun invloed) en of de auteurs in de samenvatting de resultaten waarheidsgetrouw hadden samengevat.
‘Vrij aanzienlijk’
Na veel tellen en rekenen kwam Sigurdson ten slotte uit op een ‘vrij aanzienlijk’ effect van g = 0,36, met een 95%-betrouwbaarheidsinterval van 0,21 tot 0,51: ‘voldoende bias om een totaalresultaat te produceren dat significant van placebo verschilt’. Als het om het intelligentiequotiënt zou gaan, zou homeopathie leiden tot een verbetering van de intelligentie met 5,4 punten, een klein, maar niet te versmaden effect. Het is ook het verschil in gemiddelde lengte tussen veertienjarige en vijftienjarige Nederlandse meisjes — waarschijnlijk nog net met het blote oog zichtbaar.
Men zou het verschil ook anders kunnen uitdrukken: homeopathie heeft gemiddeld een tweemaal zo groot effect als placebo, als we deze doorsnee uit de gerandomiseerde placebogecontroleerde trials mogen geloven. En dat voor onderzoeken waaruit theoretisch in het geheel niets zou horen te komen.
Positieve effecten
Sigurdson somt nog wat andere bevindingen op. Van de 50 studies vonden 40 een positief effect voor homeopathie, 9 een positief effect voor placebo, en 1 precies geen effect. Van de positieve studies hadden 17 een significant resultaat, van de negatieve 2. Een paar studies noemden hun resultaat in de samenvatting significant terwijl het dat duidelijk niet was.
De homeopathische interventies verschilden sterk, van behandeling van bijwerkingen van kankertherapie tot psychiatrie; bij 21 studies werd gezegd dat de behandeling ‘geïndividualiseerd’ was — homeopaten beweren dat de keuze voor behandeling moet worden afgestemd op de patiënt. De meeste studies werden gepubliceerd in betrekkelijk onbeduidende tijdschriften, maar toch ook drie in de BMJ en drie in The Lancet. De meeste auteurs bleken veelschrijvers, maar het aantal keren dat de studies werden geciteerd, was ‘bescheiden’.
In 25 studies vond Sigurdson evidente fouten, zoals het meten van alleen het verschil tussen de begin- en eindtoestand van de homeopathiegroep zonder die te vergelijken met de controlegroep, of melden dat het resultaat significant was omdat de homeopathiegroep wel significant verbeterde en de controlegroep niet.
Een archetypisch nulveld als homeopathie levert, kortom, een gemiddelde effectgrootte van 0,36 standaardafwijking op — dit is hier kennelijk het gemiddelde effect van bias. De gerandomiseerde trial wordt beschouwd als de strakst mogelijke onderzoeksopzet, dus in minder rigoureuze methodes, zoals observationeel onderzoek, zal het biaseffect nog groter zijn. En andere onderzoeksterreinen zullen andere nulvelden hebben.
Misvatting
Het is dan ook, zegt Sigurdson in navolging van zijn leermeester, een misvatting te denken dat een behandeling die geen effect heeft, ook zal leiden tot een nulbevinding, en andersom. In evidente nulvelden zoals de alternatieve geneeskunde, maar ook in minder evidente — Ioannidis’ stokpaardje is de voedingswetenschap — moet er rekening mee worden gehouden: een trial met een klein effect zou zomaar een trial met een nuleffect kunnen zijn.
HELEMAAL origineel is het onderzoek van Sigurdson en Ioannidis niet. Al in 2005 benaderde een groep Zwitserse en Engelse onderzoekers het probleem eveneens, zij het van een iets andere kant.
Zij verzamelden uit PubMed en alle mogelijke andere databases 110 homeopathietrials en zochten daarbij 110 vergelijkbare trials met ‘conventionele’ therapie, voor aandoeningen van luchtweginfecties tot chirurgie en anesthesiologie. De effecten van behandelingen waren goed vergelijkbaar, en ook de grootte van de studies stemde, met rond de 65 deelnemers, redelijk overeen (de kleinste had 10, de grootste 1573 deelnemers). Vrijwel alle conventionele studies waren in Engelstalige bladen gepubliceerd, amper de helft van de homeopathische (die zochten hun heil meer in Duitse en Franse tijdschriften). Ruim tweemaal zoveel homeopathische trials waren van hoge kwaliteit dan conventionele: 19 tegen 8 procent.
Zoals gewoonlijk waren de gerapporteerde effecten groter naarmate een studie kleiner was, zowel in de homeopathische als de conventionele trials — een bekend probleem: in kleine studies is de kans op uitschieters groter dan in grote. Duitse en Franse trials hadden daarnaast meer succes dan in het Engels gepubliceerde trials, evenals trials die niet in PubMed maar in andere databestanden werden gevonden. Belangrijker: in een directe vergelijking lieten de acht grootste, goed opgezette studies met homeopathie amper nog enig effect zien (ongeveer 0,07 standaardafwijkingen), maar de zes beste met conventionele geneeskunde nog altijd ongeveer 0,3 standaardafwijkingen. Met alleen de allergrootste trials smolt het effect van homeopathie geheel weg — homeopathie was niet anders dan het placebo-effect en een onduidelijke verzameling biases.
De redactie van The Lancet noemde de studie ‘het einde van de homeopathie’, maar dat was, eveneens zoals gewoonlijk, te vroeg gejuicht.
A. Shang, K. Huwiler-Müntener, …, M. Egger: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet 2005;366:726.
