Shang en anderen vergeleken de kwaliteit van het homeopathisch onderzoek met dat van regulier onderzoek. Ze richten zich speciaal op acht artikelen die in hun ogen de allerbeste waren op het gebied van homeopathie. Bij nader inzien is het een treurig zootje, en het grootste onderzoek, van Rottey et al., is ronduit bedroevend van kwaliteit.
door Jan Willem Nienhuys (20/02/2011)
HET artikel richtte zich op de mening van Kleijnen et al. (1991) dat in de gewone geneeskunde er net zo goed rotzooi wordt gepubliceerd als in de homeopathie. Deze mening is deel van een lang betoog met veel vraagtekens dat uitmondt in een pleidooi voor een aantal grote goed geblindeerde onderzoeken. De hele passage is een reflectie van de vaag-bayesiaanse opvattingen van de auteurs.
Zij zien onderzoeken als instrumenten die de vooraf-odds van beweringen omzetten in achteraf-odds. Dat is een legitieme zienswijze als die odds (zowel vooraf als achteraf) kunnen worden opgevat als een verhouding tussen twee echte kansen. Maar wanneer die odds (verhoudingen van kans-ja tot kans-nee) niets met gewone kansen te maken hebben, slaat die zienswijze eigenlijk nergens op. Bij de homeopathie gaat het deels om puur subjectief geloof. Een geloof is nu eenmaal geen kans. Voor kansen zijn er precieze rekenregels, geloof valt niet in getallen uit te drukken. Deels ook gaat het om een echte kans, namelijk dat de natuurwetenschap van de afgelopen twee eeuwen een duidelijk en makkelijk waarneembaar effect geheel over het hoofd gezien heeft, terwijl hetzelfde effect al die tijd door ontelbare homeopaten zonder enige vorm van systematisch natellen in de spreekkamer is opgemerkt. Díé kans is onvoorstelbaar klein.
Het idee van Shang et al. was een groot aantal onderzoeken van homeopathie te vergelijken met regulier onderzoek. De twee groepen leken nogal op elkaar, maar er was één verschil: de reguliere onderzoeken kwamen duidelijk veel vaker positief uit. Dat is niet verwonderlijk, want in de reguliere geneeskunde begint men niet aan een groot en duur onderzoek als er niet al een deugdelijke aanwijzing is dat de behandeling in kwestie een behoorlijk effect heeft.
In het onderzoek van Shang et al. werden acht homeopathische studies uitgekozen die van de hoogste kwaliteit waren. Ik kan hun criteria niet beoordelen, maar ik kan wel uitleggen waarom ik de studies in kwestie niet allemaal zo goed vind.
Shangs grootste paard van stal
De studie met de meeste deelnemers is de volgende:
Rottey EED, Verleye GB, Liagre RLP. Het effect van een homeopathische bereiding van microorganismen bij de preventie van griepsymptomen: een gerandomiseerd dubbel-blind onderzoek in de huisartspraktijk. Tijdschrift voor Integrale Geneeskunde 1995, vol. 11(1), p. 54-58.
In feite is dit artikel tweemaal gepubliceerd, namelijk ook in hetzelfde tijdschrift 1994, vol. 9(5), p. 200-204. De tweede keer was een herplaatsing omdat de redactie van TIG enkele onbenullige details over de aard van de gebruikte middelen verkeerd had geredigeerd.
Het inmiddels opgeheven TIG (het verschijnt nog als jaarboek) was geen gerefereerd tijdschrift. Het stond vol met baarlijke onzin over biotensors en energiestromen en dergelijke. Het is onvoorstelbaar dat een groot dubbelblind onderzoek van goede kwaliteit naar homeopathie zomaar in zo’n obscuur blad terecht komt. Het blad is in Nederland alleen in de Koninklijke Bibliotheek te Den Haag te vinden. Buiten Nederland mogelijk nog in Antwerpen, maar ik kan niet nagaan of ze daar ook jaargang 11 hebben.
De hoofdauteur Erika Rottey werkte in 1992 bij Labo Vanda / Biohorma. Het onderzochte product was dan ook een homeopathische bereiding (10 tot de macht 400 maal verdund) van diverse ziekteverwekkers die bij griep en bovensteluchtweginfecties een rol spelen. Het middel heet Mucococcinum 200K en werd gemaakt door Labo Vanda. Er zijn kennelijk geen homeopathische geneesmiddelproeven mee gedaan (ze worden in elk geval niet genoemd) en zelfs als die gedaan zouden zijn, dan zouden ze irrelevant zijn, omdat de middelen kennelijk werden uitgereikt zonder een uitvoerige homeopathische anamnese om na te gaan of het wel het meest geschikte middel (het simillimum) was. Bovendien was de proef, zoals we zullen zien, niet gericht op behandeling van ziekte, maar op preventie. De ingrediënten van dit antigriepmiddel zijn onder meer virusstammen uit de jaren 1986-1989 (hoogverdund), dus de gedachte achter het gebruik rond 1 januari 1993 is ook al hoogverdunde logica. Behalve dat er flink verdund is, is er helemaal niets homeopathisch aan.
De eindresultaten van de studie zijn indrukwekkend. De deelnemers rapporteerden hun symptomen gedurende de 12 weken dat ze het middel innamen.
placebo (250 personen)
aantal keren koorts 61, idem spierpijn 39, idem hoofdpijn 39, totaal aantal symptomen: ca. 510;
verum (251 personen)
aantal keren koorts 37, idem spierpijn 18, idem hoofdpijn 24, totaal aantal symptomen 424.
De p-waarden waren respectievelijk 0,026, 0,008, 0,077 en ca. 0,10.
Last van koorts / spierpijn / hoofdpijn hadden
placebo 50 / 34 / 33
verum 30 / 17 / 21
Er waren nog andere uitkomstmaten zoals de indruk van de geneesheer, die gaven allemaal hetzelfde beeld.
Als we het artikel wat nauwkeuriger lezen, dan zien we allerlei zorgelijke dingen staan die volkomen begrijpelijk maken dat geen enkel serieus blad zich aan publicatie gewaagd heeft, hetzij omdat het is afgewezen, hetzij omdat de auteurs zelf wel wisten dat ze het daar niet hoefden te proberen.
De blindering en verloting was volkomen in orde. De gebruikte middelen bestonden uit 12 capsules met melksuikerkorrels, zogeheten globules, in een blisterverpakking. Eenmaal per week in 12 opeenvolgende weken moesten de deelnemers zo’n capsule openbreken en de inhoud onder de tong laten smelten. Van die capsules werden er 1000 vervaardigd, verum en placebo. Deze werden goed gerandomiseerd. De indruk wordt gewekt dat men voor kuren 1 tot en met 1000 afzonderlijk met een dobbelsteen of zo bepaalde of deze verum of placebo zouden zijn, en vervolgens werd de randomisatielijst opgeborgen. Veertig Vlaamse huisartsen kregen in september 1992 elk 25 kuren, die zij moesten uitreiken aan goed voorgelichte patiënten die geen griepvaccinatie hadden gehad, tezamen met uitvoerige vragenlijsten die de patiënten moesten invullen. In april 1993 werden de ingevulde vragenlijsten weer opgehaald, elk aangevuld met artsenrapporten met daarin data van bezoeken en aard van ziektebeeld.
Alles bij elkaar was volgens de nulhypothese de proef op te vatten als een activiteit waarin bij elk van 1000 als gelijkwaardig te beschouwen patiënten afzonderlijk een munt werd opgegooid.
Wat heeft men uitgespookt?
Dat ziet er goed uit. Maar dan komt de eerste verrassing. Patiënten die het middel ‘niet correct’ hadden ingenomen of voor wie geen volledig dossier beschikbaar was, werden uitgesloten, en er bleven maar 501 over. Er is geen enkele informatie over de 499 missende kuren. Waren die niet uitgereikt? Hoeveel placebo- of verumpatiënten hadden er iets verkeerd gedaan? Was er bij de opzet van de studie geen rekening gehouden met analyse volgens ‘intention to treat’?
Bij ‘intention to treat’ analyseer je zoveel mogelijk gerandomiseerde patiënten, dus ook degenen die om de een of andere reden uitvallen. Dat is om de verdenking onmogelijk te maken dat de onderzoeker na het verbreken van de code selectief proefpersonen gaat schrappen zogenaamd omdat er iets niet zou deugen aan hun gegevens.
Verder ontbreekt ook informatie over wat en hoe de deelnemers aan het onderzoek eigenlijk moesten invullen en op welke wijzen dat gebruikt was; hetzelfde voor de gegevens die de huisartsen hadden ingevuld. Het is bijvoorbeeld nogal onduidelijk of die 61 ‘rapporteringen’ van koorts in de placebogroep slaat op dagen koorts of koortsperioden. Dat is belangrijk, want als het op perioden slaat (van elk drie dagen) dan gaat het misschien wel om 20 versus 12 (p=0,12 eenzijdig) proefpersonen die griep hebben gehad. Gezien de aantallen ‘last’ zal het wel niet zo dramatisch zijn, maar het begrip ‘last’ wordt ook maar vaag omschreven.
Of het om griep of iets dergelijks ging is ook al onduidelijk. Bij analoge onderzoeken werd ‘griep’ tenminste nog vooraf gedefinieerd als een gelijktijdig optreden van drie symptomen, waaronder niet het vage ‘koorts’, maar ‘lichaamstemperatuur boven de 38 graden rectaal’. Er was zelfs een kind van één jaar oud bij het onderzoek van Rottey et al., die heeft vast niet zelf ingevuld of die hoofdpijn had. En bij heel jonge kinderen is ‘griep’ lang niet de enige reden waarom ze koorts krijgen. Het kan ook een infectie met rino-, rota- of coronavirussen zijn. Van de rinovirussen zijn er al bijna 100 erkende soorten.
Te oordelen naar het verslag hebben de onderzoekers dus zeer veel ruimte gehad om de gegevens zo gunstig mogelijk te rangschikken, en ze laten heel veel weg dat ook maar enig inzicht geeft in wat ze eigenljk hebben uitgespookt.
Eigenlijk is de laatste zin van de inleiding veelzeggend: ‘Wegens de gerapporteerde positieve resultaten is het aangewezen deze studie te herhalen met een rigoureus dubbel blind opzet.’ Als je met 1000 kuren correct gaat loten, en het is dan nog niet rigoureus, dan ligt dat aan de eigen omgang met de gegevens.
Dokter Liagre heeft inmiddels een betrekking als huisarts in Almere aanvaard, op voorwaarde dat hij verder niets meer aan homeopathie doet (zie p. 46 in Huisarts in praktijk, augustus 2007).
Samenvattingen
Ik geef voor de volledigheid de Engelse samenvatting van de auteurs (let op het aandoenlijke flue = schoorsteenpijp):
The preventive treatment with a homeopathic solution in 200 K of micro-organisms to prevent the occurrence of flue-symptoms, had in this double-blind clinical trial performed in the winter of 1992-1993 (from September 1992 until April 1993) a positive effect. A significant difference was observed between placebo and the experimental group for the frequency and the statement of nuisance of flue-symptoms. The overal judgement by the investigator was more positive with respect tot the participants in the experimental group.
Voor zekerheid geef ik een Engelse evaluatie die de inhoud van deze bespreking weergeeft:
A double blind randomised trial for a homeopathically highly diluted preparation for the prevention of influenza was performed from September 1992 until April 1993. Altogether 501 subjects were analysed but an unknown number that may be as high as 499 were omitted from the study. No details are given about these dropouts. Although the verum group seemed to do better, the data are uninterpretable, for example it is unclear whether fever refers to fever days or fever periods. How many of the patients had influenza or even flulike symptoms or reported any kind of sickness is unknown. There seems to be no primary outcome that was defined before collection of data started. The authors report several significant outcomes, but no value can be attached to the paper as a whole.
Of je nu wel of niet sympathiseert met de bayesiaanse methode van geloof met kans verwarren, de bewering dat een homeopathisch middel werkt is dermate buitengewoon, dat een verondersteld bewijs heel goed in elkaar moet zitten, en op geen enkele manier de verdenking op zich mag laden dat er achteraf naar het antwoord is toegewerkt.
Ik kom later op de andere ‘toponderzoeken’ terug. Bij de ‘positieve’ daaronder zitten zeker nog twee onzinstukken.
Oorspronkelijk was dit artikel gepubliceerd op het (oude) Skepsis-blog en bestond de mogelijkheid om daaronder in discussie te gaan, waar geregeld uitvoerig gebruik van werd gemaakt. De discussie onder dit bericht kan de geïnteresseerde teruglezen in deze pdf (19 pagina’s).