Acupunctuur-promotie
Omstreden proefschrift over acupunctuur in de psychiatrie
door Jan Willem Nienhuys – Skepter 28.2 (2015)
Het proefschrift van Peggy Bosch, getiteld Needles on the couch, gaat hoofdzakelijk over de behandeling van slaapproblemen bij depressie en schizofrenie. [1] Vermoeidheid en slaapproblemen zijn onderdeel van de diagnose ‘depressie’, dus het is op zich niet raar om een behandeling daarop te richten. Maar bij lezing van het werk valt men van de ene verbazing in de andere.
DAT begint al in de eerste alinea van het eerste hoofdstuk, waar de reguliere behandeling van psychiatrische patiënten wordt besproken. ‘Wat betreft de effectiviteit van hun behandeling vond Jensen (1990) dat patiënten ontevreden waren.’ Maar Jensen (1990) blijkt patiënten met psoriasis en constitutioneel eczeem te hebben gevraagd waarom ze naar een alternatieve genezer waren gegaan. Psoriasis is geen psychiatrie (en weglopers naar hun motieven vragen is hoe dan ook niet de goede manier om effectiviteit te beoordelen). Tot driemaal toe verwijst ze in deze alinea naar Jensen (1990), dus van een ongelukje kan haast geen sprake zijn.
Verderop in de inleiding wacht de lezer de volgende verrassing. Daar wordt in dodelijke ernst allerhande bijgeloof opgelepeld. De vier lichaamssappen van de oude Griekse geneeskunde, de vijf Chinese elementen hout, vuur, aarde, metaal, water, en de meridianen waardoor levenskracht stroomt, ze komen allemaal voorbij. Ter verdediging kan worden aangevoerd dat de promotie plaatsvindt in de Nijmeegse faculteit van de Sociale Wetenschappen, daar geeft medische onzin niet zo.
Als de lezer bekomen is van de schrik (of van een onbedaarlijke lachbui) en de inleiding vervolgt, dan arriveert die bij een discussie over acupunctuuronderzoek. De auteur vindt dat het niet duidelijk is of nep-acupunctuur (met niet-doorborende naalden, of met tandenstokers, of met gewone naalden op punten die geen goed acupunctuurpunt zijn of met elektrische prikkels) wel het goede placebo is. Sommige van die nep zou wel eens kunnen werken, en helemaal dubbelblind krijg je het ook niet.
De volgende hoofdstukken zijn allemaal weergaves van in tijdschriften gepubliceerde of althans geaccepteerde artikelen, hoofdstukken 2 tot en met 7 allemaal met haar promotores, Gilles van Luijtelaar en Ton Coenen als mede-auteurs. Ook staat professor Sabine Lim uit Seoul in de auteurslijst van al deze hoofdstukken.
Hoofdstukken 2 en 3 gaan in het geheel niet over acupunctuur maar over het nut van vragenlijsten. Pas in hoofdstukken 4 en 5 begint het echt.
Luie stoel
En daar vergaat je pas echt de lust tot verder lezen. Om het effect van acupunctuur op slaapproblemen te meten nam ze 16 schizofreniepatiënten en 16 depressieve patiënten, en 8 gezonde controles. De patiëntgroepen werden in tweeën gedeeld. De behandelgroep moest een vragenlijst invullen en daarna twaalf weken lang een uur per week op een luie stoel liggen met een zacht muziekje van Enya, wat naalden in het lijf en het gezelschap van een stel medepatiënten en twee acupuncturisten. De andere groep moest ook een vragenlijst invullen, maar kreeg te horen dat ze pas na drie maanden aan de beurt waren (of ze dat hoorden voor of na het invullen van de vragenlijst wordt niet vermeld). Verder werden ze aan hun lot overgelaten.
Geen enkele poging heeft Bosch gedaan om de controlegroep iets vergelijkbaars aan te bieden minus de naalden, massage bijvoorbeeld, of gewoon op een luie stoel met een muziekje en een drankje wat kletsen met een interessante Oosterse genezer of genezeres. Mogelijkheden te over. Dit is des erger omdat zowel depressie als slapeloosheid behoorlijk gevoelig zijn voor placebo-effecten. Om het effect van zo’n behandeling goed te meten, moeten de groepen in zoveel mogelijk opzichten gelijk zijn, met uitzondering van de behandeling.
Voor de zekerheid: alle patiënten bleven op hun gebruikelijke zorg en medicatie.
Belabberd
In 1989 publiceerde de groep van Ter Riet, Kleijnen en Knipschild in Maastricht een serie meta-analyses over de effectiviteit van acupunctuur. [2] De onderzoekers hadden een methode ontwikkeld om de kwaliteit van publicaties in een cijfer uit te drukken. Zo gaven ze maximaal 11 punten voor goede vergelijkbaarheid van groepen, inclusief randomisatie, 15 punten voor behoorlijke effectmeting inclusief blindering en follow-up en nog 14 punten voor overige kwaliteitsaspecten, samen 40 punten. Ze rekenden erg mild, en gaven dat ruiterlijk toe.
Ik heb het proefschrift van Bosch langs die meetlat gelegd, en kom voor hoofdstuk 4 op 15 punten in totaal. Hoofdstuk 5 is nog belabberder: 7 punten. In proefwerkcijfers krijgt Bosch dus een 4 en een 2. Het verschil komt gedeeltelijk doordat in hoofdstuk 4 wordt vermeld dat de personen die de betrokkenen een test afnamen (lees: een vragenlijst lieten invullen) niet wisten in welke groep de deelnemers zaten. Daarmee verdiende dit onderzoek 3 punten voor ‘blindering van de beoordelaar’.
Bosch wekt de indruk dat uit dit onderzoek blijkt dat acupunctuur wel iets doet bij depressie, maar het kan natuurlijk ook de luie stoel zijn geweest, of de muziek of het uiterlijk van de acupuncturist. In de inleiding had ze al benadrukt dat ze zich keurig aan richtlijnen uit 2010 had gehouden door te zorgen dat de patiënten ‘worden behandeld door een Oosterse medicus’. Wat ook heel goed kan, is dat de patiënten wisten wat er van ze verwacht werd, en de tweede keer bij het invullen van de vragenlijst de ernst van hun slaapproblemen wat lager hebben ingeschat.
Wat statistiek
Laten we desondanks eens proberen de uitkomsten van dit hoofdstuk serieus te nemen en haar statistiek na te lopen. In tabel 5 zien we dat de score voor de ernst van de slaapproblemen in de depressieve acupunctuurgroep gemiddeld met 1,62 punten zakte (van 8,50 naar 6,88), en bij de wachtlijstgroep met 0,63 punten (van 9,63 naar 9,00). Is dat veel of weinig?
Die gemiddelden zijn niet erg precies, want er was nogal wat variatie in de ernst van de slaapproblemen. Ik reken terug, voor zover dat op grond van haar cijfers mogelijk is, dat het zogeheten 95%-betrouwbaarheidsinterval dat bij die schatting van 1,62 hoort, loopt van –1,5 tot 4,5, en het 95%-betrouwbaarheidsinterval bij wachtlijst-acupunctuur loopt van –4 tot 6. Dat komt door dat absurd lage aantal proefpersonen in beide groepen. Bij dit soort experimenten neem je doorgaans de groepen flink groot om te zorgen dat de onzekerheid in het groepsgemiddelde ruim onder het te verwachten effect ligt. Nou weet je, zeker bij onderzoek naar alternatieve methoden, helemaal niets over het te verwachten effect. Dan let je op een effect dat de moeite waard is, deftig gezegd een klinisch relevant effect. Maar in dit geval lijkt zelfs van statistische significantie geen sprake te zijn. Je kon trouwens van tevoren op je vingers natellen dat het helemaal onmogelijk was om iets zinnigs te vinden met zulke kleine groepen. (Overigens, de slaapschaal loopt van 0 tot 21, dus de effecten waren sowieso minuscuul.)
Toch staat er dat de slaapproblemen in de depressie-acupunctuurgroep hogelijk significant verminderd waren, p = 0,003. Hoe kan dat?
Het moet haast wel dat de auteur per patiënt gekeken heeft naar de verandering in score. Dat significante effect kan statistisch alleen ontstaan als iedereen aangeeft (misschien om de onderzoekster te plezieren) net een paar puntjes beter te slapen — niemand lijkt er echt fors op vooruitgegaan.
Maar of ze het zo gedaan heeft, zegt ze niet, en data geeft ze niet. Ze besteedt wel vijf hele pagina’s aan een tabel waaruit valt af te lezen hoe vaak elke patiënt op elk der 73 gebruikte acupunctuurpunten geprikt is, maar enige ruimte om de ruwe data te vermelden, dat vonden de schrijvers van het artikel niet de moeite waard. Dat geeft een boete van 3 punten op de lijst van Ter Riet, Kleijnen en Knipschild.
Bij zo’n onderzoek gebruik je doorgaans de controlegroep om het verschil met de behandelgroep te evalueren. Maar hier wordt alleen maar gekeken naar voor en na, zonder vergelijking met de controlegroep. Waarom er dan überhaupt een controlegroep is gevormd, blijft raadselachtig.
Gewoon stom toeval
Dezelfde tabel bevat nog 31 andere p-waarden, waaronder vier significante, allemaal bij de schizofrenie-acupunctuurgroep. De auteur concludeert daaruit dat de schizofreniegroep kennelijk meer had aan acupunctuur dan de depressiegroep, maar dat is onjuist, dan had ze iets aan het verschil tussen die groepen moeten uitrekenen en dat doet ze niet.
Trouwens, bij die schizofreniegroep is nog meer raars aan de hand. Van de 16 deelnemers slikten er 5 pillen voor hun slaapproblemen. Héél toevallig zaten ze allemaal in de acupunctuurgroep. Je kunt uitrekenen wat de kans is dat zoiets gebeurt, aangenomen dat het gewoon stom toeval is. Die kans is 1,3%. Dat is dus, zou je kunnen zeggen, statistisch significant. Kennelijk veroorzaakt acupunctuur soms met terugwerkende kracht dat je slaappillen moet innemen. Als u nu protesteert dat dit onzin is, heeft u gelijk. Maar zoiets kun je van de wél gerapporteerde p-waarden ook stellen. De proef was er niet op gericht om uitsluitend een claim te onderzoeken over het effect van acupunctuur op, zeg, moeilijk in slaap vallen bij schizofrene patiënten, en waar geen hypotheses worden getoetst, hebben p-waarden geen betekenis.
Slaapdagboek
Het enige lichtpuntje van hoofdstuk 5 is dat daar met meer proefpersonen wordt gewerkt, ongeveer 20 in plaats van 8 per groep. Nog veel te weinig, maar vooruit. Maar nu wordt de toestand van de patiënten gemeten door ze twee weken lang tweemaal daags een slaapdagboek te laten invullen. De patiënten hadden hier duidelijk geen zin in. Het artikel is bijzonder vaag over het verloop.
Van de 40 depressieve patiënten hadden er aan het begin van de proef maar 28 hun dagboek ingevuld, en bij de schizofreniepatiënten waren het er 20. De auteur noemt de uitkomsten van deze beginmeting ‘primaire uitkomstmaten’. Zou ze niet weten wat een uitkomstmaat is?
Een nadere uitsplitsing naar behandelgroep en wachtlijstgroep geeft ze niet. Aan het eind van de rit zijn de cijfers 18 (8 in de wachtlijstgroep) en 9 (3 in de wachtlijstgroep). Dus van de 80 patiënten liepen er 53, dat is 66 procent, weg. De proef is dus, in gewonemensentaal, mislukt.
Bosch gaat er niettemin mee aan de slag. Aan de gegevens is zelfs niet de illusie van enig effect te ontlenen. Als de score voor ‘ontspannende slaap’ van 2,37 gewoon 2,37 blijft en de auteur weet dat dan toch als ‘een significant behandeleffect’ te betitelen, dan hoeven we de opengetrokken statistische trukendoos niet meer serieus te nemen, zelfs al zijn er vier heuse professors medeauteur.
Systematische review
Het proefschrift bevat nog veel meer waar commentaar op valt te leveren. Als u last hebt van depressie of schizofrenie, verbeteren twaalf weken acupunctuur uw kortetermijngeheugen niet. Tjonge.
Het laatste hoofdstuk heet parmantig een ‘systematische review’ van de literatuur over acupunctuur bij schizofrenie en depressie. Bij een review horen de besproken artikelen op de pijnbank van de kwaliteitscontrole te gaan. Hier niet, het is gewoon een kritiekloze opsomming van bijeengesprokkelde stukken.
Misschien valt de jonge doctor niets te verwijten. Zoals gezegd, haar promotores zijn medeauteurs en dus medeverantwoordelijk voor al deze flauwekul. Dat alternatieve tijdschriften hoofdstukken 4 en 5 accepteren, is niet zo verwonderlijk. Als minstens drie auteurs hooggeleerd zijn, dan zal het wel kloppen, zal men gedacht hebben. Aan de andere kant, iemand die meer dan tachtig publicaties in tijdschriften met wetenschappelijke pretenties op haar naam heeft staan, en die zelfs ‘peer reviewer’ is voor enkele daarvan, zou langzamerhand wel horen te weten hoe je wetenschap doet. Als ze het nu nog niet weet, komt het nooit meer goed.
Met dank aan Pepijn van Erp en Michiel Hengeveld.
Hoe de publiciteit en de promotie verder verliepen, is te lezen op Kloptdatwel:
Acupunctuurpromotie RU: niet meer dan placebo-effect volgens promotor Coenen
Noten
1. Needles on the couch: acupuncture in the treatment of depression, schizophrenia and sleep disorders, Bosch M.P.C., Donders Graduate School for Cognitive Neuroscience Series ; 192 (2015)
2. Effectiviteit van alternatieve geneeswijzen, Kleijnen: een literatuuronderzoek, Kleijnen J., Ter Riet G. en Knipschild P., Rijksuniversiteit Limburg (1993)
Uit: Skepter 28.2 (2015)
titelafbeelding: adventtr | istockphoto.com
