Een frisse douche is goed voor je immuunsysteem. Dat zou de uitkomst zijn van een onderzoek waar Wim Hof-adepten maar al te graag mee zwaaien. Helaas voor hen blijkt deze studie van bijna tien jaar geleden behoorlijk te rammelen.
door Adriaan ter Braack- Skepter 37.2 (2024)
SOMS zijn fabeltjes hardnekkig omdat mensen simpelweg niet in de wetenschap willen geloven. Soms zijn ze juist hardnekkig omdat de wetenschap volop aan het misverstand bijdraagt. Zo wordt nog altijd beweerd dat koud douchen wonderen doet voor je immuunsysteem. Een vaak aangehaald onderzoek daarbij is een wetenschappelijk artikel uit 2016 naar koud douchen, van het Amsterdam Medisch Centrum (AMC, nu Amsterdam UMC). De conclusie: koud afdouchen zou het ziekteverzuim met 29 procent verlagen.
De studie in kwestie is peer reviewed en gepubliceerd in PLOS ONE, een prima biologisch tijdschrift. Vervolgens heeft het onderzoek een niet te onderschatten impact gehad op het debat over de gezondheidsvoordelen van blootstelling aan kou en, in het verlengde daarvan, over de Wim Hof-methode.
Bijna tien jaar na publicatie wordt de studie nog regelmatig aangehaald om de effecten van koudetherapie te onderschrijven, zowel in nationale media, zoals Quest en RTL Nieuws, als in internationale media, zoals de New York Post en de Daily Mail.
Toch rammelt het aan alle kanten.
Uitval
‘Daar komt bij dat de
proefpersonen zichzelf moesten
aanmelden; dat maakt het risico
op het placebo-effect een stuk
groter,
Het onderzoek zat als volgt in elkaar. Drieduizend deelnemers, die zich online konden aanmelden, werden opgedeeld in vier groepen. De ene groep douchte een maand lang dagelijks 30 seconden koud af, de andere 60 seconden, de derde groep 90 seconden. (Deze drie groepen vormen samen de zogeheten interventiegroep.) De vierde groep, de controlegroep, douchte niet koud af.
Dit deden ze een maand lang, waarbij ze 90 dagen lang, dus tot 60 dagen na het koude douchen, vragenlijsten invulden over hun gesteldheid en hun ziekteverzuim. De conclusie is opmerkelijk: bij de interventiegroep was het ziekteverzuim 29 procent lager. Er werd echter geen verschil gevonden in het aantal dagen dat de deelnemers zich daadwerkelijk ziek voelden.
Ik werd benaderd door econoom Joop Adema, die al twee jaar probeert deze publicatie teruggetrokken te krijgen. PLOS ONE reageert niet meer op zijn mails. Vervolgens benaderde ik zelf hoofdauteur Geert Buijze, inmiddels orthopedisch chirurg aan de Clinique Générale Annecy in Frankrijk. Die reageerde op geen enkel bericht. Wat is hier aan de hand?
Eric-Jan Wagenmakers, hoogleraar methodologie aan de Universiteit van Amsterdam en voorzitter van Skepsis, vertelt dat hij het onderzoek regelmatig aanhaalt in zijn colleges als voorbeeld van een slecht uitgevoerd onderzoek. Wat Wagenmakers met name stoort, is de zogeheten uitvalsbias: een groot deel van de interventiegroep viel af. Het kan zijn dat deze mensen ziek zijn geworden en daarom zijn gestopt met het programma. Die zijn dus niet meegenomen, terwijl ze essentiële datapunten hadden kunnen opleveren. ‘Als mensen ziek zijn en niet meer koud douchen, dan houd je alleen de gezonde over. Dat is een fundamenteel probleem dat het onderzoek onderuithaalt.’
Uitschieters
Dat is bepaald niet het enige wat eraan schort. Zo is er behoorlijk wat mis met de data. In een tabel in het artikel staan bijvoorbeeld 2426 deelnemers die, verdeeld over alle vier de groepen, aan het einde van de rit zijn overgebleven. Kijken we naar hoe de resultaten in een computerprogramma zijn verwerkt, dan blijkt echter dat de onderzoekers 2220 proefpersonen hebben meegenomen; zo’n 10 procent minder.
Honderden proefpersonen gaven bovendien na 30 dagen een hoger totaal aan ziektedagen op dan na 90 dagen, wat natuurlijk onmogelijk is; het totale aantal ziektedagen kan immers niet afnemen. In het geval van ‘aantal dagen ziek voelen’ is die afname zelfs ruim 20 procent. Als je voor deze datapunten het aantal dagen verzuim na 90 dagen gelijkstelt aan het aantal na 30 dagen, heeft dat een flinke impact op het eindresultaat: 19 procent minder ziekteverzuim in plaats van 29 procent, met een pwaarde van 0,04 in plaats van 0,003. Daarmee komt het resultaat ineens behoorlijk dicht in de buurt van een p-waarde van 0,05, waarbij je het niet meer statistisch significant zou mogen noemen.
De onderzoekers kozen voor een zogeheten negative-binominalregression-model. Dit specifieke statistische model is op zich een logische keuze gezien de aard van de data. Wel is het bijzonder gevoelig voor extremen. Ook lijkt het erop dat het model in dit geval de statistische onzekerheid onderschat. Om te illustreren hoe gevoelig dit model is voor uitschieters: als we de twee personen met het hoogste ziekteverzuim uit de controlegroep verwijderen, hebben de resultaten een p-waarde van 0,05 en zijn ze dus niet meer significant. Als we – puur ter illustratie – deze individuen aan de interventiegroep toevoegen, zijn de resultaten zelfs volkomen onbeduidend.
Placebo en nocebo
In het licht van de bovengenoemde problemen met de data is dat zorgelijk. Er ontbreekt van alles en sommige datapunten kloppen simpelweg niet. En van de vier groepen had juist de controlegroep bijzonder veel pech wat betreft statistische uitschieters: in die groep zaten zes van de tien werknemers die gedurende een periode van negentig dagen het meest afwezig waren op het werk. Daar komt bij dat de proefpersonen zichzelf moesten aanmelden; dat maakt het risico op het placebo-effect een stuk groter. Daarnaast kan het nocebo-effect een rol hebben gespeeld. Een enthousiaste Wim Hofadept die in de controlegroep terecht was gekomen, zal vast en zeker teleurgesteld zijn geweest.
Wat ook de skeptische wenkbrauwen doet fronsen, is de manier waarop de conclusie is geformuleerd: A routine (hot-to-)cold shower resulted in a statistical reduction of self-reported sickness absence but not illness days in adults without severe comorbidity. Ofwel, koud douchen resulteert in minder ziekteverzuim. Maar dit impliceert oorzaak en gevolg, terwijl het vooralsnog om een associatie gaat. Nergens in het onderzoek wordt besproken waaróm koud douchen zo’n impact heeft op het ziekteverzuim. Ook staat nergens vermeld waarom er geen significant verschil was in hoe ziek de proefpersonen zich daadwerkelijk voelden. Deze twee conclusies worden naast elkaar gezet en vooral de eerste wordt uitvergroot, terwijl ze elkaar gevoelsmatig juist tegenspreken. Een onderliggend biologisch mechanisme zou moeten verklaren waarom mensen door koud afdouchen zich minder vaak ziekmelden, terwijl ze zich niet minder ziek vóélen. De gebruikelijke hosanna-verklaring rondom de Wim Hof Methode, namelijk ‘kou boost het immuunsysteem’, gaat dan niet op.
Bestaande relatie
‘Ze vertelden over hoe ze samen
de Kilimanjaro beklommen,
omdat kou, volgens Hof,
wonderen doet voor het
immuunsysteem en zo allerlei
kwaaltjes zou kunnen genezen’
De auteurs laten tot slot conflicterende belangen onvermeld. Zij gaven namelijk aan geen patenten, producten in ontwikkeling of op de markt gebrachte producten te hebben die tot belangenverstrengeling zouden kunnen leiden. Maar het gevonden effect is geëxploiteerd door een bedrijf genaamd ice.club. Dat bood een onlineprogramma aan voor koud douchen en stuurde ten tijde van publicatie van het onderzoek een persbericht uit. Op de website waar mensen zich voor het experiment konden aanmelden, stond ook een link naar ice.club. De eigenaar van dit bedrijf, Linda Koeman, destijds al Wim Hof-coach, was betrokken bij het onderzoeksteam. Ze is geen coauteur, maar wordt wel genoemd in het dankwoord en in een aanvullend document als logistiek bijdrager. In het kader van transparantie had ook zij moeten worden vermeld in de belangenverklaring. Iemand anders die wordt genoemd in dat document is Koen de Jong. Hij heeft meegeschreven aan het in 2015 verschenen boek Koud kunstje van Wim Hof en wordt genoemd als een van de auteurs van het onderzoeksprotocol (voor een bespreking van het boek, zie Skepter 28.1).
Daarbij blijkt uit eerdere mediaoptredens van hoofdauteur Buijze en Wim Hof dat zij er een nauwe samenwerking op nahielden. Zo verschenen ze in 2014 al gezamenlijk in de talkshow Pauw & Witteman met een aantal ernstig zieke patiënten. Ze vertelden over hoe ze samen de Kilimanjaro beklommen, omdat kou, volgens Hof, wonderen doet voor het immuunsysteem en zo allerlei kwaaltjes zou kunnen genezen. Buijze zegt in dit item dat het bij de methode van Wim Hof niet gaat om genezen, maar om de patiënten zich beter en energieker te laten voelen.
IJskoud kunstje
Kortom, de opzet rammelt, de uitvoering rammelt, de data rammelen en de conclusie rammelt. Hoe kwam dit door de peer review heen? Wagenmakers: ‘Soms letten reviewers gewoon niet goed op of zijn auteurs volhardend.’ Zouden wij sceptici ons dan niet hard moeten maken om het onderzoek terug te laten trekken? Dat zal volgens de methodoloog ook weinig uithalen. Niet omdat het onderzoek daar niet overrijp voor zou zijn, maar vooral omdat je dan heel veel andere studies ook moet herroepen. De verwoede pogingen van Adema bevestigen dat idee. En dus staat een onderzoek dat van geen kant deugt al bijna een decennium vrolijk online en wordt het continu aangehaald in discussies over de Wim Hof-methode. Zo blijkt maar weer: misbruik maken van de wetenschap is een ijskoud kunstje.
Adriaan ter Braack is wetenschapsjournalist en online bekend als ‘Sjamadriaan’.
Literatuur:
G.A. Buijze GA, I.N. Sierevelt, …, M.H.W. Frings-Dresen. The Effect of Cold Showering on Health and Work: A Randomized Controlled Trial. PLOS ONE 2016;11(9): e0161749
