‘Veel academisch zelfbedrog in onderzoek naar honderdplussers’

Het geheim van de gezonde honderdplusser drijft vooral op misleidende bevolkingsstatistieken en rekenfouten. En die onzin wordt nauwelijks gecorrigeerd, zegt de Australische bioloog Saul Justin Newman. Hij won onlangs de Ig Nobelprijs met zijn onderzoek naar de harde data achter opmerkelijk hoge percentages honderdvijfplussers in de wereld. ‘Er zijn duizenden artikelen over ouderdom en het lijkt in de basis allemaal troep. 

door Enith Vlooswijk – Skepter 37.4 (2024)

Talloze dieet- en zelfhulpboeken liften mee op de volgende mythe: wie stokoud wil worden, moet in een zogeheten ‘Blauwe Zone’ gaan wonen. Op idyllische plaatsen als Sardinië, Griekenland en Okinawa zouden de bewoners de dood op afstand houden met liters olijfolie, veel vis en een authentiek bestaan onder de zon. Saul Justin Newman, onderzoeker aan het University College London Centre for Longitudinal Studies, laat zien dat er iets heel anders aan de hand is: niet een voorbeeldige leefwijze, maar slechte registratiemethodes en pensioenfraude leiden tot de extreme ouderdomscijfers van deze gebieden. De beste voorspellers van een ‘uitzonderlijk lang leven’ blijken dan ook armoede, laaggeletterdheid, hoge criminaliteitscijfers en een lagere levensverwachting. Met dat inzicht won Newman onlangs de Ig Nobelprijs, een internationale prijs voor onderzoek dat in eerste instantie op de lachspieren werkt, maar vervolgens best nuttig blijkt te zijn. Newman is inmiddels al jaren datadetective in de demografie. De meeste studies naar 105-plussers, zo ontdekte hij, zijn gebaseerd op grote hoeveelheden demografische nepdata. 

Bevolkingsstatieken liggen uit de richting voor een bioloog. Hoe kwam u terecht bij dit onderwerp?

‘Een collega wees me op een dag op een artikel in Nature, omdat hij dacht dat ik daar wel in geïnteresseerd zou zijn. Mijn proefschrift ging over de evolutie van verwantschap en levensverwachting, waarna ik ben overgestapt naar de plantenkunde. Ik zag meteen dat het Nature-artikel broddelwerk was. Het was het slechtste, meest incompetente artikel dat ik ooit had gezien.’ Het onderzoek was een publicatie uit 2016 waarin Amerikaanse genetici betogen dat er een harde grens is aan de leeftijd die de mens kan bereiken.

Wat was er zo slecht aan?

‘De bewijsmethode rammelde aan alle kanten. Er was een kolom met daarin kansen om een bepaalde leeftijd te bereiken. Bij extreme leeftijden gaat die uiteraard richting de nul. Ze hadden al hun data naar nul afgerond en gezegd: het verandert niet veel in de loop van de tijd, dus onze levensverwachting op oudere leeftijd wordt niet beter. Op een zeker moment hebben ze ook de verkeerde tabel gedownload, per ongeluk alle sterfgevallen van mei en juni verwijderd, en het vervolgens op de verkeerde assen uitgezet.’

Toen u met collega’s de berekening overdeed en die publiceerde, vond u dat er reden genoeg was dat het artikel werd teruggetrokken.

‘Na ons verschenen er nog vijf artikelen die zeiden dat het onzin was, maar het artikel is nog steeds niet ingetrokken.’ Dat was nog maar het begin. Twee jaar na het Nature-artikel verscheen in Science een ander artikel over levensduur. En daar zag Newman een andere fout in. 

Wat was daar het probleem van?

‘Dit artikel was veel erger. Niet vanwege incompetentie, maar door iets anders.’ De Italiaanse auteurs, zegt Newman, meenden te hebben bewezen dat de menselijke levensduur juist potentieel oneindig is. Dat kwam allemaal door één aanname, ontdekte Newman: het risico op de dood bij stokoude mensen zou constant even hoog zijn. De dobbelsteen nekt uiteindelijk iedereen, maar in theorie kan iemand bij elke dobbelsteenworp de dans dus ontspringen.

Dat lijkt me niet realistisch.

‘Nee. Alsof je elke vier maanden Russische roulette speelt. Ze hadden alle Italianen boven de 105 jaar genomen en in hun model gestopt. Maar het model was erg vreemd, want middelbare leeftijd definieerden ze als 65 tot 80 jaar. Als je die cijfers verandert volgens de gebruikelijke definitie van middelbare leeftijd, verdwijnt het resultaat volledig. Het is wel duidelijk waarom ze die vreemde definitie hanteerden.’ 


‘Na je negentigste
wordt roken op
magische wijze
gezond voor je’

Het artikel dat hem de Ig Nobelprijs opleverde, bevat niet alleen een debunk van de genoemde artikelen. Met berekeningen toonde hij aan dat het plateau aan maximale ouderdom ook ontstaat als de leeftijdsregistratie in één op de tienduizend gevallen niet klopt. Tachtig procent van de variatie in het plateau blijkt verklaarbaar met de ontbrekende geboortecertificaten in een populatie. ‘We hebben decennialang naar een foute verdeling zitten staren’, zegt Newman.

Hoe reageerden de wetenschappers op de kritiek?

‘Ze zeiden: iedereen wéét dat er sprake is van zo’n plateau. Want als het klopt wat je zegt, zou dat impliceren dat alle gegevens over 110-plussers in de wereld rommel zijn, statistische onzin. Dat leek ze nogal onwaarschijnlijk. Maar ik zei: ok., laten we dat dan eens testen.’ Daar is hij nu mee bezig. Sindsdien, zegt de Australiër, stuit hij op het ene na het andere geval van ‘academisch zelfbedrog’. Er lijkt dus wel degelijk van alles mis te zijn. De meeste studies naar 105-plussers, zo ontdekte hij, zijn gebaseerd op grote hoeveelheden demografische nepdata. ‘Als je ook maar met enige scepsis krabt aan het oppervlak van die databases, valt alles in duigen.’

Over de Blue Zones bent u enorm sceptisch. U schrijft dat de financiele crisis een opvallend en abrupt einde aan het hoge percentage honderdplussers in de Blue Zones van Griekenland maakte. Hoe kan dat?

‘Na de crisis dwong Duitsland de Grieken om hun overheidsfinanciën te herzien. Toen ze op zoek gingen naar mensen over de honderd, ontdekten ze dat minimaal 72 procent van de 9000 honderdplussers niet meer leefde. Het kwam neer op enorme pensioenfraude.’
Pensioenfraude verklaart mogelijk ook de vele honderdplussers in Japan. Newman stuitte op een overheidsrapport uit 2010, waarin bleek dat 82 procent van de honderdplussers in heel Japan al overleden was. Met name op het eiland Okinawa gebeuren wonderlijke dingen. Als verklaring voor de honderdplussers daar halen wetenschappers al enige tijd hun gezonde eetgewoonten als viseters aan, maar ook dat valt in de praktijk tegen. De Japanse overheid houdt de eetgewoonten van haar burgers namelijk al sinds 1948 uitzonderlijk goed bij en die van de Okinawabewoners sinds 1975. Wat blijkt: al sinds jaar en dag zijn de bewoners van Okinawa de vetste van het land. Hetzelfde geldt voor rookpercentages. Die worden hoger vanaf negentig jaar. In 2010 ontdekte de Japanse overheid massale pensioenfraude op de eilanden. Newman: ‘Dus of er is een positieve correlatie tussen roken en pensioenfraude, of na je negentigste wordt roken op magische wijze gezond voor je.’

Ondanks de frauduleus hoge leeftijden vergrijst Japan wel. (foto: Teo Romera | Flickr)

Is het echt zo makkelijk om de boel te flessen?

‘Je kunt een persoon niet aan een document vastzetten, waardoor landen overal ter wereld kampen met identiteitsfraude. Stel dat er vijf mensen zijn met allemaal correcte geboortecertificaten. Nu verwissel je een van deze mensen met een jongere broer of zus, zodat die alle fysieke documenten krijgt. Daar komt niemand achter.’ De persoonsregistratie is op veel plaatsen zo lek als een mandje, zegt Newman. Zo staat Malawi steevast in de top tien van de VN-landen waar mensen stokoud zouden worden, terwijl het land armer is dan Noord- Korea. In Puerto Rico waren lange tijd identiteitspapieren voor een paar tientjes te koop en in Qatar besloot men dat niet bevolkingsregisters moesten bepalen hoe oud iemand was, maar dat artsen dit moesten doen.

Toch kijkt het vakgebied dat honderdplussers onderzoekt al twintig jaar de andere kant op, zegt Newman geërgerd. En juist door dat blinde vertrouwen in de bevolkingsstatistieken zijn de conclusies die vervolgens worden getrokken vaak erg opmerkelijk.

Kunt u een voorbeeld geven van zo’n vreemde conclusie?

‘Het eerste artikel dat verscheen over de Blauwe Zones is heel grappig en verontrustend. In de samenvatting komen ze direct met de reden voor het hoge percentage honderdplussers in Sardini.: inteelt is goed voor je.’ Er bestaat een marketingbureau Blue Zones LLC van de Amerikaanse onderzoeker en spreker Dan Buettner. In tv-optredens en bestsellers vertelt hij over wat blauwe zones ons leren over levensstijl en plantaardig dieet.

‘Het is zo belachelijk. In zijn eerste stuk in National Geographic praat Buettner over een vent in Sardinië die schapen hoedt. Wat denk je dat een herder doet? Die schapen houdt hij niet voor vegetarische doeleinden. Hij maakt er kaas en vette worsten van. Buettner doet net alsof het een fijn, licht leven is met matige beweging. Nee, het is niet licht, het is extreem fysiek, moeilijk werk en als je denkt dat een tachtigjarige herder een licht leven heeft, ben je volslagen gestoord.’ En toch loopt het bureau blijkbaar goed. ‘Iedereen wil graag een magische pil om oud te worden. Er is een enorme markt voor, maar het heeft een corrumperende invloed op wetenschappelijk onderzoek. Er zijn duizenden artikelen over ouderdom en het lijkt in de basis allemaal troep te zijn.’

Waarom doen die wetenschappers er eigenlijk aan mee?


‘Hij snijdt gewoon de
top van de grafiek
af, als een kind dat
iets onder het tapijt
verbergt’

‘Hoe krijg je een wetenschappelijk artikel gepubliceerd over iemand van 96? Wie kan dat iets schelen? Maar met iemand van ouder dan 110 krijg je die publicatie wel. Ik werk nu aan een preprint met meerdere debunks. In een van de publicaties wil de auteur een afvlakking bewijzen. Om dat voor elkaar te krijgen, verbergt hij data op de y-as. Hij snijdt gewoon de top van de grafiek af, als een kind dat iets onder het tapijt verbergt!’ De preprint is nu al tientallen pagina’s lang. Vandaar dat Newman het plan heeft opgevat om meteen maar een heel boek over het onderwerp te schrijven.

Waarom vindt u het zelf zo belangrijk?

‘Het kan me niet schelen dat mensen in Griekenland pensioenfraude plegen als ze te weinig betaald krijgen, of wat dan ook. Maar de VN gebruikt ouderdomsdata om voorspellingen over de toekomst op te baseren. We moeten weten hoeveel pensioen we in de toekomst nodig hebben, maar als de data niet deugen, dan deugt het model ook niet. En dat lijkt dus het geval te zijn.’  

Uit: Skepter 37.4 (2024)

Vond u dit artikel interessant? Overweeg dan eens om Skepsis te steunen door donateur te worden of een abonnement op Skepter te nemen.

Steun Skepsis