Statistisch vuurwerk
De berekeningen van professor Ertel
door Rob Nanninga
Wetenschappelijke experimenten met astrologen leveren nooit wat belangwekkends op. Met het nodige vernuft kun je er echter allerlei paranormale effecten uit tevoorschijn toveren.
Suitbert Ertel, een Duitse psycholoog met veel belangstelling voor anomalieën, publiceerde in 1998 een onderzoek waaraan 11 astrologen deelnamen. Zij ontvingen de geboortegegevens van veertig vermaarde Schotten, twintig politici en twintig kunstschilders. Aan de hand van de geboortehoroscopen moesten ze proberen om beide groepen van elkaar te onderscheiden. Zoals gebruikelijk bij dit soort proeven, brachten de astrologen er niets van terecht.
Twee jaar later werd Ertel gebeld door een zekere Michael G., die pas was afgestudeerd als meteoroloog. Michael had als student een cursus gevolgd over Indiase astrologie en was ervan overtuigd geraakt dat zijn horoscoopinterpretaties opmerkelijk vaak klopten. Hij hoopte dat Ertel dit wilde onderzoeken, want hij had gehoord dat de professor daar verstand van had. Ertel stuurde Michael de eerder gebruikte test met de Schotten, in de veronderstelling dat de jonge academicus niet bekend was met het tijdschrift Correlation, waarin de correcte antwoorden hadden gestaan.
Michael bestudeerde de gegevens langdurig en gaf uiteindelijk bij 24 horoscopen aan in welke beroepsgroep ze pasten. De overige 16 waren volgens hem moeilijk te interpreteren. Het resultaat leek een faliekante mislukking: slechts 6 horoscopen waren in de juiste categorie (politici of schilders) geplaatst. Michael was zwaar teleurgesteld, maar de professor werd nu pas enthousiast. Hij zag een vreemde statistische afwijking, zijn specialisme: Michael had ‘zeer significant’ onder de kansverwachting gescoord!
De kans om niet meer dan 6 treffers te scoren uit 24 pogingen is volgens Ertel ongeveer 1 procent (p=0,011). De professor gebruikt hiervoor een eenzijdige p-waarde. Dit is echter alleen toegestaan wanneer je een eenduidige hypothese test. Het was Michaels bedoeling om te onderzoeken of zijn overtuiging klopte. Dan mag je na afloop niet doen alsof hij onder de kansverwachting moest scoren. Op die manier verdubbel je de kansen. De p-waarde moet dus met twee worden vermenigvuldigd.
Ertel citeert een kort artikel van een zekere Kimmel (1957), die de criteria voor het gebruik van eenzijdige statistische tests nog eens op een rijtje zette: ‘Gebruik een eenzijdige test als de resultaten in de niet-voorspelde richting onder geen voorwaarde gebruikt zullen worden om een gedragslijn te bepalen die op welke manier dan ook anders is dan in het geval dat je helemaal geen verschil aantreft.’ Dit wil zeggen dat eenzijdig toetsen op resultaten onder de kansverwachting (zoals Ertel deed) alleen is toegestaan wanneer je van tevoren weet dat je nooit enig belang zult hechten aan hoge scores. Vreemd genoeg meent Ertel dat hij aan dit criterium heeft voldaan: ‘Want de significante afwijking van MG’s horoscoopduidingen in de verkeerde richting kan “onder geen voorwaarden” zijn horoscoopduidingsvaardigheid bevestigen’. Hij heeft er blijkbaar weinig van begrepen.
Op dreef
Is het opmerkelijk dat Michael slechts 6 treffers scoorde? Dat valt tegen als je bedenkt dat Ertel dezelfde test aan (minimaal) 11 anderen voorlegde. Het is dan niet verrassend als er een uitschieter naar boven of naar beneden tussen zit. In dit geval werd de uitschieter pas gevonden nadat het officiële onderzoek was afgesloten. Wanneer Michael wat hoger had gescoord, zou Ertel waarschijnlijk niets over het informele testje hebben geschreven.
Ertel nodigde Michael uit voor een tweede test, waarbij hij opnieuw een onderscheid moest maken tussen 40 beroemde politici en schilders, Fransen ditmaal. Michael beoordeelde 19 horoscopen, en bij 13 daarvan raadde hij goed. Bij de overige 21 durfde hij geen keuze te maken. Hoewel dit resultaat tegengesteld was aan de eerdere uitkomst, berekende Ertel de waarschijnlijkheid opnieuw met een eenzijdige test. Dit was volgens hem toelaatbaar, juist omdat het resultaat tegen de verwachting inging. Hij kwam zodoende uit op een p-waarde van 0,08 (in plaats van op 17%) en noemde dat ‘marginaal significant’.
De dwaze professor kwam pas goed op dreef toen hij zijn aandacht richtte op het verschil tussen beide uitkomsten. Eerst had Michael slechts een kwart van de antwoorden goed en later tweederde. Ertel laat hier de chikwadraattest op los, die aantoont dat het verschil opmerkelijk is (p=0,004). Het is duidelijk dat hij zijn statistische instrumenten naar behoefte kiest, pas nadat hij de onderzoeksresultaten heeft bekeken. Van tevoren was er geen enkele reden om een verschil te verwachten, want de experimenten waren vrijwel identiek. Ertel had beide uitkomsten met meer reden bij elkaar op kunnen tellen. Dat zou hij waarschijnlijk ook hebben gedaan wanneer Michael opnieuw aan de lage kant had gescoord.
Michael was inmiddels tot de conclusie gekomen dat het vermoedelijk niet mogelijk was om uit een geboortehoroscoop informatie over iemands beroep te halen. Maar hij meende dat hij misschien wel in staat was om beroemde mensen van gewone mensen te onderscheiden. Ertel voerde daarom een derde test uit, waarbij Michael een onderscheid moest maken tussen 20 beroemde Franse auteurs en 20 onbekende Fransen. Hij had er dit maal 12 van de 23 goed, in overeenstemming met de kansverwachting.
Ballentest
Dit laatste kansresultaat deed voor Michael de deur dicht. Hij geloofde niet langer dat men uit een geboortehoroscoop iets kan afleiden over de levensloop van een persoon. Ertel zag daarentegen nog genoeg lichtpuntjes. Eerst was de score laag, daarna hoog en vervolgens gemiddeld. Deze grote mate van variatie in de uitkomsten is volgens Ertel niet zonder betekenis en de chikwadraattest biedt hem als ondersteuning een p-waarde van 0,015. Hij vermoedt dat er iets paranormaals aan de hand is. Dit brengt hem op de veronderstelling dat astrologen soms succes boeken dank zij hun paranormale gaven. Ook bij parapsychologische experimenten komt het volgens Ertel regelmatig voor dat begaafde proefpersonen afwisselend onder en boven de maat presteren. Dat noemt men ‘psi-hitting’ en ‘psi-missing’. Reden te meer om te vermoeden dat Michael paranormaal begaafd is.
Om Michaels buitenzintuiglijke vermogens te onderzoeken, gebruikte Ertel een door hemzelf ontworpen ballentest. Michael ontving twee zakken die elk 50 pingpongballen bevatten. Op de ballen stonden de getallen 1 tot en met 5, die elk even vaak voorkwamen. Michael moest de zakken schudden en vervolgens zonder te kijken uit elke zak een bal pakken met een bepaald getal. Het gewenste getal stond op een formulier in de vorm van een kleine rekensom: 3 + 2 betekende dat Michael uit beide zakken een 5 moest halen en 4 – 1 wou zeggen dat er op beide ballen een 3 moest staan. In totaal voerde hij 16 series van 60 trekkingen uit. De zakken moesten voor elke trekking worden geschud nadat de eerder gekozen ballen waren teruggelegd.
Michael mocht de test zonder toezicht in zijn eigen woning uitvoeren en hij noteerde de uitkomsten zelf. Wanneer hij inderdaad uit beide zakken het gewenste getal trok, werd dit aangeduid als een Pasch 1. (Pasch is Duits voor dubbel bij het dobbelen.) Eén goede bal leverde een Eintreffer op. Twee gelijke ballen met een verkeerd getal waren een Pasch 2 en twee ballen die overeenkwamen met de cijfers in de rekensom (bijvoorbeeld 3 en 2) werden een Repetition genoemd. Wanneer deze aanduidingen niet van toepassing waren, noteerde Michael alleen beide getrokken getallen op het formulier. In de helft van de gevallen had hij van tevoren twintig minuten gemediteerd. Michael was namelijk een beoefenaar van Transcendente Meditatie en meende dat dit zijn prestaties zou kunnen verbeteren.
Omdat het experiment nogal ingewikkeld was en de proefpersoon het geheel zelfstandig uitvoerde, kon er gemakkelijk wat mis gaan. Zo moet je goed blijven opletten om een Pasch 2 niet met een Pasch 1 te verwarren. Desondanks leverde het experiment op het eerste gezicht niets op. Het aantal treffers was niet groter of kleiner dan verwacht mocht worden. Dit gold voor alle mogelijkheden (Pasch 1, Pasch 2, Einzeltreffer en Repetition) en voor beide condities (met of zonder meditatie).
Zoals we van Ertel gewend zijn, wist hij hier wel iets op te vinden. Hij ontdekte dat Michael vaker ballen trok die overeenstemden met het tweede getal van de rekenopgave, dan ballen die correspondeerden met het eerste getal. Wanneer de opgave bijvoorbeeld 2 + 1 was, dan trok Michael vaker een 1 dan een 2 (terwijl het een 3 moest zijn). Dit effect was volgens Ertel zeer sterk aanwezig (p=0,0006). Hij ontdekte nog meer effecten, maar die zijn zo gecompliceerd, dat ik ze hier niet zal uitleggen. (Bijvoorbeeld: ‘unter der M+ Bedingung eine signifikant negative links-rechts Korrelation der Treffersummen’.) Ertel corrigeert wel voor het feit dat hij naar eigen zeggen 20 verschillende analyses heeft gepleegd (geeft p=0,012), maar relevant is natuurlijk tot welke berekeningen hij bereid zou zijn geweest na inspectie van elke denkbare uitkomst.
Ertels onderzoek zal worden gepubliceerd in het Zeitschrift für Anomalistik, dat werd opgezet door de socioloog Edgar Wunder. Hij is de voormalige hoofdredacteur van Skeptiker, het blad van de Duitse skeptici. Wunder zou graag willen dat er in zijn nieuwe blad over Ertels artikel wordt gediscussieerd. Het is echter niet verstandig om met de professor in discussie te treden. Zulke discussies duren eindeloos omdat Ertel steeds met nieuwe speculaties en berekeningen komt, terwijl hij de bezwaren niet lijkt te begrijpen. Het eind van het liedje is meestal dat de criticus het moedeloos opgeeft, terwijl Ertel er een stuk over schrijft waarin hij zichzelf presenteert als winnaar van het debat. Enkele jaren geleden leverde Edgar Wunder kritiek op een artikel dat Ertel in Skeptiker publiceerde. De professor was daar zo verbolgen over dat hij de hoofdredacteur wegens smaad voor de rechter sleepte. Hij ging zelfs in hoger beroep en in cassatie. Zijn rechtsbijstandverzekering draaide voor alle kosten op.
Voor de liefhebbers biedt Ertels rekenwerk een fraaie illustratie van de stelling dat je met statistiek alles kunt bewijzen wat je wilt. Zijn werkwijze is vergelijkbaar met de Texaanse scherpschutter die het doelwit pas vaststelt nadat hij heeft geschoten.
Uit: Skepter 17.2 (2004)
Op dit artikel kwam een reactie van Ertel: Statistisch vuurwerk? Antwoord van de “dwaze professor” op Nanninga’s aanval van zijn onderzoek, Skepter 17.3 (2004)
