Professor Wansink en de datadetectives (2)
Interview met Nick Brown
door Pepijn van Erp – Skepter 30.4 (2017)
Een jaar geleden begon het balletje voor de Amerikaanse hoogleraar voedingspsychologie Brian Wansink de verkeerde kant op te rollen. Hij had dat balletje zelf een zet gegeven, door op zijn website openhartig te vertellen hoe het toegaat op zijn instituut. Het onderzoek van de auteur van de bestseller Mindless eating en winnaar van een IgNobelprijs blijkt aan alle kanten te rammelen, en het ziet ernaar uit dat hij ook nog op grote schaal zijn eigen geschriften recyclet.
DE eerste problemen werden geconstateerd in een aantal artikelen die draaiden om onderzoek uitgevoerd in een Italiaans ‘all-you-can-eat-restaurant’, vandaar dat de affaire inmiddels ook wel met ‘pizzagate’ aangeduid wordt. De onttakeling van het oeuvre van Wansink heeft een Nederlands kantje. Van de drie speurders die pizzagate in gang zetten, zijn er twee in ons land aan het promoveren. Skepter sprak met Tim van der Zee (Leiden) en Nick Brown (Groningen) — hieronder het gesprek met Brown (via Skype), het interview met Van der Zee vindt u hier.
Je hebt een wat minder gebruikelijke achtergrond voor een promovendus, promoveert in Groningen, woont in Strasbourg, je bent Engels, maar spreekt onze taal wel vloeiend. Dat moet je eerst even uitleggen.
Ik heb in Cambridge gestudeerd, daar een bachelor degree behaald in 1981 en ben toen in Nederland gaan wonen. Ik zat in de software en was blij dat ik in Rotterdam aan de slag kon. Bijna iedereen ging naar Londen, maar dat vond ik toen maar niks. Tot 1989 heb ik Nederland gewoond en gewerkt in de ICT sector, en Nederlands geleerd. Daarna belandde ik in Frankrijk en werkte bij de Raad van Europa. In 2009 werd ik overgeplaatst naar de Human Resource afdeling en was o.a. belast met inkopen van cursussen voor ontwikkeling van personeel. Maar ik ontdekte dat de meeste mensen die dat aanboden gewoon een beetje gek waren. Ze hadden geen kwalificaties en als het meezat geloofden ze niet teveel in astrologie en handlezen. In Frankrijk kom je dat nog veel tegen in het bedrijfsleven. Het is nog steeds legaal om iemand niet in dienst te nemen, als je bijvoorbeeld zegt niet met Schorpioenen te kunnen samenwerken. Freud is er ook nog steeds niet dood.
Daardoor werd je ergernis gewekt?
Ik ging kijken of er wat wetenschappelijks te vinden was op HR gebied. Uiteindelijk wees Richard Wiseman mij tijdens een congres op het bestaan van positieve psychologie en dat daar een master aan de universiteit van East London in te volgen was. Ik ben dat toen gaan doen, maar halverwege die studie kon ik ook vervroegd uittreden bij mijn werk.
De wereld van de psychologen vond ik meteen heel interessant, het vakgebied zelf wat minder. De wetenschappelijke psychologie heeft volgens mij weinig te vertellen over hoe je mensen helpt. Er zijn wel methoden waarvoor bewijs is, maar uiteindelijk gebeurt het tussen een cliënt en een behandelaar en dat proces is nauwelijks wetenschappelijk. Is ook niet erg vind ik, we doen al veel te veel aan scientism.
Nu ja, in 2013 behaalde ik mijn Masters degree, had toen al een artikel gepubliceerd en was in contact gekomen met andere skeptische onderzoekers, onder wie James Coyne, die visiting professor in Groningen was en hij vroeg of ik interesse had om bij hem te promoveren. Dus dat ik in Groningen aan het promoveren ben, heeft eigenlijk niets te maken met mijn eerdere Nederlandse ervaringen. Ik had niet enorme ambitie om te gaan promoveren, maar het is leuk en goed voor je geloofwaardigheid.
Ik heb van Tim begrepen dat het eigenlijk toevallig is dat jullie op Wansink zijn gedoken.
In dit geval was de aanleiding een tweet over de eerste reactie op dat blog van Wansink, “Dude, seriously?” Het gaat wel vaker zo, op dit moment zit ik ook weer met verschillende mensen in privékanelen op Twitter samen te werken. In het eerste half uur gaat het dan nog publiek met “Wat is dit nu weer?” en “Dit is vreemd”, maar al snel zit je dan met drie of vier mensen in een persoonlijke chatroom gedachten uit te wisselen. En voor je weet roept iemand “Ok ik ga het wel opschrijven” en iemand opent een Google document waar je samen aan kunt werken. Dat is ongelofelijk productief en heel erg leuk. Soms wordt het uiteindelijk niets, soms kun je er iets serieus van maken.
Kende jij Wansink al?
Helemaal niet. Maar ik kende wel zijn werk. Ik ben namelijk de kok thuis en ik maakte eens varkenskoteletten en toen mijn vrouw met de borden kwam aanzetten nam zij een kleiner bord. Want, had ze gelezen, als je van een kleiner bord neemt, dan eet je minder. Dat kwam van een onderzoek van Wansink. Maar dat ging er natuurlijk vanuit dat je minder zou opscheppen op een kleiner bord bij een buffet, niet dat de kleinere diameter van het bord het ineens zo maakt dat je varkenskotelet minder calorieën bevat. Dat had Wansink trouwens ook nooit beweerd, maar als je een slechte hypothese en een slechte studie met slechte verhalen in de pers combineert, dan gaan de lezers allerlei ideeën krijgen.
Er zit trouwens een politieke interpretatie aan het werk van Wansink, hoewel ik zelf niet werkelijk politiek geëngageerd ben. Kijk bijvoorbeeld naar het onderzoek waarbij ze kinderen in schoolkantines liever gewone melk dan chocolademelk willen laten drinken. Je kunt er natuurlijk voor kiezen om gewoon geen chocolademelk meer te verkopen. Maar Wansink als libertarian zal dat misschien als een te communistische oplossing zien. Je kunt ook de chocolademelk duurder maken, maar dat is natuurlijk iets wat de regering van een socialistische land zoals Zweden zou doen, waarvan wij weten <ironie> dat het vol moslimterroristen en andere ellende zit. Maar je kunt ook met kleine nudges die kinderen tot de gewenste keuze bewegen. Dus verbieden mag niet, dat is communistisch. Duurder maken ook niet, dat is socialistisch. Maar er is geen enkel bezwaar tegen fucking with these kids’ heads. Trucjes uithalen met die kinderen en toch hebben ze een vrije keus. Ik ben een grote fan van Amerika, maar of ik dit soort praktijken moreel in de haak vind, weet ik niet. Misschien is het dus gelukkig dat die trucjes waarschijnlijk niet werken.
Tim vertelde dat jullie twee met Jordan Anaya die pizza papers van Wansink gingen analyseren en daarbij gebruikten jullie ook een methode waarover jij zelf niet lang daarvoor een artikel had gepubliceerd.
In dat artikel beschreven we een heel eenvoudige wiskundige methode waarmee je kan laten zien dat een opgeschreven gemiddelde soms gewoon niet kan kloppen. Jordan was een fan geworden van die methode, GRIM genaamd, en wilde het ook uitbreiden tot standaarddeviaties. Dat is veel ingewikkelder en kan veel meer rekenwerk opleveren. Maar hij heeft veel van dat rekenwerk al vooraf gedaan en nu kan je op zijn site makkelijk checken of een opgegeven standaarddeviatie überhaupt kan kloppen.
Als een artikel hem ergens irriteert kijkt Jordan regelmatig of hij met die methodes wat kan ontdekken. En dit geval tweette hij bij die artikelen van Wansink al snel: “Nick, I’m seeing GRIM errors!” Zijn gemiddeldes klopten niet. Nou, dat is interessant en al snel zaten Tim, hij en ik samen met Chris Chambers, een professor van Cardiff University, in een chat hierover verder te praten.
Wat is jouw kijk op hoe het verder liep na het publiceren van jullie pre-print?
In academia kunnen zaken erg veel tijd nemen. Ik heb gedurende 22 jaar in een grote bureaucratie gewerkt en dat heeft me hier heel erg geholpen. Een andere kwestie waar ik mee bezig ben, ongelofelijke resultaten van een Europese psycholoog (gelukkig geen Nederlander!), loopt al twee jaar en ik hoop dat we daar eind dit jaar eindelijk mee naar buiten kunnen komen. Dus die dingen duren altijd vreselijk lang. [red: hier is inmiddels het eerste van gepubliceerd, het blijkt te gaan om Nicolas Guéguen]
Of een onderzoeker reageert meteen van: “O jee, dit moeten we corrigeren. Hier zijn de gegevens. Laten we een correctie schrijven. Bedankt dat je het mij hebt laten weten.” Of hij begint met: “Nou, ik zal er eens naar kijken volgens mij valt het allemaal wel mee.” Dan wacht je drie weken, stuur je een tweede mail. Blijkt ie op sabbatical of zijn er andere smoesjes. Maar als iemand je erop wijst dat je beste werk mogelijk fout is, dan laat je toch alles uit je handen vallen en ga je uitzoeken wat er aan de hand is? Je gaat niet slapen voor je weet hoe het zit!
Van het integriteitsorgaan van Cornell kregen we ook niet veel steun: “natuurlijk onderschrijven we transparantie, maar we laten het over aan de individuele wetenschappers als er geen verplichtingen zijn vanuit het tijdschrift’. Toen we erop wezen dat een van de tijdschriften inderdaad data sharing voorschrijft, kregen we geen antwoord meer. Iedereen ging in volledige damage control mode en dus zijn we gaan bloggen.
Waarom is Wansink niet veel eerder ontmaskerd als iemand die aan ‘slordige wetenschap’ doet?
In ons voordeel sprak dat onze analyse krachtig samengevat kon worden als ‘150 fouten in 4 papers’, maar of het verder door ons bloggen kwam of doordat we het als een wetenschappelijk artikel hebben opgeschreven, dat weet ik eigenlijk niet. We kwamen later wel een paar oudere kritische blogs tegen over enkele punten van Wansink’s werk en ook wel wetenschappers die al heel lang hun bedenkingen hadden. Maar mijn observatie is dat in de psychologie, waar we met Wansink wel aan één van de buitenranden daarvan zitten, er veel mensen zitten met een eigen theorie die ze koesteren terwijl ze van theorieën van collega’s weten dat die niet zo goed in elkaar steken. Maar dat werkt twee kanten op. Niemand heeft er belang bij dat die twijfels al te publiekelijk bekend worden, aan de bar bij conferenties is dat wel eens anders. In de psychologie doen we veel te weinig aan het kritische toetsen van theorieën; de opmerking van Max Planck, “De wetenschap schrijdt voort van begrafenis tot begrafenis,” is hier royaal van toepassing.
Wat vind jij tot dusver het meest bizarre wat naar boven is gekomen bij Wansink?
Ik houd niet zo van rangordes, maar ik heb op mijn blog geschreven over zijn onderzoeken uit 2000 en 2001 naar hoe mensen denken over soja. Ze onderzochten hoe mensen in de VS afkomstig uit India en Pakistan denken over soja. Maar in die landen eten ze helemaal geen soja. Uit die artikelen blijkt dat ze drie keer zoveel soja eten als de gemiddelde Europese veganist! Dus wij moeten geloven dat die Indiase en Pakistaanse academici, die aan een universiteit in de Midwest komen werken, opeens van die veganistische hipster kids dingen zien eten die er aantrekkelijk uitzien en voor je het weet zelf twee tot drie keer per week sojabonen zitten te eten? Zo transparant dom. Maar de meeste artikelen Wansink zijn ook niet in high ranking journals gepubliceerd.
Dit is niet de eerste affaire waar jij je mee bemoeit. Ben je inmiddels berucht? Heb je al vijanden gemaakt?
Ik heb nog geen hate-mail gekregen, maar ik ben berucht onder mijn collega’s. Als er iets gebeurt, denken ze al snel “Nick zal er wel op zitten.” Omdat ik geen baan zoek, kan ik het me ook wel permitteren. Maar ik ben zelf heel gevoelig voor kritiek. Ik publiceer daarom graag samen met anderen, dan krijgen zij de schuld als de methode niet deugt, haha.
Het is wel duidelijk dat je plezier hebt in dit puzzelwerk.
Ja, het is inderdaad vergelijkbaar met puzzels oplossen. Het is ook een beetje riskant. Ik schrijf heel beleefd aan onderzoekers “ik heb misschien wat onregelmatigheden ontdekt, mag ik alstublieft uw data-set”, maar ik weet niet wat ik terug krijg. Veel mensen zullen denken hoe durf je dat zo te vragen en ik ben van nature ook niet erg uit op confrontatie. Maar op een bepaald niveau moet je ook wel weer boos zijn, maar niet als angry old man of angry young man. Ik denk dat Tim dat bijvoorbeeld ook wel goed doet.
Als je beseft dat veel van de gemiddelde wetenschappers, op doorsnee psychologiefaculteiten, veel slechte wetenschap hebben bedreven in de laatste jaren, met p-hacking enzo – en dat is niet per se fraude, hoor – en nu beseffen wat ze hebben gedaan, dan hebben die het niet gemakkelijk. Maar de meesten treden er niet mee naar voren, dat begrijp ik helemaal. Ik weet ook niet hoe je dit probleem oplost. We moeten veranderen hoe we werken en voorlopig accepteren dat we misschien 10-15 jaar heel weinig ontdekken. Het doet me denken aan de situatie met wereldrecords in de atletiek uit de jaren tachtig. We weten dat die vaak met doping tot stand zijn gekomen en dan hebben we nu wel steeds betere schoenen, maar die records worden voorlopig niet gebroken.
Weblog van Nick Brown – twitter: @sTeamTraen
Cartoonogen
In 2014 publiceerde Wansink met twee andere auteurs de opmerkelijke resultaten van een onbenullig onderzoekje: de cartoonfiguren op verpakkingen van ontbijtgranen die voor kinderen bedoeld zijn, zijn zo getekend dat ze de kinderen recht in het gezicht aankijken. Die ogen kijken neerwaarts terwijl ze op de verpakkingen van producten gericht op volwassenen juist omhoog kijken, die zijn immers langer en ook staan die verpakkingen op hogere schappen. Op deze manier spelen de verpakkingen slinks in op de juiste doelgroep. Of dit bewust door de marketingafdelingen bedacht was, liet het artikel in het midden.
Er kwam meteen stevige kritiek op, o.a. van de Amerikaanse fysicus Donald Simanek die het artikel tot op de bodem afbreekt. Er klopt werkelijk niets van. Het maakt namelijk niet uit hoe hoog de afbeelding staat, de ogen blijven je op dezelfde manier aanstaren. Dat staat bekend als de ‘eye tracking illusion’ en is uitvoerig beschreven in de psychologie, maar Wansink wijdt er geen woord aan.
De berekeningen van de kijkhoeken gaan ook uit van een volkomen verkeerd fysisch model van het oog. Wie het goed uitrekent, zou de conclusie moeten trekken dat de ogen naar je voeten kijken. Maar misschien wel de meest in het oog springende blunder: er zijn tal van verpakkingen waarbij de cartoonfiguren heel andere richtingen op kijken, zelfs bij verpakkingen met hetzelfde poppetje.
Het is echt niet lastig om te zien dat een heel erg dubieuze studie is, die je beter maar negeert. Maar zelfs kwaliteitsmedia als The New York Times en Scientific American doken er gretig bovenop. Simanek vroeg indertijd ook de data op bij Wansink, maar kreeg die niet.
Lees ook het interview met Tim van der Zee.
