Deze keer te gast in onze podcast is auteur Coen de Bruijn. Met hem hebben we het over Key Performance Indicators, KPI’s. Pepijn van Erp vertelt over een relatief nieuwe tak van kwakzalverij: het inhaleren van waterstof of drinken van water waarin het gas opgelost is.
Abonneren op de podcast kan via Spotify, Apple Podcasts, Acast en Castbox, andere afleveringen zijn ook te vinden via deze knop:
Reacties, suggesties en tips zijn welkom op podcast@skepsis.nl
Boektip:
Johnjoe McFadden. Leven is eenvoudig. Ockhams scheermes en een nieuwe geschiedenis van de wetenschap en het heelal. (2021)
Verder lees- en kijkvoer bij deze aflevering:
Waterstofgas
VtdK: Inademen van waterstofgas is gebakken lucht (2023)
Boeken van Coen de Bruijn:
Key Performance Illusies. Ontdek de ‘dark side’ van performance management. (2019)
Van tofu krijg je geheugenverlies. Gekonkel en gestuntel met statistiek in media, politiek en reclame. (2011)
Transcript
Hieronder staat een met AI gegenereerd transcript van deze podcast. Er zitten veel foutjes die nog niet zijn gecorrigeerd, dus u bent vast gewaarschuwd.
[Richard Engelfriet]Welkom bij deze Skepsis-podcast. Een podcast voor iedereen die het skeptische gedachtenvoed en warm hart niet draagt. In deze editie debunkt Skepsis-bestuurschef Pepijn van Erp de inhalatie van waterstofgas, pleit auteur Koen de Bruin voor minder KPIs op het werk en praat hij ons nog even snel bij over de relatie tussen tofu en geheugenverlies.
Tot slot gaan we vandaag ook in op de vraag welke KPIs Skepsis zou moeten hanteren. Maar nu eerst, zoals altijd, even naar Pepijn van Erp, bestuurslid van de stichting Skepsis. Pepijn, we maken natuurlijk deze podcast al een tijdje en tegenwoordig maken we ook een aantal specials.
Die hebben we bijvoorbeeld gedaan over David de Moordzaak en de oorsprong van corona. Merken jullie bij de luisteraars en jullie achterbaan nou verschil in waardering tussen de reguliere en de special podcast?
[Pepijn van Erp]Nou, ze worden allebei, allebei de formats worden goed geluisterd en ook goed gewaardeerd. En dat is op zich niet zo’n heel groot verschil. Ik vond het in eerste instantie een beetje spannend.
Ga je opeens een podcast maken die anderhalve keer of twee keer zo lang is.
[Richard Engelfriet]Ja, twee keer zo lang over één thema.[Pepijn van Erp]
Dat is natuurlijk anders dan wat we hier doen. Nee, maar er zijn echt podcastluisteraars die daar meer van houden en andere mensen die houden iets meer van wat meer afwisseling in hun gesprek, meerdere onderwerpen. Dus ik denk dat we gewoon, als zij zelf blijven afwisselen, dat we al die groepen blijven bedienen.[Richard Engelfriet]
Ja, het grote verschil wat ik wel zag op X, het voormalige Twitter. Zodra we alleen maar de aankondiging deden dat we iets met corona, kregen we wel gelijk alle wappies over ons heen. We hadden nog niks gepubliceerd, maar alleen maar de aankondiging was al voldoende om ons in allerlei hoeken te plaatsen, toch?[Pepijn van Erp]
Ja, dat was wel opvallend, ja. Want daarvoor hebben we natuurlijk nooit, of bijna nooit volgens mij, aankondiging gedaan over het onderwerp. En in dit geval sprong iedereen bovenop.
Maar er hoeft er maar één te zijn met redelijk wat volgers op X die het dan iets over tweet. En dan zien al die andere, zijn aanhangers dat ook. En die gaan zich er allemaal mee bemoeien.
[Richard Engelfriet]Ik beveel u aan, ga vooral eens een keer kijken op het X-account van Pepijn van Erp. Dan ziet u een beetje wat er allemaal gebeurt. En Pepijn, tot slot, hoe ga je om?
Want jij wordt ook af en toe echt persoonlijk aangevallen. Kun je dat makkelijk negeren? Of moet je af en toe ook even je laptop dichtklappen?
[Pepijn van Erp]Nee, dat niet. Ik denk wel eens over na van, moet ik hier iets mee doen of niet? Maar kijk, de meeste mensen zijn anoniem en die blokkeer ik gewoon.
En sommige mensen moet je nog iets zwaardere maatregelen nemen om er helemaal geen last meer van te hebben. Maar ja, er zijn er van een paar bij die blijven maar zuren, zeg maar.
[Richard Engelfriet]Het is bewonderenswaardig dat wij natuurlijk onze zoektocht naar de waarheid en de niet-waarheid door blijven zetten. En dat doen we nu in ons vaste onderdeel De Pijn van Pepijn, waarin we een claim gaan debunken. En ik zei het al, het gaat dit keer over waterstof inhalatie.
En Pepijn, ik had eerlijk gezegd nog nooit hiervan gehoord. Maar toen je dit noemde, ben ik natuurlijk gelijk gaan zoeken. En ik kwam al snel ronkende websites tegen die claimden, ik som het even op, dat het inhaleren van waterstof kan helpen om chronische pijn te verminderen, een gunstig effect heeft op de bloedzuikerspiegel, de longfunctie en de stofwisseling verbeteren, het werkt bloeddruk verlagend, het laat wonden beter genezen, het is cholesterolverlagend en ook nog eens goed tegen oxidatieve stress.
En dat laatste betekent dat je teveel zuipt en rookt. En nou lijkt mij minder zuipen en roken altijd een verstandig advies. Maar heb je enig idee, voordat we ingaan, waar al deze claims vandaan komen?
[Pepijn van Erp]Dat was voor mij ook een beetje een verrassing, want toen ik meer ging zoeken, blijkt dat het idee van het inhaleren van waterstof via gas of opgelost in water eigenlijk nog niet zo oud te zijn. Want de eerste onderzoekjes die je tegenkomt komen zo weer uit 2008. Nou ja, voor een idee die een beetje in de kwakzalverijen schuilhoek zit, is dat echt een recente ontwikkeling.
Maar het is heel vaak bij die dingen, als er iemand iets bedenkt waar het goed zou zijn en dan komen er meteen een hele riks van claims af. Meteen over goed voor alles. Dat verrast dan weer niet zo.
[Richard Engelfriet]Ja, nee want ik kwam ook een artikel tegen van broer Scholtens, weer op de website kwakzalverij.nl. En hij beschrijft bijvoorbeeld een orthomoleculair epigenetisch therapeut, whatever that may be. En die therapeut noemt waterstof de fontein des levens. En toen moest ik inderdaad denken aan Carice van Houten in het Zwartboek.
Houdt het dan nooit op?
[Pepijn van Erp]Nee, wat broer Scholtens in dat artikel beschrijft is echt wel grappig. Hij laat eigenlijk zien dat in Nederland die therapeuten daarmee begonnen zijn, omdat een aanbieder van een apparaat waarmee je waterstofgas kunt maken, al die beurzen voor die alternatieve behandelaars afstruint. En daar blijkbaar succes heeft.
Die heeft er blijkbaar een flink aantal verkocht. En ja, die alternatieve therapeuten die hebben vaak een hele reeks aan apparaten die vaag zijn, van bioresonantieapparaten en met iets met kwantum en nog wat. Dan past dit gewoon een beetje erbij.
[Richard Engelfriet]Maar tegelijk, we zijn sceptici, maar dat betekent dus ook dat we overal gewoon serieus naar kijken. Laten we dan toch even beginnen bij de theorie. Wat is het idee?
Ik inhaleer dus waterstof.
[Pepijn van Erp]Ja, het meest zinnige wat er naar voren komt is dat anti-oxidatieve effect ervan. Want ja, waterstofgas dat reageert vrij makkelijk met radicalen. En dan krijg je uiteindelijk gewoon water.
Dus dat maakt eigenlijk maar radicalen onschadelijk in je lichaam. Zou kunnen zijn. Dat is de theorie?
Dat is de theorie. En nou ja, als je het in een reageerbuisje probeert, dan zal het ook best wel zo werken. En ja, en radicalen, die oxidatieve stress, dat is allemaal slecht voor je.
Overal wordt dat geroemd in allerlei alternatieve therapieën. Dus ja, dat is het idee erachter. Maar ja, goed, een groot probleem met dat waterstofgas.
Hoe komt het dan eigenlijk wel op de goede plekken in je lichaam terecht? Het lost niet zo goed op in water. En als je het inademt, dan ademt het misschien net zo makkelijk weer uit.
[Richard Engelfriet]En ons lichaam en onze cellen bestaan voor een heel groot deel uit water. Dus dat is an sigo problematisch?[Pepijn van Erp]
Ja, het lost dus een heel klein beetje op. Maar dan ja, de vraag is van kom je het in die hoeveelheden op de juiste plek tegen dat het ook echt iets zou kunnen doen? Ja, en ja, daar blijkt eigenlijk helemaal dat basale wetenschappelijke onderzoek, wat je in een laboratorium zou kunnen doen met cellen die zouden meten.
Dat is ook maar heel beperkt wat er gedaan is. En ja, vervolgens die gezondheidsclaims, dan moet je kijken naar wat er gedaan is met patiënten. Dat is helemaal minimaal.
Er zijn best wel veel onderzoekjes die je vindt, maar het gaat allemaal om hele kleine groepjes en ze meten meestal allemaal biomarkers. Dus niet het effect zelf, maar allerlei proxies. Dus als je dat allemaal bij elkaar veegt, dan blijft er niet zoveel over.
Maar ja, dan roept mensen altijd van, nou, dat moeten we dus verder onderzoeken.
[Richard Engelfriet]Ja, dat is natuurlijk altijd een mooi cliché in de wetenschap, maar er zijn op dit moment dus geen patiëntenstudies waaruit blijkt dat het inhaleren van waterstof of het drinken van een ietsje pietje verrijkt water een positief gezondheidseffect zou kunnen hebben.[Pepijn van Erp]
Nee, ik vond het in ieder geval niet. Ik vond het aan het begin van dit jaar nog wel een systematic review die dan de beste onderzoeken probeert te uitzoeken. Die vond dan ongeveer dertig studies die er gepubliceerd waren.
Maar in die review staat dus inderdaad, ja, het is allemaal heel beperkt en eigenlijk kunnen we hier niet zoveel harde uitspraken over doen. Dus het blijft een beetje een open vraag, maar op basis van de wetenschappelijke idee over hoe waterstof zou werken op chemisch niveau, zou je eigenlijk zeggen, ja, is er überhaupt een reden om te denken dat je met meer onderzoek hier ook…
[Richard Engelfriet]Precies, het is een beetje hetzelfde als al die verdunning die we uit de homeopathie kennen. We kunnen eindeloos dat blijven onderzoeken, maar als de theorie al niet deugt, is er weinig hoop dat dat iets gaat opnemen.[Pepijn van Erp]
Nee, ik kwam ergens in de commentaren van iemand tegen van, ja, je zou het best wel kunnen onderzoeken of dat water, zeg maar, echt in je, of waterstofgas echt in je cellen terechtkomt. Dan zou je dus zeg maar waterstofgas moeten maken waarbij je één gewoon waterstofmolecuul hebt en één, zeg maar, een zwaarwaterstofmolecuul, tritium of deuterium. Ik weet niet hoe makkelijk dat is, maar dan kun je het, zeg maar, met de reactiviteit van de meter, kun je gewoon in je lichaam dus zien met, ik denk dat je het dan met een MRI of zo moet doen, kun je dat dan gaan volgen van waar komen die waterstof moleculen nou eigenlijk terecht.[Richard Engelfriet]
Nou, dat is misschien ook een mooi bruggetje nog even tot slot. We kennen het allemaal de beroemde zin, extraordinary claims require extraordinary evidence. En er kwam zo’n extraordinary claim tegen van de fabrikant Aqua to Heal.
En dat was een claim, die maken dus apparaten om dit te inhaleren en die claimde dat waterstof 175 keer effectiever is dan vitamine C. Dus een hele concrete, meetbare claim. Ja, jij bent daar ingedoken.
[Pepijn van Erp]Ja, precies, want dat staat in dat stuk van de website van Quarkxalverij, Boer Scholtes, die haalt dat aan. En ik ging op de site kijken en dat artikel van Quarkxalverij is al meer dan een jaar oud, maar die claim kon ik niet meer terugvinden. En ik denk ook dat die claim dus weggehaald is door de…
Naar aanleiding van dat artikel? Ja, ik vermoed het wel, want de mensen aan wie hij die apparaten heeft geleverd, die kopiëren wel citaten gewoon van zijn website om aan te bevelen van hoe dat werkt. Dus daar komt die claim vaker tegen?
Daar komen we hem nog wel tegen. Dus ik denk dat het redelijk recent er vanaf is gehaald. Maar ik kwam er wel achter waar het op slaat, want hij heeft ook een plaatje…
Hij noemt nog wel ergens vitamine C en een coënsiem Q10. En als je daarnaar kijkt, dan zie je dat de molecuulgewichten ongeveer overeen komen met die effectiviteitsfactoren die hij noemt. Dus vitamine C, dat heeft dan een molecuulgewicht van 176 en waterstof van 2.
Eigenlijk heeft hij het ook al in eerste instantie niet goed berekend, maar het is eigenlijk voor een slaat op die molecuulgewichten van die vitamine C en coënsiem Q10. En daar gaan we dan op de achterkant van de biofiltrum berekening mee doen en we hebben een ronkende claim te pakken. Ja, de hele effectiviteit waarvoor?
Nee, het gaat puur om molecuulgewicht, dus dat is wel grappig.
[Richard Engelfriet]Nou, we gaan voorlopig geen waterstof inhaleren en mocht u nog wel artikelen, informatie hierover hebben, laten het ons vooral weten. Dank Pepijn. Het volgende onderdeel gaat over mensen die het sceptische gedachtgoed omarmen, maar die in de praktijk tegen dilemma’s aanlopen.
En vandaag gaan we daarover in gesprek met auteur Koen de Bruijn. Ja, Koen, even in het kader van voorstellen. Jij schrijft boeken en ik zei het net in De Liederaar, jouw eerste boek heet Van Tofu, krijg je geheugenverlies.
Dat moet je toch even uitleggen aan een groep sceptische luisteraars.
[Coen de Bruijn]Ja, dat snap ik. Het was een mooie claim die ik tegenkwam bij het schrijven van het eerste boek. En dat eerste boek ging met name over hoe wordt statistiek en cijfers en dergelijke misbruik.
Een beetje de Nederlandse variant van how to live with statistics. Ja, dat. En dan in 2010, want de how to live with statistics komt al uit 1954.
Precies. Dus ik wilde daar een update versie van maken. Leuk.
En in De Telegraaf kwam ik dat artikel tegen. Van Tofu krijg je geheugenverlies. Oh, dat is een echt artikel?
Dat is een echt artikel uit De Telegraaf. Maar dat bleek natuurlijk als je daarin duikt dat verkeerde doelgroep. Het was gemeten in Indonesië bij dertig mensen.
Het ging, dat hele rammelde aan alle kanten. Maar dan zie je dat zo’n titel van Van Tofu krijg je geheugenverlies natuurlijk een soort klikbeet is om daarop te klikken. En dat is gebleven als titel van mijn boek.
[Richard Engelfriet]Wat leuk. Ja, we zullen uiteraard ook een linkje plaatsen op onze website. Met recepten voor Tofu.[Coen de Bruijn]
Er staat inderdaad een recept in het boek van iemand die heel graag Tofu eet en mij dat recept eet. Wat leuk.[Richard Engelfriet]
En je zit hier vooral naar aanleiding. De oproep die we bij iedere podcast doen. We zeggen altijd aan onze luisteraars.
Draag thema’s aan. Heeft u feedback? Heeft u suggesties?
Nou, en dat doen veel mensen. Jij bent daar een van. En jij zei nou, ik zou het wel eens willen hebben over het gebruik van KPIs in organisaties.
En KPIs, dat staat voor Key Performance Indicators. En in goed Nederlands zijn dat dus kritieke prestatieindicatoren. En volgens mij vrijwel ieder bedrijf, overheidsinstellingen, hanteren ze allemaal.
Denk maar bijvoorbeeld aan het smart maken van doelen of simpelweg gewoon omzetcijfers. En ik hoorde laatst aan de koffieautomaat iemand zeggen, ja, die KPIs, dat zijn eigenlijk kilometerpaaltjes op weg naar succes. Is dat een beetje een goede omschrijving?
[Coen de Bruijn]Ja, als het zou doen wat het zou moeten doen, dan zou dat inderdaad een mooie omschrijving zijn. Je weet ongeveer waar je bent ten opzichte van het doel. En dat is precies wat het zou moeten doen.
Key, kritisch en de meest belangrijke prestatieindicatoren.
[Richard Engelfriet]Hoe sta ik een beetje voor? Eigenlijk heel simpel, als ik bijvoorbeeld zeg ik wil gezond gaan leven. Dat is natuurlijk een beetje vaag.
En door middel van KPIs zou ik kunnen vaststellen, dat betekent voor mij dat ik, ik verzin maar wat, drie keer in de week naar de sportschool ga of maximaal twee alcoholische drankjes in de week doe. Zou dat een beetje een vorm zijn van KPIs in algemene zinnen?
[Coen de Bruijn]Ja, dus het meest belangrijke is dat je een doel hebt. Wat je wil meten, hoe je ervoor staat ten opzichte van het doel. En daar zou de prestatieindicatoren een goed middel toe zijn.
En smart, wat je net noemde, is meer hoe formuleer je dan dat doel. Doelen stellen op zich is niks mis mee. Er is veel onderzoek gedaan, met name door Lokke.
Die heeft heel veel onderzoek gedaan van, is het nou goed om een doel te stellen? Nou, dan komt duidelijk dat dat heel nuttig kan zijn. Alleen, hoe formuleer je een doel dan zo, dat het ook een beetje aanzet tot actie?
En die smart doelen zou daar dan een middel toe zijn. Alleen dat is dan weer nergens op gebaseerd. En er zit geen theorie achter die zegt, als je het smart doet, dan is het een goed doel.
[Richard Engelfriet]Want ik moet mezelf misschien even corrigeren. In de inleiding zei ik, je pleit voor minder KPIs, maar eigenlijk pleit je vooral voor het beter gebruiken van goede KPIs. Mag ik dat zo misschien net iets genuanceerder zeggen?[Coen de Bruijn]
Ja, de titel van mijn boek is Key Performance Illusions of kritische prestatieillusies. Dus er zit heel veel, er kan ontzettend veel misgaan. En we weten inmiddels wel dat cijfers niet alles zeggen en how to live with statistics of er zijn statistieken en er zijn leugens, echte leugens en statistieken.
Maar in de KPI wordt ook heel veel cijfers gebruikt en dat geeft een soort illusie van werkelijkheid. Ik ben op weg naar waar ik naartoe zou moeten, maar vaak is dat helemaal niet zo.
[Richard Engelfriet]Laten we anders een keer positief beginnen met een KPI waar je bijvoorbeeld wel buitengewoon enthousiast over bent, voordat mensen denken, hij vindt alles een illusie. En dat is de APCA score. En dat staat voor activity, pulse, grimace, appearance and respiration.
En dat is in Nederlands, het gaat dus over spierspanning, over hartslag, de kleur van de huid, hoe je reageert op prikkels en ademhaling. En dat meten ze bij pasgeboren baby’s. Dus na tien minuten na de geboorte heb je al een KPI te pakken.
[Coen de Bruijn]Ja, het is wel mooi als je nog geen vijf jaar bent en je hebt al een rapportcijfer. Het is inderdaad tussen de één en de tien. En de reden waarom dat zo’n goede indicator is, is omdat het echt iets zegt over die eerste vijf minuten.
Het claimt ook niet meer dan dat. Het zegt van de eerste vijf minuten, moet er iets met deze baby gebeuren? Moeten we ingrijpen?
En je loopt heel snel een aantal indicatoren af. Die meet je op bepaalde criteria en iedereen die betrokken is bij pasgeboren, kent die criteria en wordt ook toegepast. Hij is extra mooi omdat hij bedacht is door mevrouw Abkar, die destijds werd uitgelachen door alle specialisten.
Maar zij stond bij tienduizenden baby’s aan het bed en ze wist gewoon waar ze het over had.
[Richard Engelfriet]En dit is een KPI, daar redden we letterlijk levens mee.[Coen de Bruijn]
Ja, en daar redden we levens mee.[Richard Engelfriet]
Omdat we hier dus heel snel even een soort rode vlag kunnen zien van hey, daar is even iets mis, dan moeten we gelijk ingrijpen. Aan de andere kant, je noemde hem al even, we hebben ook KPIs waar je op z’n minst wat sceptisch over bent. Een hele beroemde is natuurlijk het smart maken van doelen.
Volgens onderzoek aan de Stanford Universiteit zouden mensen die hun doelen specifiek, meetbaar, acceptabel, realistisch en tijdgebonden maken, veel meer succes boeken dan mensen die zeggen ik maak er maar het beste van. Een klein detail, dat onderzoek is nooit uitgevoerd.
[Coen de Bruijn]Nou, dat onderzoek is nooit uitgevoerd en sterker nog, er zijn recent onderzoeken gedaan over hoe effectief is dat smart nou. Sowieso is degene die dat ooit bedacht heeft, had geen theorie erachter, die heeft gewoon achter z’n tekentafel een keer bedacht van dit lijkt me een leuke afkorting smart en dat klinkt heel smart. Maar nooit onderzocht.
Als je het echt gaat onderzoeken wat nodig is, dan kan je beter doelen stellen die uitdagend zijn en mensen aanzetten tot actie dan dat ze smart zijn. En er is een recent onderzoek wat 147 van die studies heeft onderzocht en eigenlijk geen enkel effect ziet van het smart stellen van doelen. Nou, als de doelen op zich al niet goed gesteld zijn, hoe ga je dan meten?
[Richard Engelfriet]Dan heeft het ook geen zin om te meten en om dan vast te stellen ja, we hebben ons smart gestelde doel gehaald en dat is een voorbeeld van zo’n key performance illusie. Een andere beroemde die denk ik veel mensen ook wel zullen herkennen, die we ook in jouw boek terugvinden, dat is de net promoters score en dat zegt misschien veel mensen niks, maar dat gaat om die vraag die krijg je heel vaak. Hoe groot is de kans dat u ons zou aanbevelen aan anderen?
Dus je hebt net iets gekocht, zo krijg ik hem dan vaak. Hoe groot is de kans dat u dan ons bedrijf zou aanbevelen bij anderen? Leg even uit, waarom heeft dat geen zin of waarom is dat geen goede KPI?
[Coen de Bruijn]Nou, hij is ontstaan omdat het idee is dat loyale klanten, tevreden klanten vaker terugkomen en meer producten gaan kopen. Dat is op zich geen onlogische gedachte. Dan is natuurlijk de truc, hoe herkennen we nou loyale en trouwe klanten?
Dan kan je heel erg veel tevredenheidsonderzoek gaan doen, vragenlijsten afstellen. Vroeger deden we dat ook, dan hadden we soms 10, 20 vragen. Alleen daar heeft ooit iemand bedacht, dat is allemaal heel lastig en we willen klanten niet te veel lastigvallen.
Dus we bedenken één vraag en met die ene vraag, dus een soort holy grail, waarmee we dus kunnen ontdekken of een klant loyaal is. En dat is deze vraag geworden, dat is ook de one single question, van zou je ons aanbevelen? En diegenen die daar dan een antwoord op geven, die worden er ingedeeld in drie groepen.
Mensen die een score geven van 9 en 10, dat zijn goede klanten, dat zijn loyale promotors. En je hebt mensen die alles geven tussen een 1 en een 6. Dat zijn eigenlijk de detractors, dat zijn mensen die helemaal niet zo positief zijn, die zullen dus ook niets aanbevelen aan anderen.
En je hebt nog zo’n groepje daartussen, dat zijn de 7 en de 8, en die geven eigenlijk niks. Dus eigenlijk sluit je al het hele Nederlandse volk uit, want als wij heel tevreden zijn, dan geven ze een 7.
[Richard Engelfriet]En dit is natuurlijk wel het leuke, dit kun je meten en dat is ook gedaan door allerlei wetenschappelijk onderzoek. En dan ga je dat correleren met omzetcijfers, met resultaat, met winst en daar komt iedere keer hetzelfde als homeopathie, het meet niks.[Coen de Bruijn]
Het meet niks, maar daarnaast is eigenlijk nog het grotere probleem, is dat degene die dit heeft voorgesteld, dat die promoters, passives, zijn nooit aangetoond. Dus je doet een soort suggestie van die groepen zouden kunnen bestaan, dus dat is een claim. Dan kun je meten met onderzoek in de populatie, bestaan die mensen en zijn ze dan ook loyaal en komen ze dan terug?
En als ze een 9 geven, gaan ze dan meer kopen? Niks toont aan en dus eigenlijk al vrij snel nadat de MPS was geïntroduceerd, zijn er onderzoeken geweest. Christensen heeft in 2014 al gezegd, dit gaat eigenlijk nergens, het is een soort luchtfietserij.
[Richard Engelfriet]Een soort waterstof inhalatie?[Coen de Bruijn]
Een soort waterstof inhalatie of sterrenbeelden. Dus je zegt iemand is een leeuw en dan ken je allerlei kenmerken, maar dat is nooit aangetoond dat die bestaan.[Richard Engelfriet]
Laten we er nog twee doen en dan gaan we natuurlijk ook over naar wat dan wel, maar die vond ik ook wel opvallend, medewerkerstevredenheidsonderzoeken en de lijstjes waar we ziekenhuizen mee vergelijken. Laten we even met die eerste beginnen. Medewerkerstevredenheid, die kennen we natuurlijk ook allemaal.
Wat vind je van ons als werkgever? Een keer per jaar doen we zo’n enquête onder alle medewerkers.
[Coen de Bruijn]Het grappige is dat die vraag dan van zou u ons aanbevelen ook dan weer terugkomt in de medewerkerstevredenheidsonderzoeken. Dus die vraag komt dan ook weer terug. Alleen het probleem daarmee is dat vaak die onderzoeken voor heel veel geld worden ingekocht.
Hoe meet je nou de medewerkerstevredenheid? Maar medewerkers weten heel goed dat daarna dan ook die gegevens gebruikt worden om het gesprek met hun aan te gaan. Dat is op zich niet verkeerd, dat gesprek aangaan van wat gaat er mis, maar hoe meet je gedrag?
Het probleem is een beetje dat psychologen en andere wetenschappers al jaren erover doen om te ontdekken hoe zit gedrag in elkaar, hoe zit gedrag op het werk in elkaar. En dit oversimplificeert door een aantal vraagjes te stellen, vaak één of twee vraagjes, en daarmee zou dan de empathie van de medewerker gemeten worden. Het probleem daarmee is dat het aan niet goed te meten is, maar de conclusies die men trekt op basis van die onderzoeken wel vaak gevolgen hebben voor medewerkers en het bedrijf waar ze werken.
[Richard Engelfriet]Want je krijgt dan dus ook weer een illusie van vorig jaar hadden we 7,2, dit jaar hebben we 8,3, dus we doen het nu beter als werkgever.[Coen de Bruijn]
Ja, en ik heb in het verleden ook wel collega’s gehad die zeiden van weet je wat ik doe met die medewerkerstevredenheidsonderzoeken? Ik vul ze super positief in. Want het gedoe wat ik krijg achteraf, als ik dan weer allemaal KPIs zie met rode vlaggen et cetera, dat is me het niet waard.
Ik doe liever mijn werk.
[Richard Engelfriet]Nou ja, dus daar zien we al hoe het dan gaat vertroebelen. Dan een ander, ook beroemd, media duiken daar ook altijd bovenop, die ziekenhuizen. Wat is daarmee?
Die vergelijkingen van hoe goed scoort dit en dat ziekenhuis?
[Coen de Bruijn]Ja, nou dat is eigenlijk best wel een trend die ontstaan is. Vroeger gingen we gewoon naar een ziekenhuis omdat je huisarts zei dat het een goed ziekenhuis was. Tegenwoordig doen we net alsof het naar het ziekenhuis te kopen is van een tv en je kijkt op internet naar allerlei indicatoren van hoe goed het ziekenhuis doet.
Maar eigenlijk is het bijna onmogelijk om die goed te definiëren. Een heel goed voorbeeld is aantal sterfgevallen per diagnose. Dat is dan zo’n ding wat je tegenkomt.
Maar er haken zoveel problemen aan zo’n KPI. Bijvoorbeeld diagnose, wat als iemand meerdere diagnoses heeft. Wat als je een heel goed ziekenhuis hebt, wat juist de risicogroepen en de specifieke…
Of de extra zware patiënten, zou ik maar zeggen. Nou, zich toehaalt. Of op het moment dat je dus kijkt, iemand overlijdt drie weken nadat hij in het ziekenhuis geweest is.
Tel je dat nog mee? Dus er zijn heel veel verschillende problemen. En eigenlijk wat het echte probleem is, dat het aan een ziekenhuis tegenwoordig niet meer te doen is om niet mee te doen.
Als je niet meedoet met dit soort onderzoeken, ben je verdacht. En kan je als ziekenhuis eigenlijk niet zeggen van… Ik ben goed, want je doet niet mee met deze onderzoeken.
[Richard Engelfriet]Terwijl we dus weten, het zijn eigenlijk onzinnige onderzoeken.[Pepijn van Erp]
Of in ieder geval onderzoeken die niet doen wat ze claimen. Hetzelfde heb je daar feitelijk met al die ranglijstjes van universiteiten en zo. Daar zitten ook allemaal modelletjes achter die iets meten.
En dan worden er een heleboel cijfers bij elkaar gegooid en dan komt er één cijfer uit. En heel veel universiteiten zeggen ook, eigenlijk geloven we er niet in. Maar ze doen wel mee.
[Richard Engelfriet]En we schieten ook nog door. Je had ook zo’n mooi citaat. Ik weet niet of het van jou kwam, maar jij zei het in ieder geval tegen mij.
How to lie with your KPI. Waar je dus ook een beetje tegen verzet. Jij zit ook in heel veel organisaties.
Je bent ook in alle organisaties natuurlijk geweest. Daar zijn soms wel dertig KPIs. En alleen dat al is ook een probleem.
[Coen de Bruijn]Zo’n NPS bijvoorbeeld. Wat ik zelf heb meegemaakt, is dat mensen mij van tevoren gaan bellen. Van goh, nadat je een dienst hebt afgenomen van ons, krijg je een vragenlijst.
En als u heel tevreden bent, zou u dan een 9 en een 10 willen geven. Dus je krijgt dat mensen vooraf mensen al gaan voorbereiden. Ik leverde mijn auto in voor een beurt en kreeg een formuliertje terug met letterlijk die oproep.
U wordt straks gebeld door het hoofdkantoor. Dit is hoe dat werkt. U krijgt deze vraag en zou u alsjeblieft dit willen antwoorden.
Daar is er op zich niks mis mee met het vragen hoe tevreden klanten zijn over de dienstverlening. En zeker als mensen ontevreden zijn om mensen terug te bellen. Maar daar heb je geen KPI voor nodig om je te vertellen dat iemand ontevreden was aan de telefoon.
En dat je dus even terug moet bellen. Van goh, wat gebeurde hier nou? En hoe kunnen we u de volgende keer beter helpen?
[Richard Engelfriet]Precies. Jij zei ook dat er niks mis is met het idee van een KPI. En het werkt uiteindelijk ook goed als je het dicht bij de werkelijke wereld houdt.
Er is ook niks mis mee met hoeveel kopen we in, hoeveel kosten maken we, dat type onderzoek. Je had ook nog een voorbeeld van een verffabriek waar ze het op een verstandige manier deden.
[Coen de Bruijn]Nou, de verffabriek, op het moment dat je zegt wat relateert nu in het geval van een verffabriek heel erg aan de tevredenheid van de klant is als je doet wat je belooft. Als je zegt, ik lever deze verfblikken in twee dagen en je doet het vervolgens in een week, dan kan je, veel onderzoek komt nagedaan, dan weet je dat mensen ontevreden worden en waarschijnlijk niet meer terugkomen. Dus je KPI die meet, lever ik de blikken in twee dagen, is een hele simpele, prima KPI.
Het doet ook niet meer dan dat het zegt. En daarmee kan je dus, zodra je KPI’s vindt die duidelijk gecorreleerd zijn en hopelijk zelfs nog een soort causaal verband heeft tussen het doel en dat wat je wilt bereiken en de KPI, dan kom je al een heel eind.
[Richard Engelfriet]Ja, en dan nou ook naar die adviezen en de dilemma’s, want mogelijk zitten er nu mensen te luisteren die op hun werk te maken hebben met dit soort KPI’s en die denken, zie je wel, ik wist het wel. Of misschien denken ze van, hé, dat wist ik helemaal niet, maar goed dat we hiermee aan de slag gaan. Die zitten bij hun eerstvolgende managementoverleg of die zitten, weet ik waar, in allerlei vergaderingen.
Heb je adviezen voor die mensen? Hoe kaart je dit op een productieve manier aan? Want alleen maar zeggen, het is onzin, dat weten we inmiddels, dat werkt natuurlijk ook niet.
[Coen de Bruijn]Nou, de vraag stellen van, wat proberen we nou eigenlijk te bereiken? Welk doel is hier nou aan gekoppeld? En weten wij zeker in onze context van ons bedrijf dat dit, niet omdat iedereen de NPS gebruikt of omdat iedereen een kostincorporatie doet, maar is het in onze context ook hetgene wat we willen bereiken?
Dat is al een hele nuttige vraag om te stellen. Plus begin eens met twee, drie KPI’s.
[Richard Engelfriet]Want jij zei ook al, misschien het gemak ten opzichte, een discussie met een homeopathisch arts, die ga je nooit winnen. Maar hier zei je van, ja, eigenlijk de meeste mensen weten wel dat we eigenlijk een beetje te veel KPI’s hebben. Iedereen voelt dit probleem wel aan en dat is ook wel een soort ingang.[Coen de Bruijn]
Nou, vaak is het wel zo dat mensen het ofwel zelf ervaren hebben. Kijk, financiële KPI’s, van hoeveel omzet draaien we, et cetera, zijn prima om op groter niveau te kijken waar gaat de organisatie naartoe. Maar het vertelt je niet waarom de organisatie minder omzet draait of waarom een organisatie meer omzet draait.
Dus wil je dat onderzoeken, zal je dus vaker terechtkomen bij gedrags-KPI’s die meten hoe tevreden de medewerkers zijn. En we weten eigenlijk allemaal wel, en daarom huren we daar ook zoveel consultants voor in, dat het eigenlijk heel moeilijk is om dat te meten. Dus dat aan de kaak stellen van wat zouden wij nou als medewerkers graag willen dat er gemeten wordt en hoe definiëren wij tevredenheid en hoe kunnen wij dat meten, dat helpt al enorm om op het gesprek aan te gaan.
[Richard Engelfriet]En in ieder geval hoor ik hier dus ook de tip, als je zo’n consultant inhuurt en hij komt aan met smart doelen stellen en een NPS invoeren, dan weet je al dat het te maken is met een slechte consultant.[Coen de Bruijn]
Nou ja, het is op zijn minst een copy-paste van wat iedereen al doet en waarschijnlijk heel veel geld gaat verdienen aan de implementatie. Want als het dan misgaat met die NPS en het levert niet op wat je wil, dan is het eerste wat je weet, je hebt hem verkeerd geïmplementeerd. Dat is de reactie die je krijgt.[Richard Engelfriet]
Je hebt je boek natuurlijk al een tijdje geschreven ook, we zullen ook weer een linkje plaatsen. Zijn er organisaties die jouw adviezen ook al te hard nemen? Krijg je weleens feedback, mailtjes, hoor je dingen of je komt ergens om te zeggen wij doen het sindsdien beter of anders?[Coen de Bruijn]
Nou, ik zie wel een trend in de HR en dat is wel iets wat goed is. Vroeger had je zelfs op individueel niveau KPIs en die werden dan per kwartaal besproken en dan kreeg je een eindcijfer, een 3,4 en dan was je goed of niet goed en dat was op een schaal van 5. Niemand kreeg een 1 en een 5, dus iedereen kreeg ongeveer een 3.
Niet te veel 4 en niet te veel 2, dus het was altijd een beetje average. Er zijn best veel bedrijven die de afgelopen tijd dat systeem hebben afgeschaft. En dat is al toe te juichen, want die vijf scoren die werkte helemaal niet en mensen voelden zich altijd heel oneerlijk behandeld.
Dus ik heb wel gemerkt dat er bedrijven zijn die dat in ieder geval gestopt zijn.
[Richard Engelfriet]Dat zijn in ieder geval ook weer positieve trends. Tot slot, we vragen al onze gasten altijd, welk boek zou iedere scepticus moeten lezen volgens jou?[Coen de Bruijn]
Ja, ik moet heel eerlijk zeggen dat ik een boek heb bedacht die ik zelf nog niet gelezen heb, maar het geeft me wel de gelegenheid om…[Richard Engelfriet]
Een soort reminder aan jezelf over straks.[Coen de Bruijn]
Een reminder aan mezelf. Maar ik hoorde dit boek in een college van Johan Braakman over de geschiedenis van de filosofie. En hij noemde het boek Leven is eenvoudig.
En het gaat over Occam’s scheermes en de invloed van die filosofie. Het gaat over Occam, over de persoon Occam, maar het gaat ook over de invloed die dat heeft gehad op de wetenschap.
[Richard Engelfriet]En het scheermes wat zegt, probeer alle humbug, alle rotzooi eromheen weg te halen, probeer bij de kern te houden.[Coen de Bruijn]
En het boek heet Leven is eenvoudig van McFadden.[Richard Engelfriet]
Kijk, we zullen ook hier een link plaatsen, dank daarvoor. En tot slot gaan we natuurlijk ook nog naar de maar van Maarten. En dat is een vraag die is ingebracht door Maarten Koller, ook bestuurzit van Skepsis.
En zijn vraag deze keer is, welke KPIs zou Skepsis moeten invoeren? Ja Koen, dat was een hele spontane vraag van Maarten deze keer. Heb je adviezen voor ons nu je er toch bent?
[Coen de Bruijn]Ja, ik wist natuurlijk al een klein beetje of ik vermoedde dat hij al zou komen. Ik heb even naar de website gekeken van Skepsis. En daar staat, ik moet het lezen even voor.
De stichting Skepsis stelt zich ten doel buitengewone beweringen aan kritisch onderzoek te onderwerpen. Nou, dat is een heel mooie uitdagend doel. Dus gelukkig niet smart, maar heel uitdagend.
Dus ik dacht van, hoe zet je dat nou? Ik dacht, als we nou het aantal rechtszaken wat tegen Skepsis wordt gevoerd, als we dat nou eens zouden meten, dan geeft het in ieder geval aan dat er een aantal mensen zenuwachtig en geïrriteerd zijn geraakt. Dus dan hebben we in ieder geval iets, we zijn iets aan het raken, wat waarschijnlijk dit doel bereikt.
[Richard Engelfriet]Pepijn, hoeveel rechtszaken worden er gevoerd tegen Skepsis?[Pepijn van Erp]
Tegen Skepsis als zodanig zijn er in de loop van de tijd, de 36 jaar dat we bestaanden, volgens mij maar twee, denk ik, gevoerd. Volgens mij ergens in de jaren negentig heeft een therapeut uit Groningen de hoofdredacteur aangeklaagd. En we hebben de beroemde zaak gehad, die eigenlijk met mij te maken heeft, waarbij Skepsis meegesleept werd door een Italiaans-Amerikaans onderzoeker, Ruggiero Santilli, die mij, ja, vanwege zijn lasteren, in Florida had aangeklaagd.[Richard Engelfriet]
Het zijn er niet heel veel dus.[Pepijn van Erp]
Nee, maar wij streven er ook naar om, ja, voor een goed te onderbouwen wat we publiceren in ons blad. Ja, en als het voor een goed onderbouwd, dan loop je ook niet zoveel kans dat je aangeklaagd wordt. Ze weten ook niet waar ze moeten beginnen dan.
Want, ja, echt gewoon blind een rechtszaak tegen iemand aanspannen, dat is natuurlijk niet zo verstandig. Dat gaat je alleen maar zelf geld kosten.
[Richard Engelfriet]En mag ik ook nog een poging doen, Koen? Want zelf zou ik er bijvoorbeeld voor pleiten dat we bij Skepsis een soort dashboard gaan maken met flauwekul-indexen. Dus het aantal gelovigen in homeopathie, het aantal mensen wat gelooft in een platte aarde, het aantal vaccinweigeraars.
Dat we daar een soort KPIs van maken en dat je daardoor ook een beetje strategie kan bepalen. We moeten toch iets meer nog die vaccins nou aan het gaan geven. Met homeopathie gaat het nu wel goed.
Is dat verstandig?
[Coen de Bruijn]Dat kan je doen, maar dan moet je wel kunnen aantonen wat jij dan specifiek doet om die groep kleiner te maken. En als die groep kleiner raakt, zijn wij het dan? Of wij als sceptische community?
Heeft dan de stichting het gedaan? Dus dat wordt heel lastig om aan te tonen. Als inzicht in hoe State of the Union betreft wappies, dat zou op zich wel een leuke zijn.
[Richard Engelfriet]Het zou in ieder geval iets kunnen zeggen, maar wel enige terughoudendheid als het gaat doen we er zelf iets mee. Pepijn, jij hebt ook nagedacht over deze vraag. Wat zou jouw KPI zijn of jouw eerste schot voor de boeg?
Dan kunnen we het gelijk even voorleggen.
[Pepijn van Erp]Wat wij natuurlijk meest van de hand liggen is natuurlijk te kijken naar hoe het loopt met onze abonnees en donateurs. Die lopen heel langs op, maar we hebben wel zo’n idee van wat moeten we doen om dat meer omhoog te krijgen. En dat zit dan toch vooral in de naamsbekendheid, denk ik.
Dus wij proberen natuurlijk wel om meer in andere media genoemd te worden. Want dat zien we wel. Ik heb een keer gehad dat er in het begin van de coronatijd, ben ik een keer geïnterviewd in de NRC.
Helemaal niet met corona te maken. Maar dan zag ik in een keer dat er heel veel nieuwe abonnees zich aanmelden. Dus dat soort dingen daar zoeken we wel een beetje naar.
Dus we gaan even kijken hoe vaak je wordt genoemd.
[Richard Engelfriet]Zijn dit verstandige KPIs?[Coen de Bruijn]
Ik denk als je in het verleden merkt dat het melden van de stichting in andere media dan je eigen media helpt in het aantal leden. En het aantal leden is een doel. Dan zou dat zeker meetbaar zijn.
Hoeveel andere artikelen dan onze eigen media hebben we gepubliceerd. Dat zou een hele meetbaar doel zijn.
[Richard Engelfriet]Nou, ik vind hem heel erg mooi. Dankjewel, Locoen, voor jouw bijdrage. En lieve mensen, dank uiteraard aan jullie voor het luisteren naar deze Skepsis podcast.
En als u zelf een bepaalde claim wilt laten testen of een eigen worsteling heeft als skepticus, laat het ons uiteraard weten. En daarnaast, net als wat Coen bij ons heeft gedaan, is alle feedback uiteraard welkom. Evenals uw suggesties voor een Skepsis KPI.
U bereikt ons via podcast-skepsis.nl. Mijn naam is Richard Engelfried, de gast waren Pepijn van Erp en Coen de Bruin. Samen maakten wij de Skepsis podcast. En over één ding zijn we niet skeptisch.
En dat is het verschijnen van de volgende Skepsis podcast. Daarom graag tot een volgende keer.
