Blog: Carsten Busch, docent en auteur
Ergens is het een waarheid geworden die we klakkeloos aannemen, zonder na te denken herhalen, al dan niet in aangepaste vormen als: “If you can’t measure it, you can’t manage it”. Dit beinvloedt ons denken. Je zag dit heel nadrukkelijk in de afgelopen twee jaar. Dat zegt Carsten Busch, auteur, docent en expert op het gebied van risicodenken. Hij laat hier zien wat er fout kan gaan.
Ik kijk kritisch naar het gebruik en misbruik van getallen. Vooral in het afgelopen jaar. Ik geloof niet dat ik eerder in de pakweg halve eeuw die ik op deze aarde heb mogen vertoeven een dergelijke obsessie met getallen heb gezien als in de afgelopen periode. Continue werden we gebombardeerd met aantallen doden, mensen op IC of besmettingen. En dat dan per dag, per week, per regio of land en per 100.000 inwoners. Er werd gesproken en gespeculeerd over R-waardes en benodigde percentage gevaccineerde of immune personen. Nog later kwamen er getallen bij over hoe lang de vaccins zouden werken, bij hoeveel procent, en welke bevolkingsgroepen en leeftijden.
Getallen lijken zekerheid te geven. Meten is immers weten. En het lijkt zo logisch, want als er veel doden zijn is het een gevaarlijke ziekte. En als er veel besmettingen zijn dan is dat een duidelijk signaal dat we iets moeten doen. En dus werden allerlei conclusies verbonden aan deze getallen. Het ging beter. Het ging slechter. Er was een uitbraak. Gebieden werden rood, oranje, groen, en weer rood. De reacties en het omgaan met deze getallen, zowel van leken als politici en ook experts maakte weer eens duidelijk hoeveel moeite mensen hebben met getallen en vooral kansen. Want al die logische aannames, zijn die wel zo waar als we denken? Laten we er even een paar bespreken.
 | De veranderende wereld vraagt om stevig leiderschap van veiligheidsprofessionals. Tijdens deze reeks krijg je de nieuwste inzichten en handvatten aangereikt van absolute topexperts over o.a. veilig risicoleiderschap, bevlogen medewerkers en psychologische veiligheid. |
Media (en anderen) kiezen en gebruiken graag het meest dramatisch klinkende getal of het getal dat best in hun straatje past en hun argument ondersteunt. In veel gevallen is dat een relatieve kans (of relatieve frequentie, of relatief risico). Echter, een dramatisch klinkend getal betekent misschien in de praktijk niet echt veel. Een stijging van 300% in het aantal besmettingen klinkt dramatisch, maar als het er gisteren 1 was en vandaag zijn het er 4, dan is dat op 17 miljoen mensen nog steeds niet veel. In plaats van het relatieve risico zou men het beter in natuurlijke frequenties kunnen uitdrukken (een stijging van 1 per 17 miljoen naar 4 per 17 miljoen).
Behalve dat je moet oppassen welk getal je kiest, is er ook nog het probleem dat getallen de indruk wekken precies te zijn. Maar het getal verhult vaak dat er sprake is van onzekerheidsfactoren. Vooral omdat meestal alleen het getal wordt gecommuniceerd en niet wat er omheen zit aan aannames en andere onzekerheden. In plaats van een getal hebben we het meestal over een bepaalde “range”, waardoor het onzinnig kan zijn om met getallen achter de komma te goochelen. Hoort u een bericht dat “de R-waarde deze week 1,2 is”, is het verstandig te bedenken dat hier een onzekerheidsmarge omheen zit. Hierdoor hebben we waarschijnlijk te maken met een range tussen de 0,7 en 2,1. Die getallen komen trouwens uit mijn dikke duim. Ik laat me graag corrigeren door iemand die er wel echt aan heeft gerekend of het heeft opgezocht.
Veel mensen denken dat getallen voor zichzelf spreken. Dat is een andere veelgehoorde uitspraak die de plank behoorlijk misslaat. Getallen moeten namelijk geïnterpreteerd worden. Ze vertellen niet zelf het verhaal, dat moeten wij voor ze doen. En dan moet je bijvoorbeeld oppassen bij het verbinden van oorzakelijke verklaringen of conclusies aan de richting van een getal. Als het aantal positieve testen stijgt, dan is een voor de hand liggende aanname dat een ziekte in opmars is en dat het slecht gaat. Maar dat is slechts een van de mogelijke verklaringen. Voordat je een conclusie trekt is het belangrijk om ook eerst alternatieve verklaringen te onderzoeken die misschien waarschijnlijker zijn. Zo hebben we bijvoorbeeld gezien dat een van de belangrijkste factoren voor een hoger aantal positieve testen is dat er meer wordt getest. Of er een groter besmettingsprobleem bestaat is nog maar de vraag.
Er werd ook overdreven betekenis gegeven aan veranderingen op korte termijn. Een verandering van de ene dag op de andere, en ook niet van een paar dagen achtereen, maakt geen trend. Mogelijk dat mensen het woord “tendens” verwisselen met “trend”? Die twee termen hangen overigens wel samen. Een tendens gaat over richting. Een trend gaat over een tendens gedurende een langere periode. Hoe lang, dat hangt af van het onderwerp, maar het is beslist meer dan een paar dagen (of weken zelfs). Om te kunnen spreken van een trend, moet je ook met enige zekerheid uitsluiten dat de richting waarin metingen gaan niet het gevolg zijn van toeval of van natuurlijke variaties.
Mensen zijn niet van nature geschapen om met statistiek om te gaan. Dat is niet iets waar we intuïtief goed in zijn. Behalve als de gegevens op bepaalde manieren worden gepresenteerd. Het merendeel van de mensen is onbekend met basale statistische principes. De afgelopen tijd werd schrijnend duidelijk dat mensen, inclusief die waarvan je weet dat ze met adviseren over risico’s hun brood verdienen, bepaalde basale principes niet onder de knie hebben. Het fenomeen “fout positief” bijvoorbeeld. Als je uitgebreid gaat testen op een bepaalde eigenschap (bijvoorbeeld “besmetting”) binnen groepen personen waar dit nauwelijks voorkomt (bijvoorbeeld “gezonde mensen”), dan is de kans dat een positieve uitslag fout is aanmerkelijk groter dan de kans dat het daadwerkelijk “raak” is. Het niet onderkennen van deze “baserates” is een veel voorkomende misser. Als vervolgens op basis hiervan besluiten worden genomen, kan dit tot negatieve gevolgen leiden. Bijvoorbeeld overreageren omdat men meent dat er een groter risico is dan er in werkelijkheid is.
Een andere bekende uitspraak is “Bezint eer ge begint”. Die is bijzonder van toepassing als je het hebt over het meten van veiligheid. Om te beginnen moet je namelijk bedenken wat je gaat meten en hoe dat gerelateerd is aan veiligheid. De volgende stap is dan te bedenken hoe je meet. Heb je wel getallen nodig hiervoor of kan het ook anders? Daarna moet je bedenken hoe je de getallen (en andere gegevens) interpreteert, welke conclusies je eraan verbindt en hoe je dit voor verbetering kunt gebruiken. Bovendien is er de vraag over hoe je de data communiceert. En als je wilt vergelijken (met doelstellingen, of andere bedrijven) welke waarde dit heeft – en welke valkuilen daar misschien aan verbonden zijn.
Carsten Busch doceert, adviseert en schrijft over omgaan met risico’s. Hij adviseert sinds zes jaar over arbeidsveiligheid binnen de Noorse politie en werkte eerder als veiligheidskundige bij de offshore, maar vooral bij NedTrain en ProRail in Nederland. Hij is auteur van diverse boeken. Onder andere ‘Veiligheidsfabels 123’ en het Engelstalig boek over het thema meten en veiligheid: ‘If You Can’t Measure It… Maybe You Shouldn’t: Reflections on Measuring Safety, Indicators, and Goals’.