De tirannie van de KPI

Data met impact – S01E02

De Tirannie van de KPI (Goodhart’s Law)

Stel, je belt de helpdesk. Je wifi hapert en je hebt over tien minuten een belangrijke call. Je krijgt een medewerker aan de lijn.

Het gesprek begint goed. De medewerker is beleefd, klinkt professioneel. Maar terwijl je je verhaal doet – over de router die knippert en de muur waar hij achter staat – merk je dat er haast bij zit. Je krijgt niet de ruimte om je zin af te maken. Al vrij snel komt de oplossing: “Ik zie het al, ik stuur u even een linkje naar de handleiding voor een reset. Als dat niet werkt, belt u maar terug. Fijne dag!”

Klik.

Je kijkt naar je telefoon. Je bent binnen twee minuten geholpen. Razendsnel. Maar… je wifi doet het nog steeds niet. En nu moet je die handleiding gaan lezen, waar je niks van snapt.

Wat gebeurde hier nu? Was deze medewerker lui? Ongeïnteresseerd? Waarschijnlijk niet. Grote kans dat deze medewerker juist heel hard zijn best deed om zijn target te halen. De ‘Average Handling Time’.

De gedachte daarachter is niet slecht. Het management denkt: “Klantvriendelijkheid betekent dat mensen niet lang in de wacht staan. Dus moeten we de gesprekken kort houden, zodat we meer mensen kunnen helpen.” Een logische gedachte. De intentie is goed: snelheid = service.

Maar als snelheid het enige is wat je meet… dan wordt snelheid belangrijker dan de oplossing. Dan krijg je medewerkers die – misschien wel tegen hun zin in – gesprekken afronden voordat de kern is bereikt. Op het dashboard kleurt het bolletje groen: “Gemiddelde gesprekstijd 2 minuten. Doel behaald!” Maar de werkelijkheid is een klant die met een kluitje in het riet is gestuurd.

Welkom bij Data met impact. De podcast over de zin en onzin van data, mensen en techniek. Mijn naam is Jeroen Buisman.

Vandaag gaan we het hebben over de tirannie van de KPI. Over waarom slimme organisaties toch domme dingen doen als ze zich blindstaren op één cijfer. En over de wetmatigheid die uitlegt waarom jouw dashboard soms groen kleurt, terwijl de werkvloer rood aanloopt.

De centrale stelling van vandaag is simpel: Je krijgt wat je meet. Maar niet altijd wat je wilt.

We denken vaak dat data objectief is. Een cijfer is een cijfer, toch? Maar we vergeten dat zodra je een maatstaf tot een heilig doel verheft, die maatstaf zijn waarde als meetinstrument verliest.

Dit fenomeen heet de Wet van Goodhart. En als je die eenmaal kent, zie je hem overal.

Het Mechanisme: Het Cobra Effect

Laten we even teruggaan in de tijd, voor een klassiek voorbeeld van hoe goede bedoelingen volledig kunnen ontsporen. Dit is een waargebeurd verhaal, en misschien ken je het al.

We zijn in India, in de tijd van de Britse overheersing. De koloniale overheid in Delhi had een probleem: er waren te veel cobra’s. Giftige slangen in de stad. Gevaarlijk voor de bevolking.

De Britten dachten rationeel. Ze dachten als economen. “We moeten zorgen dat de bevolking ons helpt.” Dus ze bedachten een premie. Voor elke dode cobra die je inleverde, kreeg je een paar roepies.

Het doel was helder: minder slangen. Het middel: betalen per stuk.

In het begin werkte het fantastisch. Mensen leverden massaal dode slangen in. De Britten waren tevreden: de data liet zien dat er duizenden slangen werden vernietigd. Succes!

Maar de lokale bevolking was slim. Die dachten: “Hé, een dode slang is geld waard. Maar wilde slangen vangen is moeilijk en gevaarlijk. Weet je wat makkelijker is? Ze zelf kweken.” Mensen begonnen cobra-kwekerijen in hun achtertuin. Puur om ze te doden en te cashen.

Toen de overheid erachter kwam dat ze betaalden voor gefokte slangen, stopten ze onmiddellijk met de premie. En wat deden de fokkers? Die zaten met duizenden waardeloze cobra’s die alleen maar geld kostten aan voer. Dus gooiden ze de hokken open.

Het eindresultaat? Er waren méér cobra’s in Delhi ná de campagne, dan ervoor.

Dit noemen we dus het Cobra Effect.

Het leert ons een belangrijke les over sturen met data: mensen optimaliseren hun gedrag naar de metriek, niet naar de bedoeling. Als je stuurt op “aantal dode slangen”, krijg je dode slangen. Maar je krijgt niet per se “veiligheid”.

Abstracte doelen zoals ‘kwaliteit’ of ‘veiligheid’ zijn moeilijk te kwantificeren en te meten.We willen iets wat we makkelijk kunnen tellen en daardoor: meten. En daar gaat het mis.

De Corporate Valkuil: Shell 2004

Nu is zo’n slangenverhaal grappig, maar in het bedrijfsleven gebeurt precies hetzelfde. En daar zijn de gevolgen soms desastreus.

Kijk naar Shell in 2004. Het bekende reserve-schandaal. Shell werd door de beurs afgerekend op één specifiek getal: de Reserve Replacement Ratio. Simpel gezegd: vind je net zoveel nieuwe olie als dat je oppompt? Dat getal bepaalde de beurswaarde én de bonussen van de top.

De druk om dat cijfer op 100% te houden was gigantisch. Maar nieuwe olie vinden is moeilijk. Wat gebeurde er? Managers begonnen de regels voor wat “bewezen olie” is, steeds creatiever te interpreteren. Olie die misschien heel moeilijk op te pompen was, werd toch als “bewezen reserve” in de boeken gezet.

Niet omdat die managers slechte mensen waren die de boel wilden flessen. Maar omdat het systeem ze duwde. Als iedereen naar één cijfer kijkt, ga je je richten op dát cijfer. Ook als de werkelijkheid misschien anders is, of niet zo zwart-wit als het cijfer wil.

Toen het uitkwam, moest Shell 20% van de reserves afboeken. Een vijfde van het bedrijf was lucht.

Dit is het ‘Groene Vinkjes Syndroom’. In de bestuurskamer staan alle lampjes op groen. “We hebben onze targets gehaald!” Maar buiten, in de werkelijkheid, klopt er niets van. De kaart (het dashboard) is belangrijker geworden dan het gebied (de werkelijkheid).

De Zorg Paradox: Context is Alles

In de zorg zie je dit misschien wel het sterkst. Want daar proberen we iets heel complex – gezondheid en kwaliteit van leven – te vangen in simpele cijfers.

Laten we eens beginnen met de medewerkerskant: verzuimcijfers. Elke teamleider stuurt op het verzuimpercentage. Dat moet omlaag. Je wilt dat doen door mensen gezonder te maken, en gezond te houden.

Maar, let op, verzuim is een breuk: aantal zieken gedeeld door totaal aantal medewerkers. Het percentage wordt ook lager door de noemer te vergroten. Simpelweg door meer mensen in dienst te hebben, wordt je percentage al lager, waardoor je dus op papier heel goed scoort, maar het aantal zieke collega’s was precies even hoog. De werkdruk voor de blijvers was precies even hoog. Maar de managementrapportage zei: “Goed bezig, het percentage daalt.” Je stuurt dan op de wiskunde, niet op de mensen.

Maar laten we de stap maken naar de patiënt.

Ik bleek recent een liesbreuk te hebben. Ik wilde snel geholpen worden. De toegangstijden van de ziekenhuizen in de buurt waren prachtig: “Toegangstijd: 1 à 2 werkdagen.” Fantastisch, dacht ik. Ik ben zo aan de beurt.

Ik maak een afspraak, kom op de poli, heb een gesprekje van tien minuten met de arts. En dan komt de klap. “Meneer, we gaan u opereren. De wachttijd voor de OK is momenteel… zes weken.”

Wat meet het ziekenhuis hier? De “Toegangstijd Poli”. Die KPI staat op groen. Ik ben namelijk binnen 2 dagen gezien. Target gehaald! Maar als patiënt had ik geen behoefte aan een gesprek, ik had behoefte aan een operatie.

Het gevolg? Ik ben naar een Zelfstandig Behandel Centrum (ZBC) gegaan en werd daar binnen twee weken geopereerd. Het ziekenhuis is een ‘klant’ kwijt. Ik ben, wat de behandeling in het ziekenhuis betreft, eigenlijk ontevreden. Maar… in de managementrapportage van het ziekenhuis tel ik mee als een succes. Ik heb immers bijgedragen aan de lage gemiddelde toegangstijd van de poli.

Ok, ander voorbeeld dat ik absoluut wil noemen. Zag ik laatst langskomen. Het gaat over een dame van 101 in een verpleeghuis. Ze is dol op appelmoes. Elke dag een schaaltje. Maar de diëtist zegt: “Nee mevrouw, dat mag niet meer. In appelmoes zit veel suiker. En suiker is ongezond.”

Kijk, het feit klopt. “Appelmoes is ongezond” is een regel die in het systeem staat. De data (suikerinname) gaat in het rood. Maar in welke context meten we dit? Deze vrouw is 101! Wat willen we hier bereiken? Dat ze met perfecte bloedwaarden 102 wordt maar niet geniet? Of dat ze gelukkig is in haar laatste levensfase?

Hier zie je precies waar het misgaat. We passen een algemene regel toe op een context die de regel irrelevant maakt.

En dit brengt me bij misschien wel het beroemdste voorbeeld van data-interpretatie. Om het af te leren. We gaan even terug naar de Tweede Wereldoorlog.

De geallieerden analyseerden de bommenwerpers die terugkwamen van missies boven Duitsland. Ze brachten in kaart waar de vliegtuigen waren geraakt. Overal zaten kogelgaten: in de vleugels, in de staart, in de romp. De generaals zeiden: “Duidelijk. De data laat zien dat ze in de vleugels worden geraakt. We moeten extra pantser aanbrengen op de vleugels en de staart.”

Maar de wiskundige Abraham Wald zei: “Nee. Je moet pantser aanbrengen op de plekken waar geen gaten zitten.” De generaals keken hem aan alsof hij gek was. Wald legde uit: “Jullie kijken naar de vliegtuigen die zijn teruggekomen. De vliegtuigen die in de motor of de cockpit zijn geraakt… die zijn niet teruggekomen. Die liggen in Duitsland.”

Dit heet Survivorship Bias. Je kijkt naar de overlevers. Naar de data die je hebt. En je vergeet de data die je niet hebt.

Vertaal dit eens naar je eigen organisatie. Je meet de tevredenheid van de mensen in de wachtkamer. Maar meet je ook de mensen die zijn weggelopen omdat de wachttijd te lang is? Je analyseert de klachten die binnenkomen. Maar zie je ook de klanten die in stilte zijn overgestapt naar de concurrent?

Als je alleen stuurt op wat je meet, versterk je de vleugels, terwijl je motor in brand staat.

De Oplossing: Hoe dan wel?

Oké, het probleem is duidelijk. Als we blind staren op één cijfer zonder context, gaan we rare dingen doen. Moeten we dan maar stoppen met meten?

Nee, natuurlijk niet. Zonder data vlieg je blind. Maar we moeten data anders gebruiken, slimmer gebruiken.

Regel 1: Meet nooit alleen snelheid, meet ook kwaliteit. Als je stuurt op ‘Korte Toegangstijd Poli’, moet je tegelijkertijd meten: ‘Doorlooptijd tot behandeling’. Of patiënttevredenheid. Als de ene groen is en de andere rood, weet je dat je jezelf voor de gek aan het houden bent. Je dwingt het systeem in balans.

Regel 2: Snap de breuk en de context. Kijk niet alleen naar het percentage, kijk naar de absolute getallen. En vraag bij elke regel: voor wie doen we dit? Mag die mevrouw van 101 misschien gewoon haar appelmoes, ondanks wat het dashboard zegt? Durf af te wijken van de kille logica van het systeem als de menselijke maat daarom vraagt.

Regel 3: Vraag je af wat je NIET ziet. Denk aan de vliegtuigen. Kijk naar de witte vlekken in je data. Welke patiënten zien we niet? Welke klachten horen we niet? Soms zit de belangrijkste informatie in de stilte.

Regel 4: Gebruik data als rookmelder, niet als thermostaat. Veel managers gebruiken data als thermostaat: rood cijfer = automatische actie. Maar de werkelijkheid is te complex voor automatische piloot. Gebruik data als een rookmelder. Als het lampje gaat branden, betekent dat: “Hé, er is iets aan de hand. Ga kijken.”

Ga naar de werkvloer. De Gemba Walk. Als de data zegt dat de toegangstijd kort is, maar je hoort gemor in de wachtkamer, ga dan praten. Dat zie je niet in je Excel-sheet. Data is het startpunt van het gesprek, nooit het eindpunt.

Conclusie & Outro

We komen aan het einde van deze aflevering.

We hebben gezien hoe Cobra’s, olie-reserves, appelmoes en vliegtuigen ons allemaal hetzelfde vertellen: een cijfer zonder context is gevaarlijk.

De kunst van data met impact is niet om meer te meten. De kunst is om te begrijpen wat je meet, in welke context je dat doet, en wat je misschien niet ziet.

Durf verder te kijken dan het groene vinkje. Vraag jezelf niet alleen af: “Staan de seinen op groen?” Maar vraag: “Zijn we nog wel bezig met de bedoeling?”

Wat je je moet afvragen is: gaat deze metric, of deze combinatie van metrics, gaat dit je doel bereiken? Als je op al die metrics goed scoort, heb je dan écht je doel bereikt? Daar moet je bij stilstaan; het is eigenlijke en sanity-check op je metrics. “Als ik hieraan voldoe, bereik ik dan mijn doel? En klopt mijn doel eigenlijk wel?”

Als het antwoord daarop “Nee” is, en daar moet je echt heel kritisch in zijn, dan heb je dus niet de goede metrics. Dan moet je méér meten, anders meten, meer nadenken over wat je doet.

Want uiteindelijk draait het niet om het dashboard, maar om de impact die je maakt in de werkelijkheid.

En dat brengt me bij de kern van waar we het in deze podcast steeds over hebben. Data geeft antwoorden. We hebben meer antwoorden tot onze beschikking dan ooit. Maar die antwoorden zijn waardeloos als je de verkeerde vragen stelt.

Want onthoud: Een goed antwoord begint met een betere vraag.

Bedankt voor het luisteren. Vond je dit een interessant verhaal? Deel het dan met die ene manager die nog steeds stuurt op alleen maar output. En heb je zelf een mooi voorbeeld van sturen op een KPI wat helemaal z’n doel voorbijschiet? Laat het me weten op LinkedIn.

Tot de volgende keer!