1.4 - Cijfers als sturingsinstrument

Een overheid kijkt bijvoorbeeld naar de groei van het BBP, het werkloosheidspercentage of het aantal kinderen in buurten dat in armoede opgroeit. Ook bedrijven en banken gebruiken cijfers om op te sturen. Omzet, winst, ziekteverzuim, klanttevredenheid, LTV, EBITDA ga zo maar door. 

Doelen worden ook vaak in cijfers uitgedrukt. We hebben allemaal geleerd dat doelen SMART moeten zijn. De M in SMART staat voor meetbaar. Dus als iets niet meetbaar is kan het per definitie niet SMART zijn. Die meetbare component van een SMART-doel is vaak uitgedrukt in een KPI, een Key Performance Indicator. Een SMART-doel kan zijn: ‘Verhoog de klanttevredenheidsscore van 7,5 naar 8,5 binnen 6 maanden.’ Hierbij is de KPI dus de klanttevredenheidsscore .

Doel of middel?

Een KPI is een middel tot een doel, maar wordt op zichzelf ook al snel een doel. ‘De klanttevredenheidsscore moet 8,5 worden’. Zodra cijfers een doel op zich worden, kunnen ze hun oorspronkelijke waarde verliezen. Dit fenomeen staat ook wel bekend als de Wet van Goodhart. Die wet stelt dat als een maatregel een doel wordt, het niet langer een goede maatregel is. Zo kunnen ze onbedoeld strategisch gedrag uitlokken of perverse prikkels veroorzaken. 

Stel dat je in een poging armoede te bestrijden het aantal buurten waarin arme huishoudens zijn oververtegenwoordigd wilt verkleinen. Dat kun je SMART maken met als KPI ‘het aantal buurten met veel arme huishoudens’. Het oorspronkelijke doel is gericht op het tegengaan van armoede. Dan zou je misschien denken aan werkgelegenheidstrajecten, investeren in opleidingen of eventueel in directe financiële maatregelen zoals toeslagen of kortingen. Maar kijk je puur naar hoe het doel gemeten wordt, dan is het ook op andere manieren te bereiken. Je zou bijvoorbeeld kunnen kijken of je arme huishoudens meer kan spreiden. Dat kan statistisch tot minder armoede in buurten leiden, maar het aantal arme huishoudens blijft ongewijzigd. Een nog creatievere manier is om een aantal arme buurten administratief samen te voegen. Ook dan zou je doel gehaald zijn, en blijft het aantal arme huishoudens exact hetzelfde. 

In de bouw- en vastgoedsector zien we zulke vormen van strategisch gedrag (en perverse prikkels) in verschillende vormen terug. Een duidelijk voorbeeld is het WWS-puntensysteem, dat bedoeld is om huurprijzen te reguleren. Bij een bepaald objectief te bepalen puntenaantal hoort een bepaalde maximaal redelijke huurprijs. Helder, transparant en meetbaar. In de praktijk proberen beleggers soms net voldoende punten te behalen om een woning in de vrije sector te laten vallen. Het gevolg: optimalisatie van het puntensysteem in plaats van verbetering van de woningkwaliteit. 

Een tweede voorbeeld: de overheid gebruikt als indicator voor het meten van de CO2-uitstoot van woningen de uitstoot  per vierkante meter woning. Bouwers en ontwikkelaars kunnen de uitstoot per vierkante meter dus verlagen door groter te bouwen. Alleen neemt de totale uitstoot daarmee juist toe.

Een derde voorbeeld: doordat banken gunstiger financieringscondities hanteren bij panden met betere energielabels ontstaat er een incentive bij eigenaren (en taxateurs) om deze nét in een gunstiger label-categorie te laten vallen. 

Bij nieuwbouwprojecten is verkeersdruk en parkeren vaak een bepalende factor voor het aantal te ontwikkelen woningen. Op basis van verkeerskundige modellen wordt een inschatting gemaakt van de (extra) verkeersintensiteit en de bijbehorende behoefte aan parkeerplaatsen. Dat resulteert dan vaak in een maximumaantal woningen dat ergens mag komen. Maar hoe juist is deze berekening? Misschien gebruiken de uiteindelijke bewoners wel veel minder auto’s dan in de modellen was aangenomen. Op basis van feitelijk bezit en gedrag had je dan veel meer woningen op die plek kunnen bouwen.

Laatste voorbeeld: sommige eisen of toetsen gelden alleen voor projecten vanaf een bepaalde omvang. Bijvoorbeeld MER-rapportage, participatieverplichtingen of een bepaald percentage sociale woningbouw. Zo’n op zichzelf duidelijke ondergrens, die doorgaans als doel heeft om kleinere projecten niet onnodig ingewikkeld te maken, kan uitlokken dat een groot project administratief in kleinere delen of fasen wordt geknipt, zodat elk afzonderlijk deel steeds onder die drempelwaarde blijft. Slim misschien, strategisch zeker, maar in elk geval niet in de geest van de wet.

De politiek van tellen

Bovenstaande voorbeelden laten zien dat cijfers, als ze normatief worden ingezet, strategische gedrag en perverse prikkels kunnen veroorzaken. Ze sturen partijen, maar niet altijd in de gewenste richting. Dat roept de vraag op: hoe wenselijk is het om op cijfers te sturen en onder welke voorwaarden? Daar komt een fundamentele vraag bij: wat kiezen we eigenlijk om te meten? 

Cijfers zijn niet neutraal of objectief, maar altijd onderdeel van politieke, psychologische en sociale contexten. Het is wat Ilsa de Jong e.a. (2018) 'de politiek van tellen’ noemen. Wat wel en niet wordt meegeteld, en de manier waarop dat gebeurt, zijn politieke keuzes.

Bijvoorbeeld: het meten van ‘sociale impact’ of ‘betaalbaarheid’ vereist definities die niet neutraal zijn. Betaalbaarheid gaat om de vraag of de financiële lasten van een woning passen bij het inkomen van de bewoners. Dat is dus altijd relatief en ook subjectief. Toch is het  gebruikelijk om betaalbaarheidsdoelen te formuleren in harde getallen als ‘percentage X onder bedrag Y’. 

Wat niet meetbaar is, telt vaak niet mee. En dat is problematisch. In de zorgsector worden bijvoorbeeld Quality Adjusted Life Years (QALY’s) gebruikt om de waarde van behandelingen te meten. Daarin wordt de subjectieve ervaring van patiënten niet meegenomen. Veel verkeersbeleid is gebaseerd op voertuigverliesuren. Dat benadrukt wel economische (in)efficiëntie, maar niet per se leefbaarheid of duurzaamheid.

Wat je meet, en hoe, bepaalt wat je doet. 

De ethiek van AI

Ook de opkomst van AI en datagedreven besluitvorming vraagt om reflectie. Grootschalige algoritmes en voorspellende modellen kunnen helpen bij het analyseren van grote hoeveelheden data, maar zijn vaak black boxes; het is niet altijd duidelijk hoe ze tot hun conclusies komen. Dan is het niet alleen “Computer says no” maar kan ook niemand meer uitleggen waaróm de computer nee zegt. Bovendien kunnen algoritmes via feedbackloops bestaande vooroordelen in data versterken en zo ongelijkheid versterken. Zo kunnen HR-afdelingen sollicitanten automatisch filteren op basis van postcode, opleiding of online gedrag, wat sommige mensen uitsluit. Kredietwaardigheid bij banken wordt mede bepaald door modellen die gebruik maken van indirecte data (zoals winkelgedrag), wat kan leiden tot discriminatie. En in politieke campagnes versterken microtargeting en filterbubbels polarisatie, en manipuleren ze stemgedrag. Vanwege die intransparantie, de schadelijke feedbackloops en ook vanwege de grote impact op de levens van veel mensen, noemt datawetenschapper Cathy O’Neil deze datamodellen daarom ‘Weapons of Math Destruction’, als wrange parodie op massavernietigingswapens. Als we AI inzetten als sturingsinstrument, moeten we dus extra alert zijn op transparantie, uitlegbaarheid en ethiek.

Kortom: cijfers kunnen richting geven en ons helpen bij sturing. Maar cijfers sturen zelf ook ons gedrag. Dat vraagt om zorgvuldigheid, bewustzijn van bijwerkingen en een kritische blik op wat we wel en niet meten, én waarom.