Als het aankomt op algoritmen, zijn de problemen van het Rijk breder dan alleen discriminatie

Weblogbericht | 02-08-2024 | Ewout Irrgang

Ewout Irrgang:

 Algoritmen besparen tijd en geld, maar brengen ook risico’s mee op het gebied van privacy en discriminatie.

Begin deze maand waarschuwde Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens (AP), in deze krant voor het wijdverbreide gebruik van discriminerende algoritmen bij verschillende overheidssystemen. Hij stelde dat op bijna elke plek waar de AP onderzoek doet, discriminerende systemen worden ontdekt waarbij een goede onderbouwing ontbreekt van de gebruikte risico-indicatoren. AI-wetenschapper Joris Krijger wierp daarna de vraag op of we als overheid wel voldoende ‘ethische infrastructuur’ hebben om afwegingen te maken tussen efficiënte en eerlijke beslissingen.

Vooropgesteld: Ik ben het roerend met Krijger en Wolfsen eens dat algoritmen heel vaak ontzettend handig zijn. Vorig jaar nog concludeerden we dat de minister van Sociale Zaken en Werkgelegenheid (SZW) door de inzet van een algoritme een belangrijk knelpunt heeft opgelost om het bestaansminimum te garanderen aan burgers bij wie beslag wordt gelegd op hun inkomen.

Risico’s toetsen

Algoritmen maken werk efficiënter, ze besparen tijd en geld. Een wereld zonder is inmiddels ondenkbaar. Maar ze brengen ook onmiskenbaar risico’s met zich mee. Daarom is het van doorslaggevend belang dat ze aan een aantal randvoorwaarden voldoen. Niet alleen dat ze niet discrimineren, maar ook dat informatie bijvoorbeeld veilig wordt opgeslagen, dat risico’s bewust worden afgewogen en dat ze doeltreffend zijn.

Als Algemene Rekenkamer doen we daarom veel onderzoek naar algoritmen bij het Rijk. We ontwikkelden een toetsingskader om algoritmen te kunnen controleren op al deze voorwaarden. In 2022 gebruikten we dat kader om negen algoritmen te onderzoeken. Daar zat van alles tussen: van de politie tot de dienst toeslagen en van een algoritme voor bijstandsuitkeringen tot een systeem van het Centraal Bureau Rijvaardigheidsbewijzen (CBR) dat bekijkt of mensen wel medisch rijgeschikt zijn.

Inmiddels staat de teller op dertien onderzochte algoritmen. Het geeft ons een mooie dwarsdoorsnede van het gebruik ervan. Conclusie: risico’s zijn er zeker. Slechts drie van de eerste negen voldeden aan alle basisvereisten. Maar die risico’s zijn zeer uiteenlopend. Zo nu en dan treffen we het risico op discriminatie aan, maar er zijn ook veel systemen waar het juist schort aan andere zaken, zoals privacy waarborgen, IT-beheer, of afspraken bij uitbesteding.

Marechaussee

Afgelopen jaar hielden we onder andere een systeem van de Marechaussee tegen het licht. Dat wordt op luchthavens gebruikt om te bepalen welke binnenkomende vluchten worden onderworpen aan intensievere controles. Daarbij wordt ook gewerkt met risicoprofielen, die de slechte reputatie hebben dat ze discriminerend van aard kunnen zijn. Maar daar kun je scherp op letten en het voorkomen.

We constateerden dat de Marechaussee inderdaad serieus werk maakt van de risicobeheersing rondom de inzet van het algoritme. Zo is er een stuurgroep om de profielen regelmatig te beoordelen. Op die manier zorg je ervoor dat een algoritme zo onbevooroordeeld en uitlegbaar mogelijk blijft. We zagen echter ook dat er op het gebied van IT-beheer bij de Marechaussee nog risico’s zijn. Het is niet uit te sluiten dat onbevoegden toegang kunnen krijgen tot het algoritme en daarin wijzigingen zouden kunnen aanbrengen. Anders gezegd: De Marechaussee heeft oog voor het tegengaan van discriminatie in het algoritme, maar moet nog wel werk maken van een veiligere IT-omgeving.

Het overkoepelende beeld dat na het schrijven van stapels onderzoeksrapporten over algoritmen bij ons blijft hangen, is dat het te gemakkelijk is om alleen op discriminatie te focussen, of te denken dat alle systemen discrimineren. Bovendien is het niet zo dat een onbevooroordeeld algoritme ook een onbevooroordeelde organisatie garandeert. Overal werken immers mensen van vlees en bloed, die elke dag professionele afwegingen maken.

We treffen soms systemen aan waarbij onvoldoende kan worden aangegeven waarom ze een bepaald onderscheid maken. Dan bestaat de kans dat een algoritme discrimineert. Maar er zijn ook organisaties die daar bewust mee omgaan, om de kans op fouten zo klein mogelijk te houden. Dan kunnen algoritmen gewoon doen waar ze voor bedoeld zijn: de overheid efficiënter maken zodat burgers en bedrijven daar vervolgens weer van profiteren.

Dit opinie-artikel is op 1 augustus 2024 in de Volkskrant verschenen.