Algoritmes getoetst

In het op 18 mei 2022 gepubliceerde onderzoek Algoritmes getoetst hebben wij op basis van risicoselectie 9 algoritmes die in gebruik zijn bij evenzovele uitvoeringsorganisaties van de rijksoverheid onderzocht en beoordeeld op hun werking. 
In 2021 heeft de Algemene Rekenkamer al in samenspraak met tal van (overheids)organisaties een toetsingskader voor algoritmes ontwikkeld: aan welke eisen moet elk algoritme in ieder geval voldoen? Zo’n overzicht met minimale vereisten ontbrak bij de rijksoverheid. In het onderzoek van 18 mei hebben wij 9 algoritmes langs de meetlat van dit toetsingskader gelegd. 

Het betreft zowel eenvoudige als complexe modellen. Sommige zijn ondersteunend, zoals bij verkeersboetes naar het juiste adres sturen of controle op vreemdelingen op mogelijk eerdere registratie in Nederland. Andere zijn deels automatisch besluitvormend. Bij het toekennen van huurtoeslag bijvoorbeeld, het bepalen of een bedrijf voldoet aan de voorwaarden voor TVL-coronasteun en of een aanvrager medisch rijgeschikt is. 

Niet alle onderzochte algoritmes voldoen op de basisvereisten

De onderzochte algoritmes die gebruikt worden door de politie, het directoraat-generaal Migratie van het Ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens voldoen op diverse aspecten niet. Bij de laatste 2 organisaties is de ontwikkeling en het beheer van het algoritme uitbesteed, maar ontbreekt het aan afspraken wie voor wat aanspreekbaar is. 
Zo kan de Rijksdienst voor Identiteitsgegevens niet zelf nagaan of het algoritme de kwaliteit van pasfoto’s correct vaststelt. Dit kan discriminatie in de hand werken. Deze rijksdienst voert ook geen effectbeoordeling uit op gegevensbescherming. 
Bij het criminaliteitsanticipatiesysteem van de politie ontbreekt onder meer controle op mogelijke vooringenomenheid. Dit algoritme voorspelt waar het risico op incidenten hoog is.

IT-beheer algoritmes vaak onvoldoende

Bij 6 van 9 onderzochte organisaties ontbreekt inzicht welke medewerkers toegang hebben tot data en het algoritme. Ongeautoriseerde toegang tot systemen kan tot beschadiging of verlies van data leiden, met alle gevolgen voor burgers of bedrijven. Zo lopen RVO (de coronacrisismaatregel Tegemoetkoming vaste lasten), het verzelfstandigde onderdeel Toeslagen van de Belastingdienst die de huurtoeslag toekent en de Sociale Verzekeringsbank die AOW-aanvragen beoordeelt risico’s, omdat het IT-beheer niet voldoende op orde is.

Wat zijn onze aanbevelingen?

We doen diverse aanbevelingen aan de betrokken bewindspersonen. Deze sluiten aan bij het onderzoek dat we in 2021 publiceerden.
Leg, met name bij uitbesteding of inkoop bij een andere partij, afspraken over de inzet van algoritmes vast en richt de continue monitoring op het nakomen van deze afspraken in. En: Zorg dat algoritmes en benodigde data beschermd worden door goed functionerende IT-beheersmaatregelen.
Een van de aanbevelingen gaat over het risico op vooringenomenheid in het model of als uitkomst bij het gebruik: Controleer voortdurend – tijdens ontwerp en uitvoering – op het effect van bias door algoritmes en voorkom daarmee dat onwenselijke systematische afwijkingen voor specifieke personen of groepen ontstaan.

Waarom onderzochten we deze algoritmes?

Algoritmes gebruiken is nuttig en behulpzaam, maar niet zonder risico’s. De betrokken ministers wordt onder meer aanbevolen systematische afwijkingen door algoritmes inzichtelijk te maken met controles op het effect van vooringenomenheid (bias). Dit verkleint de kans op onwenselijke uitkomsten bij de toepassing.
Zonder de inzet van algoritmes is rijksbeleid echter niet uitvoerbaar. Zo worden snel en geautomatiseerd miljoenen handelingen per maand verricht, problemen opgelost of voorspellingen gedaan. Uit het onderzoek blijkt dat het buiten werking stellen van een algoritme, zoals bij de Sociale Verzekeringsbank bij pgb-aanvragen, ook risico’s kan hebben. Dan is meer handwerk door ambtenaren nodig, terwijl er minder signalen binnenkomen van mogelijk misbruik van een publieke voorziening. 
Burgers en bedrijven moeten erop kunnen vertrouwen dat de inzet van algoritmes door de rijksoverheid op een verantwoorde wijze plaatsvindt.

Welke onderzoeksmethoden gebruikten we?

In het onderzoek is voortgebouwd op de inventarisatie die wij bij ons eerste onderzoek in 2021 (‘Aandacht voor algoritmes’ ) over algoritmes hebben uitgevoerd. Deze lijst hebben we aangevuld met een aantal bronnen. Ditmaal hebben we de inzet van 9 algoritmes beoordeeld aan de hand van ons toetsingskader algoritmes. Deze algoritmes zijn geselecteerd op basis van een aantal criteria: Impact op burgers of bedrijven, Risicogericht (daar waar de kans het grootst is dat het algoritme niet verantwoord wordt ingezet), uit verschillende domeinen, zoals het sociaal domein en het veiligheidsdomein. 
De geselecteerde algoritmes moesten in gebruik zijn. Daarnaast hebben we verschillende soorten algoritmes geselecteerd. 
 

Stand van zaken

Deze onderzoeksbevindingen zijn voor de staatssecretaris voor Digitalisering (Ministerie van BZK) reden geweest direct in te grijpen. Zij laat daarmee zien het Rekenkameronderzoek en haar coördinerende taak voor digitalisering binnen de rijksoverheid serieus te nemen. Zij gaat met de uitvoeringsorganisaties aan het werk om de tekortkomingen aan te pakken. Voor het zomerreces wil zij de Tweede Kamer informeren over eventuele vervolgstappen. 
Het onderzoeksrapport is op 18 mei 2022 (gelijktijdig met het verantwoordingsonderzoek over 2021) gepubliceerd en naar de Tweede en Eerste Kamer gestuurd.
Het rapport is op de website van de Algemene Rekenkamer geopenbaard.

Eerder relevant onderzoek: Aandacht voor algoritmes (26 januari 2021)