Diverse algoritmes Rijk voldoen niet aan basisvereisten
Een verantwoorde inzet van algoritmes door uitvoeringsorganisaties van de rijksoverheid is mogelijk, maar in de praktijk niet altijd het geval. De Algemene Rekenkamer heeft bij 3 algoritmes vastgesteld dat deze voldoen aan alle basisvereisten. Bij 6 andere bestaan uiteenlopende risico’s: gebrekkige controle op prestaties of effecten, vooringenomenheid, datalek of ongeautoriseerde toegang.
Deze onderzoeksbevindingen zijn voor de staatssecretaris voor Digitalisering reden geweest direct in te grijpen. Zij laat daarmee zien het Rekenkameronderzoek en haar coördinerende taak voor digitalisering binnen de rijksoverheid serieus te nemen. Zij gaat met de uitvoeringsorganisaties aan het werk om de tekortkomingen aan te pakken. Voor het zomerreces wil zij de Tweede Kamer informeren over eventuele vervolgstappen.
De Algemene Rekenkamer noemt de reacties van specifiek de politie en dienst Migratie op de uitkomst van het Rekenkameronderzoek zorgelijk, omdat zij lijken af te wijken van de inzet van de staatssecretaris voor Digitalisering. De verantwoordelijk vakminister zou beide organisaties kunnen vragen de gesignaleerde risico’s bij de algoritmes aan te pakken, omdat deze wel degelijk burgers kunnen raken. Burgers en bedrijven moeten erop kunnen vertrouwen dat de inzet van algoritmes door de rijksoverheid op een verantwoorde wijze plaatsvindt.
Uitschakelen algoritme niet risicoloos
Algoritmes gebruiken is nuttig en behulpzaam, maar niet zonder risico’s. De betrokken ministers wordt onder meer aanbevolen systematische afwijkingen door algoritmes inzichtelijk te maken met controles op het effect van vooringenomenheid (bias). Dit verkleint de kans op onwenselijke uitkomsten bij de toepassing.
Zonder de inzet van algoritmes is rijksbeleid echter niet uitvoerbaar. Zo worden snel en geautomatiseerd miljoenen handelingen per maand verricht, problemen opgelost of voorspellingen gedaan. Uit het onderzoek blijkt dat het buiten werking stellen van een algoritme, zoals bij de Sociale Verzekeringsbank bij pgb-aanvragen, ook risico’s kan hebben. Dan is meer handwerk door ambtenaren nodig, terwijl er minder signalen binnenkomen van mogelijk misbruik van een publieke voorziening.
Van de 9 onderzochte algoritmes voldoen er 6 niet aan het toetsingkader
Eenvoudige en complexe algoritmes getoetst
Voor dit onderzoek heeft de Algemene Rekenkamer vorig jaar al in samenspraak met tal van (overheids)organisaties een toetsingskader ontwikkeld. Zo’n overzicht met minimale vereisten ontbrak bij de rijksoverheid. In dit onderzoek heeft de Algemene Rekenkamer 9 algoritmes bij uitvoeringsorganisaties getoetst. Het betreft zowel eenvoudige als complexe modellen. Sommige zijn ondersteunend, zoals bij verkeersboetes naar het juiste adres sturen of controle op vreemdelingen op mogelijk eerdere registratie in Nederland. Andere zijn deels automatisch besluitvormend. Bij het toekennen van huurtoeslag bijvoorbeeld, het bepalen of een bedrijf voldoet aan de voorwaarden voor TVL-coronasteun en of een aanvrager medisch rijgeschikt is.
De onderzochte algoritmes die gebruikt worden door de politie, het directoraat-generaal Migratie van het Ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens voldoen op diverse aspecten niet. Bij de laatste 2 organisaties is de ontwikkeling en het beheer van het algoritme uitbesteed, maar ontbreekt het aan afspraken wie voor wat aanspreekbaar is. Zo kan de Rijksdienst voor Identiteitsgegevens niet zelf nagaan of het algoritme de kwaliteit van pasfoto’s correct vaststelt. Dit kan discriminatie in de hand werken. Deze rijksdienst voert ook geen effectbeoordeling uit op gegevensbescherming. Bij het criminaliteitsanticipatiesysteem van de politie ontbreekt onder meer controle op mogelijke vooringenomenheid. Dit algoritme voorspelt waar het risico op incidenten hoog is.
IT-beheer algoritmes vaak onvoldoende
Bij 6 van 9 onderzochte organisaties ontbreekt inzicht welke medewerkers toegang hebben tot data en het algoritme. Ongeautoriseerde toegang tot systemen kan tot beschadiging of verlies van data leiden, met alle gevolgen voor burgers of bedrijven. Zo lopen RVO (de coronacrisismaatregel Tegemoetkoming vaste lasten), het verzelfstandigde onderdeel Toeslagen van de Belastingdienst die de huurtoeslag toekent en de Sociale Verzekeringsbank die AOW-aanvragen beoordeelt risico’s, omdat het IT-beheer niet voldoende op orde is.
De geautomatiseerde aanpak voor het vaststellen van medische rijgeschiktheid door het Centraal Bureau Rijvaardigheid voldoet aan alle basisvereisten. Dat geldt ook voor het koppelen van verkeersboetes aan kentekengegevens door het Centraal Justitieel Incassobureau en de controle via een algoritme op rechtmatigheid van bijstandsuitkeringen door het Inlichtingenbureau.