Aandacht voor algoritmes

Een algoritme is een set van regels en instructies die een computer uitvoert. Hiermee kunnen grote hoeveelheden data gecombineerd en geanalyseerd worden.
Het onderzoek Aandacht voor algoritmes belicht de kansen, bedreigingen en mythes over algoritmes.

Nog vooral eenvoudige algoritmes

Algoritmes gebruiken raakt belangen van burgers en bedrijven. Nu zijn het veelal nog eenvoudige algoritmes in processen voor bedrijfsvoering of dienstverlening, zoals het geautomatiseerd versturen van antwoordbrieven of een eerste selectie voor uitkeringen. Soms zet de rijksoverheid al innovatieve algoritmes in, al dan niet met gebruik van artificiële intelligentie.
Ministeries en uitvoeringsorganisaties als UWV en Sociale Verzekeringsbank hebben op verzoek vele tientallen algoritmes aangereikt. Volledig zelflerende algoritmes (die beleid uitvoeren zonder tussenkomst van een mens) heeft de Algemene Rekenkamer daar niet bij aangetroffen.

Toetsingskader voor algoritmes

Onderdeel van dit onderzoek is de ontwikkeling van een toetsingskader om de kwaliteit en verantwoorde inzet van algoritmes in de praktijk te kunnen beoordelen. De Rekenkamer nodigt de overheid uit dit toetsingskader, tot stand gekomen met inbreng van experts van binnen en buiten de rijksoverheid, ook als basis te gebruiken bij de ontwikkeling van nieuwe algoritmes.
Deze toets test een algoritme op aspecten van sturing en verantwoording, model en data, de privacy-waarborgen, de kwaliteit van de IT general controls (ITGC, zoals wie heeft toegang en hoe wordt met back-ups omgegaan) en ethische vragen. Bij ethische vragen staat de menselijke maat centraal. Doel van deze toets is het opsporen van mogelijke zwakheden bij het gebruik van algoritmes. Het toetsingskader staat in het rapport en is digitaal beschikbaar via https://www.rekenkamer.nl/algoritmes-toetsingskader 

Conclusies uit onderzoek

De Algemene Rekenkamer stelt vast dat bij algoritmes niet de burger, maar de overheid centraal staat. Er is bij de overheid oog voor de privacy van burgers, maar ethische aspecten krijgen weinig aandacht. Burgers moeten het gebruik en de werking van een algoritme kunnen begrijpen. Ook moeten zij weten waar zij terecht kunnen met vragen of bezwaren. Zorgen of twijfels over algoritmes verdienen serieuze aandacht.
Er is nog onvoldoende eenduidigheid en uniformiteit van begrippen bij algoritmes.
Een algoritme is niet risicoloos. Verkeerd gebruik van een dataverzameling kan een discriminerende werking hebben als deze vooroordelen bevat.
De overheid kan bij de inzet van algoritmes afhankelijk worden van externe leveranciers (eigendomsrecht, verwerking persoonsgegevens). De overheid dient data voldoende te beveiligen (sabotage, spionage en criminaliteit voorkomen), beheer en onderhoud van algoritmes moeten op orde zijn.
Het onderzoek heeft geleerd dat de onderzochte algoritmes te analyseren zijn; deze algoritmes zijn geen black box.

Wat zijn onze aanbevelingen?

De Algemene Rekenkamer doet diverse aanbevelingen. Zo wordt het kabinet aanbevolen om zorg te dragen voor een eenduidige gemeenschappelijk taal en concrete kwaliteitseisen voor algoritmes. Dat is nu onvoldoende geregeld. Afspraken over de inzet van algoritmes dienen vastgelegd te worden. En continue monitoring is nodig.
Burgers moeten inzicht in de toepassing van algoritmes kunnen krijgen en ergens terecht kunnen met hun vragen. Die verdienen serieuze aandacht.
We roepen het kabinet op ervoor te zorgen dat het toetsingskader vertaald wordt naar hanteerbare kwaliteitseisen.

Welke methoden hanteerden wij in ons onderzoek?

We hebben alle ministeries gevraagd soorten algoritmes aan te leveren. Die zijn geanalyseerd. Interviews met betrokkenen zijn afgenomen en documenten bestudeerd. Met behulp van het ontwikkelde toetsingskader zijn 3 algoritmes langs de meetlat gelegd.

Waarom onderzochten wij algoritmes?

Vanwege het toenemende gebruik, ook bij de rijksoverheid, van het instrument algoritmes maken zij een steeds groter onderdeel uit van de bedrijfsvoering bij rijksdiensten. Deze ontwikkeling zet zich de komende jaren naar verwachting door.

Stand van zaken

De staatssecretaris van Binnenlandse Zaken en Koninkrijksrelatie heeft als coördinerend bewindsman voor IT-beheer op de aanbevelingen en verbeterpunten gereageerd. In haar nawoord stelt de Algemene Rekenkamer vast dat bij vrijwel alle departementen een significante behoefte bij medewerkers bestaat naar meer eenduidigheid van te hanteren begrippen, richtlijnen en standaarden voor kwaliteit.
Het onderzoek is met de reactie van de staatssecretaris op 26 januari 2021 naar het parlement gestuurd en op onze website geplaatst.
Op 28 januari 2021 organiseren wij voor (betrokken) functionarissen uit overheid en bedrijfsleven een digitaal congres over dit thema.