Uit het onderzoek ‘Algoritmes getoetst’ blijkt dat bij zes algoritmen uiteenlopende risico’s bestaan, variërend van gebrekkige controle op prestaties of effecten, tot vooringenomenheid, datalek of ongeautoriseerde toegang. De onderzochte algoritmes die gebruikt worden door de politie, het directoraat-generaal Migratie van het ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens voldoen op diverse aspecten niet. Bij de laatste twee organisaties is de ontwikkeling en het beheer van het algoritme uitbesteed, maar ontbreekt het aan afspraken wie voor wat aanspreekbaar is.
Geen goede afspraken
‘We hebben gezien dat er soms geen goede afspraken worden gemaakt over wat het algoritme moet kunnen. Of dat er geen afspraken worden gemaakt om te controleren of een algoritme werkt zoals de bedoeling is. Dat is extra belangrijk als de overheid een andere organisatie vraagt om een algoritme te maken of te beheren. Het gevaar is dat de overheid zelf dan niet meer in de gaten kan houden of het algoritme veilig gebruikt wordt’, aldus de Algemene Rekenkamer.
Een ander verbeterpunt is IT-beheer. Algoritmes gebruiken gegevens van mensen en bedrijven. Organisaties die algoritmes gebruiken moeten goede afspraken maken over wie wel en wie niet met die gegevens mag werken. De Rekenkamer heeft gezien dat niet alle organisaties zulke afspraken hebben gemaakt. Daardoor kunnen de organisaties niet zeker weten of de gegevens van burgers en bedrijven veilig zijn.
Een derde verbeterpunt is bias. Bias betekent dat de uitkomsten van het algoritme voor sommige groepen mensen verkeerd zijn. Doordat er een fout zit in een algoritme of doordat er bij het maken van het algoritme verkeerde informatie in het algoritme is gestopt. Het onderzoek laat zien dat organisaties niet controleren of dat soort fouten in algoritmes zitten. Daardoor kunnen de organisaties niet zeker weten of de uitkomsten van het algoritme voor alle mensen hetzelfde zijn.
In een reactie op het rapport stelt Van Huffelen aan de slag te gaan met de departementen om de tekortkomingen aan te pakken.
Gedrag van mensen
Het Rathenau Instituut onderzoekt (in opdracht van het ministerie van BZK) in het rapport ‘Algoritmes afwegen’ het gebruik van profilerende algoritmes door uitvoeringsorganisaties. Deze algoritmes proberen het gedrag van mensen te voorspellen door hen in te delen in groepen. Om te voorkomen dat dit leidt tot beoordeling op basis vooroordelen, pleit Rathenau voor de inzet van adviseurs om kennis van, en het gevoel voor ethische vraagstukken bij de rijksoverheid te vergroten. Bij het goed van informeren van burgers over het gebruik van algoritmes kunnen burgerpanels worden ingezet.
De aanbevelingen van het Rathenau Instituut zijn:
- Verbeter de hanteerbaarheid van de juridische vereisten en ethische beginselen;
- Stimuleer ethische expertise in de gehele organisatie;
- Blijf investeren in privacytoetsing;
- Versterk de manier waarop bias-toetsing plaatsvindt;
- Investeer in een actieve informatievoorziening;
- Versterk de waarborgen voor procedurele rechten;
- Waak voor verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen.
De aanbevelingen komen voort uit gesprekken over de genomen maatregelen ten aanzien van profilerende algoritmes bij het UWV, het CJIB en de SVB.