Tests, pilots, proeven, houtskoolschetsen, proof of concepts. Bedrijven en overheden experimenteren er flink op los met ai. Maar in die drang naar nieuwe toepassingen zien ze de AVG nogal eens over het hoofd, zegt AP-directeur systeemtoezicht, beveiliging en technologie, Cecile Schut.
In een online-sessie van de AP tijdens het congres Nederland Digitaal waarschuwt de privacy-toezichthouder dat er ook voor het gebruik van persoonsgegevens in ai-testtrajecten strenge regels gelden. ‘Vaak wordt vergeten dat die ook onder de AVG vallen.’
Ze verwijst naar de verantwoordingsplicht van partijen die persoonsgegevens gebruiken. Daarin moet op papier staan met welk doel bepaalde data worden gebruikt. Ook moet bij controle door de AP of navraag van een betrokkene die informatie beschikbaar zijn.

Hoog privacy-risico

De AP wijst erop dat wanneer gegevensverwerking waarschijnlijk een hoog privacy-risico oplevert voor betrokkenen, het verplicht is om een data protection impact assessment (dpia) op te stellen. Die beoordeling is dus ook verplicht voor tests waarin persoonsgegevens worden gebruikt.
In het dpia moeten vooraf alle verwerkingen verantwoord worden. Zo moet de vraag gesteld worden of er een redelijke verhouding is tussen het doel en het ingezette middel (proportionaliteit) en waarom dit de beste manier is om dat te bereiken (subsidiariteit). Ook de risico’s op ongewenste uitkomsten (bias) en fouten in het algoritme moeten benoemd zijn. In het dpia staat verder informatie over beveiliging, de rechten van betrokkenen, transparantie en uitlegbaarheid van ai. De AP benadrukt dat het gaat om een doorlopend proces dat regelmatig geëvalueerd moet worden.

Voorleggen voor advies

Schut adviseert om ai-plannen altijd voor te leggen aan de functionaris gegevensbescherming van de eigen organisatie. Dat is degene die binnen de organisatie toezicht houdt op de toepassing en naleving van de AVG. Voor sommige organisaties is zo’n functie verplicht. Zijn er daarna nog vragen, dan kan de functionaris eventueel aankloppen bij de AP voor raadgeving, meldt Schut.

Onzichtbare ontwikkeling

Om grip te krijgen op risicoprofielen en voorspellende systemen bij de overheid, deelt het College voor de rechten van de mens een Handreiking – (Semi-)geautomatiseerde besluitvorming door de overheid. Daarin staan stappen die overheden kunnen nemen om te voorkomen dat ze door de inzet van ai en algoritmen burgers discrimineren of benadelen.
‘De (lokale) overheid zet op grote schaal computers in bij besluiten over burgers. Een neveneffect is dat risicoprofielen en voorspellende systemen kunnen leiden tot schending van de mensenrechten. Zo kunnen fouten in data en algoritmes zorgen voor discriminatie. Daarnaast wordt het moeilijker om een besluit aan te vechten’, lichten de samenstellers toe.
‘Ondanks grote incidenten als etnisch profileren door de Belastingdienst en ingrijpende controles op bijstandsfraude door verschillende gemeenten, is (semi-)geautomatiseerde besluitvorming nog steeds een onzichtbare ontwikkeling. Door fouten in data en algoritmes kunnen groepen burgers als fraudeur worden aangemerkt. Bovendien wordt het in de praktijk moeilijker om een besluit aan te vechten, want burgers ontvangen niet altijd de achterliggende – digitale – informatie’, stelt het college.