De meeste organisaties voeren controles uit om te voorkomen dat beslissingen discriminerend zijn of anderszins blijk geven van bias. Ook wordt gecheckt of er geen fouten worden gemaakt omdat de data in de loop van de tijd zijn veranderd. Helaas zijn machine learning (ml)-algoritmen net zo kwetsbaar voor cyberaanvallen van buitenaf als bedrijfsprocessen waar bijvoorbeeld bankgegevens aan te pas komen.
En als de integriteit van het model niet meer is te garanderen, kunnen je investeringen en al het harde werk van je data scientists weleens in de prullenbak belanden. Zo introduceerde Microsoft in 2016 de op ai gebaseerde Twitter-bot Tay. Dit ml-model was ontwikkeld om automatisch tweets over bepaalde gebeurtenissen te genereren. Nog geen 24 uur later was deze volkomen onschuldige chatbot gecorrumpeerd door cynische hackers. Tay genereerde hierdoor een spervuur van racistische en seksistische uitlatingen. Een prima functionerend model was gesaboteerd om schade aan te richten, terwijl Microsoft het juist met het tegenovergestelde doel had ontwikkeld.
Potentieel voor aantasting van ai-modellen
De hack op Tay toont aan hoe kwetsbaar een model is als adequate bescherming ontbreekt. En nu ai en ml langzaam maar zeker de zakelijke mainstream bereiken, moeten cio’s vooruitdenken over manieren om die te beschermen tegen vandalisme en menselijke fouten. Het voorval met Tay was geen unicum: het aantasten van de integriteit van modellen komt in de praktijk vaak voor. Organisaties houden het alleen vrij goed binnenskamers. Tot nu toe, tenminste.
De integriteit van ml-modellen is op twee manieren te schenden: door interne fouten, als de organisatie de ontwikkeling, implementatie in live-omgeving en het modelbewakingsproces niet goed beheer(s)t. De tweede manier is als gevolg van een cyberaanval die gericht is op het ml-model.
Organisaties, financiële dienstverleners en zorginstellingen in het bijzonder, beginnen zich pijnlijk bewust te worden van de kwetsbaarheid van deze modellen. Een realistisch scenario voor bedrijfsspionage anno 2021 is dan ook eenvoudig geschetst: concurrenten zouden een kijkje in je nieuwe model kunnen nemen om door middel van reverse engineering na te gaan hoe je tot zakelijke beslissingen komt. Vervolgens snoepen ze je concurrentievoordeel af door je besluitvormingsproces te hacken. Als je bijvoorbeeld weet hoe het algoritme van Amazon werkt, zullen er in de pricing engine van het e-commercebedrijven elementen zijn die je kunt misbruiken, bijvoorbeeld door producten onder de prijzen van Amazon aan te bieden.
We moeten ons dus bewust zijn van de manieren waarop modellen zijn aan te vallen en te manipuleren. Als er geen proces wordt gehandhaafd om te controleren of de ml-modellen functioneren op de manier waarop zij zijn ontwikkeld, loopt de organisatie een risico om een verleidelijk achterdeurtje open te zetten.
Saboteren
Zo’n achterdeurtje is te benutten met een techniek die data poisoning wordt genoemd. Als je een model wilt saboteren, is de eerste stap om de data te manipuleren waarmee het model wordt gevoed. Modellen worden meestal gegenereerd op basis van operationele data. Mensen doen de dingen die ze doen, zoals producten aanschaffen en creditcardtransacties uitvoeren, en de ai probeert patronen in de resulterende data te ontwaren. Een cybercrimineel die dat model wil misbruiken, zou beginnen door op kunstmatige wijze data en patronen binnen die data aan te maken, zodat het model de beslissingen maakt die deze kwaadwillende wil dat het maakt.
Een ander kwetsbaar proces is het tracken van modellen. Hierbij voeren mensen binnen of buiten de organisatie bepaalde handelingen uit om het model te beïnvloeden, zodat het beslissingen gaat nemen die in hun voordeel werken. Hoe meer geautomatiseerd het model, bijvoorbeeld op basis van business rules, hoe groter de mogelijkheid om de uitkomst, in wiens voordeel dan ook, te manipuleren. En het kan behoorlijk lastig zijn om te achterhalen of iemand de code heeft bewerkt. Tot slot kan een hacker ook de model-engine met data voeden om voorspellingen te genereren en dan een surrogaatmodel ontwikkelen om te achterhalen hoe het model van het doelwit de echte voorspellingen genereert.
We moeten dus de nodige verdedigingstechnieken tegen deze pogingen tot manipulatie van modellen opnemen in ons repertoire. Daarbij beginnen we met processen, niet met technologie. Ten eerste moet je nagaan hoe je kunt bepalen of er een incident heeft plaatsgevonden. Je hebt een methode nodig om ai-toepassingen te bewaken op afwijkend gedrag. Daarbij moet je niet alleen kijken naar de data die als input voor het proces wordt gebruikt, maar ook naar eventuele data die door het proces wordt gegenereerd.
Dan, zodra er een incident is gedetecteerd, heb je een duidelijk plan van aanpak nodig. Wie onderneemt als eerste actie? Hoe stel je alle zakelijke betrokkenen op de hoogte? En wat moet er gebeuren zodra het incident is vastgesteld? Om dat op effectieve wijze te kunnen doen moet je team beschikken over een up-to-date inventaris van alle gebruikte ai-toepassingen. Daarnaast is er uitgebreide documentatie nodig van alle ai- en ml-activa binnen je organisatie.
Flexibel beschermen
Als je deze doordachte structuur op al je ai- en ml-processen toepast, kan het hierdoor wel langer duren om modellen in bedrijf te nemen. Het is daarom zaak om de integriteit van ml-modellen flexibel te beschermen.
In de praktijk werkt het goed om een veilige centrale locatie in te richten voor systeemdocumentatie en de inventaris van de ai- en ml-activa. Deze omgeving moet toegankelijk zijn voor alle relevante betrokkenen en in een audit trail voorzien. Zie het als een holistische aanpak waarbij je input krijgt van data-scientists, die interne controles inbouwen om na te gaan of modellen correct in elkaar steken. Dit moet idealiter in samenwerking met de it-afdeling worden gedaan, om te waarborgen dat alle modellen op juiste wijze van de ontwikkelingsomgeving naar de productieomgeving worden overgezet, en dat alle relevante controles zijn uitgevoerd.
Tegelijkertijd is het wenselijk dat collega’s en managers van betrokken afdelingen zijn vertegenwoordigd. Kennis van hoe het model tot beslissingen komt is essentieel om vertrouwen op te bouwen. En ten slotte moet je de compliance-afdeling bij het proces betrekken om te waarborgen dat alle controles zijn uitgevoerd die nodig zijn om te voldoen aan de wet- en regelgeving.
Samenvattend is het belangrijk om tijd, moeite en geld niet te laten saboteren zoals met het initiatief van Microsoft gebeurde. Door vergelijkbare beveiligingsmaatregelen in acht te nemen als voor je bedrijfsapplicaties kun je het meeste rendement halen uit je investeringen in ai. Door het waarborgen van adequate governance kun je ook je risicoprofiel reduceren en ongewenste aandacht afhouden van nieuwe technologieën die de bedrijfsprestaties een boost kunnen geven.