Om hier gericht mee aan de slag te gaan, is het belangrijk te begrijpen welke dimensies van vertrouwen er zijn. Het vertrouwen in ai-systemen is onder te verdelen in drie hoofdcategorieën. De eerste is het vertrouwen in de prestaties van het ai/machine learning-model. De tweede is vertrouwen in de werking van het ai-systeem. De derde is vertrouwen in de ethiek van de workflow, zowel om het ai-systeem te ontwerpen als hoe de output wordt gebruikt in het bedrijfsproces.
In elk van deze drie categorieën zijn er meerdere dimensies die helpen om deze concreter te maken. Door elke dimensie te combineren, ontstaat een systeem dat vertrouwen kan creëren.
Performance
Als het gaat om het evalueren van de betrouwbaarheid van ai-systemen, dan moet je kijken naar verschillende facetten van performance. Deze draaien allemaal om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data? Bij performance gaat het om de volgende dimensies van vertrouwen:
-
Datakwaliteit
De performance van elk machine learning-model is nauw verbonden met de data waarop het is getraind en gevalideerd. Hoe kun je de oorsprong en kwaliteit van de gebruikte data verifiëren? Hoe kan het identificeren van hiaten of discrepanties in de trainingsdata helpen een betrouwbaarder model te bouwen?
-
Nauwkeurigheid
Hierbij gaat het om een subset indicatoren voor de performance van modellen die de fouten van een model op verschillende manieren meten. Het is multidimensionaal. Om nauwkeurigheid volledig te begrijpen, moet je het model dus evalueren met verschillende tools en visualisaties.
-
Snelheid
Hoeveel tijd kost het om met een model een voorspelling te scoren/ beoordelen. De snelheid van ‘model scoring’ heeft directe invloed op hoe je het in een bedrijfsproces kunt gebruiken. Hoe groot is de dataset? Hoe vaak wordt het proces uitgevoerd, maandelijks of dagelijks? Hoe snel is een voorspelling nodig? Al deze variabelen spelen een rol bij het bepalen van het belang van snelheid en nauwkeurigheid.
-
Robuustheid en stabiliteit
Hoe kun je er zeker van zijn dat jouw model zich op een consistente en voorspelbare manier gedraagt als het geconfronteerd wordt met veranderingen of fouten in je data? Het testen van je model om te kijken in hoeverre het reproduceerbaar, stabiel en robuust is, is een essentieel onderdeel van de volledige evaluatie.
Operatie
Best practices rond de werking van een systeem (de software en mensen die met een model communiceren) zijn net zo cruciaal voor de betrouwbaarheid ervan als het ontwerp van het model zelf. In de operatie zijn dit de dimensies van vertrouwen:
-
Compliance
Er zijn over het algemeen drie domeinen waarin risicomanagement en compliance gewaarborgd moeten worden: modelontwikkeling, implementatie en het toepassen van het model. Goede documentatie door end-to-end modeling workflows is één van de belangrijkste voorwaarden voor compliance.
-
Security
Grote hoeveelheden privacygevoelige data worden geanalyseerd of verwerkt door ai-systemen. Onafhankelijke en internationale standaarden zoals ISO 27001 zorgen ervoor dat informatiebeveiliging goed wordt ingericht.
-
Nederigheid
Een ai-voorspelling is fundamenteel probabilistisch. Daarom worden niet alle modelvoorspellingen op hetzelfde betrouwbaarheidsniveau gemaakt. Het herkennen en erkennen van onzekerheid is een belangrijke stap in het creëren van vertrouwen.
-
Governance en monitoring
Governance in ai is de formele infrastructuur voor het beheer van mens-machine-interactie. Om vertrouwen te winnen, is het van cruciaal belang dat er een duidelijk systeem van monitoring, aansprakelijkheid en redundantie is, inclusief gezamenlijk toezicht en samenwerking tussen it-specialisten, data scientists en business professionals.
-
Business rules
Weten wanneer en hoe een bedrijf een ai-model moet gebruiken en informatie over het model beschikbaar maken kan ook bijdragen aan de betrouwbaarheid.
Ethiek
Ai-systemen en de data die ze gebruiken, kunnen wereldwijd impact hebben. Het is belangrijk dat zij de waarden van verschillende stakeholders met verschillende perspectieven vertegenwoordigen. De dimensies van vertrouwen op het gebied van ethiek zijn:
-
Privacy
Privacy is een basisrecht, maar het is ook gecompliceerd door het gebruik en de uitwisseling van data. De eerste stap is begrijpen welk type data gedefinieerd moet worden als ‘personally identifiable information’. Best practices in informatiebeveiliging moeten benut worden en geïntegreerd worden in elk systeem.
-
Vooringenomenheid en eerlijkheid
Het start met begrijpen wat het nu betekent voor een ai-model om vooringenomen te zijn. Ten tweede moet je begrijpen waar dit vandaan komt. De grootste oorzaak van vooringenomenheid in een ai-systeem, is de data waarop het systeem is getraind. Machine learning leert van data, maar die data zijn afkomstig van ons, onze beslissingen en systemen. Dan wordt het belangrijk om te begrijpen hoe de vooringenomenheid is te meten en biedt het uiteindelijk mogelijkheden om vooringenomenheid te verminderen.
-
Verklaarbaarheid en transparantie
Hoe kun je een gedeeld begrip creëren tussen mensen en machines die beslissingen nemen? Verklaarbaarheid is één van de meest intuïtieve en krachtige manieren om vertrouwen te creëren tussen een gebruiker en een model. Kunnen interpreteren hoe het model werkt en beslissingen neemt, is belangrijk voor de uiteindelijke evaluatie.
-
Impact
Wanneer je de echte waarde die machine learning toevoegt aan een use-case evalueert, is een impactbeoordeling een krachtig hulpmiddel. Het kan de impact laten zien die een model heeft op de organisatie en op de personen die erdoor worden geraakt.
Ethische norm
Er is geen universele ethische norm die kan anticiperen op elk probleem dat de ontwikkeling en het gebruik van een ai-systeem mogelijk met zich meebrengt. Maar met vooruitdenken en begrip van de dimensies van vertrouwen (nauwkeurigheid, robuustheid en stabiliteit, veiligheid, privacy, governance, nederigheid, vooringenomenheid en eerlijkheid, verklaarbaarheid en meer), kunnen er ai-systemen zijn die onze waarden weerspiegelen en vertrouwen verdienen.