Zo loopt de weg naar vertrouwen in ai

Net zoals vertrouwen in persoonlijke en zakelijke relaties moet groeien, heeft het ook tijd nodig voor een gebruiker van ai-technologie om vertrouwen te krijgen in het systeem. Transformatieve technologieën als zelfrijdende voertuigen kunnen alleen succesvol zijn als er duidelijke methoden en benchmarks zijn om vertrouwen te creëren in ai-systemen. Maar hoe wek je vertrouwen op in ai?

Om hier gericht mee aan de slag te gaan, is het belangrijk te begrijpen welke dimensies van vertrouwen er zijn. Het vertrouwen in ai-systemen is onder te verdelen in drie hoofdcategorieën. De eerste is het vertrouwen in de prestaties van het ai/machine learning-model. De tweede is vertrouwen in de werking van het ai-systeem. De derde is vertrouwen in de ethiek van de workflow, zowel om het ai-systeem te ontwerpen als hoe de output wordt gebruikt in het bedrijfsproces.

In elk van deze drie categorieën zijn er meerdere dimensies die helpen om deze concreter te maken. Door elke dimensie te combineren, ontstaat een systeem dat vertrouwen kan creëren.

Performance

“Het draait om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data?”

Als het gaat om het evalueren van de betrouwbaarheid van ai-systemen, dan moet je kijken naar verschillende facetten van performance. Deze draaien allemaal om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data? Bij performance gaat het om de volgende dimensies van vertrouwen:

  • Datakwaliteit

De performance van elk machine learning-model is nauw verbonden met de data waarop het is getraind en gevalideerd. Hoe kun je de oorsprong en kwaliteit van de gebruikte data verifiëren? Hoe kan het identificeren van hiaten of discrepanties in de trainingsdata helpen een betrouwbaarder model te bouwen?

  • Nauwkeurigheid

Hierbij gaat het om een subset indicatoren voor de performance van modellen die de fouten van een model op verschillende manieren meten. Het is multidimensionaal. Om nauwkeurigheid volledig te begrijpen, moet je het model dus evalueren met verschillende tools en visualisaties.

  • Snelheid

Hoeveel tijd kost het om met een model een voorspelling te scoren/ beoordelen. De snelheid van ‘model scoring’ heeft directe invloed op hoe je het in een bedrijfsproces kunt gebruiken. Hoe groot is de dataset? Hoe vaak wordt het proces uitgevoerd, maandelijks of dagelijks? Hoe snel is een voorspelling nodig? Al deze variabelen spelen een rol bij het bepalen van het belang van snelheid en nauwkeurigheid.

  • Robuustheid en stabiliteit

Hoe kun je er zeker van zijn dat jouw model zich op een consistente en voorspelbare manier gedraagt als het geconfronteerd wordt met veranderingen of fouten in je data? Het testen van je model om te kijken in hoeverre het reproduceerbaar, stabiel en robuust is, is een essentieel onderdeel van de volledige evaluatie.

Operatie

Best practices rond de werking van een systeem (de software en mensen die met een model communiceren) zijn net zo cruciaal voor de betrouwbaarheid ervan als het ontwerp van het model zelf. In de operatie zijn dit de dimensies van vertrouwen:

  • Compliance

Er zijn over het algemeen drie domeinen waarin risicomanagement en compliance gewaarborgd moeten worden: modelontwikkeling, implementatie en het toepassen van het model. Goede documentatie door end-to-end modeling workflows is één van de belangrijkste voorwaarden voor compliance.

  • Security

Grote hoeveelheden privacygevoelige data worden geanalyseerd of verwerkt door ai-systemen. Onafhankelijke en internationale standaarden zoals ISO 27001 zorgen ervoor dat informatiebeveiliging goed wordt ingericht.

  • Nederigheid

Een ai-voorspelling is fundamenteel probabilistisch. Daarom worden niet alle modelvoorspellingen op hetzelfde betrouwbaarheidsniveau gemaakt. Het herkennen en erkennen van onzekerheid is een belangrijke stap in het creëren van vertrouwen.

  • Governance en monitoring

Governance in ai is de formele infrastructuur voor het beheer van mens-machine-interactie. Om vertrouwen te winnen, is het van cruciaal belang dat er een duidelijk systeem van monitoring, aansprakelijkheid en redundantie is, inclusief gezamenlijk toezicht en samenwerking tussen it-specialisten, data scientists en business professionals.

  • Business rules

Weten wanneer en hoe een bedrijf een ai-model moet gebruiken en informatie over het model beschikbaar maken kan ook bijdragen aan de betrouwbaarheid.

Ethiek

“Privacy is een basisrecht, maar het is ook gecompliceerd”

Ai-systemen en de data die ze gebruiken, kunnen wereldwijd impact hebben. Het is belangrijk dat zij de waarden van verschillende stakeholders met verschillende perspectieven vertegenwoordigen. De dimensies van vertrouwen op het gebied van ethiek zijn:

  • Privacy

Privacy is een basisrecht, maar het is ook gecompliceerd door het gebruik en de uitwisseling van data. De eerste stap is begrijpen welk type data gedefinieerd moet worden als ‘personally identifiable information’. Best practices in informatiebeveiliging moeten benut worden en geïntegreerd worden in elk systeem.

  • Vooringenomenheid en eerlijkheid

Het start met begrijpen wat het nu betekent voor een ai-model om vooringenomen te zijn. Ten tweede moet je begrijpen waar dit vandaan komt. De grootste oorzaak van vooringenomenheid in een ai-systeem, is de data waarop het systeem is getraind. Machine learning leert van data, maar die data zijn afkomstig van ons, onze beslissingen en systemen. Dan wordt het belangrijk om te begrijpen hoe de vooringenomenheid is te meten en biedt het uiteindelijk mogelijkheden om vooringenomenheid te verminderen.

  • Verklaarbaarheid en transparantie

Hoe kun je een gedeeld begrip creëren tussen mensen en machines die beslissingen nemen? Verklaarbaarheid is één van de meest intuïtieve en krachtige manieren om vertrouwen te creëren tussen een gebruiker en een model. Kunnen interpreteren hoe het model werkt en beslissingen neemt, is belangrijk voor de uiteindelijke evaluatie.

  • Impact

Wanneer je de echte waarde die machine learning toevoegt aan een use-case evalueert, is een impactbeoordeling een krachtig hulpmiddel. Het kan de impact laten zien die een model heeft op de organisatie en op de personen die erdoor worden geraakt.

Ethische norm

Er is geen universele ethische norm die kan anticiperen op elk probleem dat de ontwikkeling en het gebruik van een ai-systeem mogelijk met zich meebrengt. Maar met vooruitdenken en begrip van de dimensies van vertrouwen (nauwkeurigheid, robuustheid en stabiliteit, veiligheid, privacy, governance, nederigheid, vooringenomenheid en eerlijkheid, verklaarbaarheid en meer), kunnen er ai-systemen zijn die onze waarden weerspiegelen en vertrouwen verdienen.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt artificiële intelligentie en machine learning om spam te verminderen. Bekijk hoe uw reactiegegevens worden verwerkt.

Gerelateerde berichten

Offline: IBM won met Watson niet de jackpot

Niet artificial intelligence (ai) zoals tien jaar geleden werd gedacht, maar de hybride cloud is momenteel de grote gangmaker bij IBM. Na een langdurige stagnatie van de concernomzet weten inkomsten uit clouddiensten Big Blue weer omhoog te tillen. Ai gaat zeker zijn bijdrage aan de resultaten leveren, zij het veel later en ook heel anders dan IBM bij de lancering van de ‘wondermachine’ Watson rond 2011 voorzag.

Lees verder

Spoelstra Spreekt: Gokken

Nederland is in de ban van het winterweer. In heel Nederland wordt alweer gesproken over een Elfstedentocht. Of ja, heel Nederland? Behalve Friesland natuurlijk. Daar beginnen ze pas met praten over een Elfstedentocht als de uiers van ‘Us mem’ zijn bevroren. Eén blik op Buienradar verklapt al dat die anderhalve week met vijf graden vorst niet genoeg is om het ijs op de Bonkevaart dik genoeg te krijgen.

Lees verder
  • Tags

  • Categorieën

  • Archieven

  • Naar de inhoud springen