Skip naar inhoud

Wilt u deze bijdrage aanbevelen? Dat kan via:

Net zoals vertrouwen in persoonlijke en zakelijke relaties moet groeien, heeft het ook tijd nodig voor een gebruiker van ai-technologie om vertrouwen te krijgen in het systeem. Transformatieve technologieën als zelfrijdende voertuigen kunnen alleen succesvol zijn als er duidelijke methoden en benchmarks zijn om vertrouwen te creëren in ai-systemen. Maar hoe wek je vertrouwen op in ai?

Om hier gericht mee aan de slag te gaan, is het belangrijk te begrijpen welke dimensies van vertrouwen er zijn. Het vertrouwen in ai-systemen is onder te verdelen in drie hoofdcategorieën. De eerste is het vertrouwen in de prestaties van het ai/machine learning-model. De tweede is vertrouwen in de werking van het ai-systeem. De derde is vertrouwen in de ethiek van de workflow, zowel om het ai-systeem te ontwerpen als hoe de output wordt gebruikt in het bedrijfsproces.

In elk van deze drie categorieën zijn er meerdere dimensies die helpen om deze concreter te maken. Door elke dimensie te combineren, ontstaat een systeem dat vertrouwen kan creëren.

Performance

“Het draait om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data?”

Als het gaat om het evalueren van de betrouwbaarheid van ai-systemen, dan moet je kijken naar verschillende facetten van performance. Deze draaien allemaal om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data? Bij performance gaat het om de volgende dimensies van vertrouwen:

  • Datakwaliteit

De performance van elk machine learning-model is nauw verbonden met de data waarop het is getraind en gevalideerd. Hoe kun je de oorsprong en kwaliteit van de gebruikte data verifiëren? Hoe kan het identificeren van hiaten of discrepanties in de trainingsdata helpen een betrouwbaarder model te bouwen?

  • Nauwkeurigheid

Hierbij gaat het om een subset indicatoren voor de performance van modellen die de fouten van een model op verschillende manieren meten. Het is multidimensionaal. Om nauwkeurigheid volledig te begrijpen, moet je het model dus evalueren met verschillende tools en visualisaties.

  • Snelheid

Hoeveel tijd kost het om met een model een voorspelling te scoren/ beoordelen. De snelheid van ‘model scoring’ heeft directe invloed op hoe je het in een bedrijfsproces kunt gebruiken. Hoe groot is de dataset? Hoe vaak wordt het proces uitgevoerd, maandelijks of dagelijks? Hoe snel is een voorspelling nodig? Al deze variabelen spelen een rol bij het bepalen van het belang van snelheid en nauwkeurigheid.

  • Robuustheid en stabiliteit

Hoe kun je er zeker van zijn dat jouw model zich op een consistente en voorspelbare manier gedraagt als het geconfronteerd wordt met veranderingen of fouten in je data? Het testen van je model om te kijken in hoeverre het reproduceerbaar, stabiel en robuust is, is een essentieel onderdeel van de volledige evaluatie.

Operatie

Best practices rond de werking van een systeem (de software en mensen die met een model communiceren) zijn net zo cruciaal voor de betrouwbaarheid ervan als het ontwerp van het model zelf. In de operatie zijn dit de dimensies van vertrouwen:

  • Compliance

Er zijn over het algemeen drie domeinen waarin risicomanagement en compliance gewaarborgd moeten worden: modelontwikkeling, implementatie en het toepassen van het model. Goede documentatie door end-to-end modeling workflows is één van de belangrijkste voorwaarden voor compliance.

  • Security

Grote hoeveelheden privacygevoelige data worden geanalyseerd of verwerkt door ai-systemen. Onafhankelijke en internationale standaarden zoals ISO 27001 zorgen ervoor dat informatiebeveiliging goed wordt ingericht.

  • Nederigheid

Een ai-voorspelling is fundamenteel probabilistisch. Daarom worden niet alle modelvoorspellingen op hetzelfde betrouwbaarheidsniveau gemaakt. Het herkennen en erkennen van onzekerheid is een belangrijke stap in het creëren van vertrouwen.

  • Governance en monitoring

Governance in ai is de formele infrastructuur voor het beheer van mens-machine-interactie. Om vertrouwen te winnen, is het van cruciaal belang dat er een duidelijk systeem van monitoring, aansprakelijkheid en redundantie is, inclusief gezamenlijk toezicht en samenwerking tussen it-specialisten, data scientists en business professionals.

  • Business rules

Weten wanneer en hoe een bedrijf een ai-model moet gebruiken en informatie over het model beschikbaar maken kan ook bijdragen aan de betrouwbaarheid.

Ethiek

“Privacy is een basisrecht, maar het is ook gecompliceerd”

Ai-systemen en de data die ze gebruiken, kunnen wereldwijd impact hebben. Het is belangrijk dat zij de waarden van verschillende stakeholders met verschillende perspectieven vertegenwoordigen. De dimensies van vertrouwen op het gebied van ethiek zijn:

  • Privacy

Privacy is een basisrecht, maar het is ook gecompliceerd door het gebruik en de uitwisseling van data. De eerste stap is begrijpen welk type data gedefinieerd moet worden als ‘personally identifiable information’. Best practices in informatiebeveiliging moeten benut worden en geïntegreerd worden in elk systeem.

  • Vooringenomenheid en eerlijkheid

Het start met begrijpen wat het nu betekent voor een ai-model om vooringenomen te zijn. Ten tweede moet je begrijpen waar dit vandaan komt. De grootste oorzaak van vooringenomenheid in een ai-systeem, is de data waarop het systeem is getraind. Machine learning leert van data, maar die data zijn afkomstig van ons, onze beslissingen en systemen. Dan wordt het belangrijk om te begrijpen hoe de vooringenomenheid is te meten en biedt het uiteindelijk mogelijkheden om vooringenomenheid te verminderen.

  • Verklaarbaarheid en transparantie

Hoe kun je een gedeeld begrip creëren tussen mensen en machines die beslissingen nemen? Verklaarbaarheid is één van de meest intuïtieve en krachtige manieren om vertrouwen te creëren tussen een gebruiker en een model. Kunnen interpreteren hoe het model werkt en beslissingen neemt, is belangrijk voor de uiteindelijke evaluatie.

  • Impact

Wanneer je de echte waarde die machine learning toevoegt aan een use-case evalueert, is een impactbeoordeling een krachtig hulpmiddel. Het kan de impact laten zien die een model heeft op de organisatie en op de personen die erdoor worden geraakt.

Ethische norm

Er is geen universele ethische norm die kan anticiperen op elk probleem dat de ontwikkeling en het gebruik van een ai-systeem mogelijk met zich meebrengt. Maar met vooruitdenken en begrip van de dimensies van vertrouwen (nauwkeurigheid, robuustheid en stabiliteit, veiligheid, privacy, governance, nederigheid, vooringenomenheid en eerlijkheid, verklaarbaarheid en meer), kunnen er ai-systemen zijn die onze waarden weerspiegelen en vertrouwen verdienen.

Lees ook:

Wat wil en wenst de ontwikkelaar?

In een krappe ict-arbeidsmarkt is het voor werkgevers interessant te weten wat er onder ontwikkelaars leeft. Bedrijven die de juiste tools bieden, hebben een streepje voor. Een internationaal onderzoek onder ruim zeventigduizend ontwikkelaars uit de Stack Overflow-community geeft inzicht in de trends. Dit rapport is bij recruiters dan ook niet onopgemerkt gebleven. Ze krijgen zo een beeld van hoe developers leren en meer kennis vergaren, welke tools ze gebruiken en waaraan ze behoefte hebben.

TNO: Europa kan tech-overmacht VS en China doorbreken

Zet vol in op de ontwikkeling van 6G, maak Gaia-X volwassen, loop voorop met edge computing en omarm open technologie. Dit zijn enkele aanbevelingen van TNO om in Europa de overheersing van Big Tech en Chinese (5G-)bedrijven te doorbreken.

Subpostmaster campaigning forces government to set up compensation scheme and make interim payments

Subpostmaster campaign group is a step closer to achieving what it was originally set up to do as government launches compensation scheme for its members who did not receive fair payouts

Advies: wacht met 3,5 GHz tot Inmarsat weg is

Het duurt waarschijnlijk tot eind 2023 voordat de 3,5-GHz-frequentieband beschikbaar komt voor openbare mobiele-communicatiediensten. Er is weliswaar veel vraag naar extra frequentieruimte, maar op de daarvoor afgesproken 3,5-GHz-band kan dat storen met noodoproepen van de lucht- en zeevaart. Het ministerie krijgt het advies te wachten totdat satellietbedrijf Inmarsat is verhuisd van het Friese Burum naar Griekenland.

Na sase komt sse (security service edge)

Security service edge (sse) is de evolutie van het sase-framework van Gartner. Door de letter ‘A’ (voor ’access) te verwijderen, wordt duidelijk dat het netwerk niet langer wordt beschouwd als onderdeel van een beveiligingsoplossing. Het is slechts het mechanisme dat de datastromen naar het security- en controleplatform transporteert.

UK tech has 2.8% gender ‘wage gap’, says Hired

The wage offered to women for tech jobs in the UK is 2.8% less than offered to male counterparts – a larger gap than in the US and Canada, says Hired

Wilt u deze bijdrage aanbevelen? Dat kan via:

Klaar voor de beste oplossing voor uw IT & ICT-situatie?

Ik heb mijn wachtwoord gewijzigd in “onjuist.” Dus wanneer ik vergeet wat het is, zal de computer zeggen: “Uw wachtwoord is onjuist.”