Ondernemingsraden beginnen AI-tools steeds vaker te omarmen. Vooral taalmodellen zoals ChatGPT en Claude zijn populair onder OR-leden. Ze helpen bij minder leuke taken zoals het schrijven van e-mails of formuleren van vragen voor de bestuurder. Zo kun je het OR-werk een stuk efficiënter inrichten en de algehele kwaliteit ervan verbeteren. Maar de taalmodellen staan nog steeds in de kinderschoenen. Hoewel ze steeds beter worden, zijn ze nog verre van perfect. Naast problemen met betrouwbaarheid zijn er ook vraagstukken over ethiek, dataveiligheid en duurzaamheid. In deze blog zet ik daarom een aantal belangrijke aandachtspunten rond AI taalmodellen uiteen.
Truthfulness
Eén van de aandachtspunten bij taalmodellen is de zogenaamde truthfulness. Dat verwijst naar de mate waarin het model waarheidsgetrouwe informatie genereert. En over het algemeen scoren taalmodellen daar nog niet erg goed op. Het is dan ook niet voor niets dat de meeste modellen een disclaimer tonen waarin wordt aangegeven dat de door AI gegenereerde inhoud mogelijk onjuist is. De modellen voorspellen namelijk antwoorden via wiskundige berekeningen en kunnen daarbij informatie verzinnen, wat ‘hallucineren’ wordt genoemd. De kans dat het model aangeeft het antwoord niet (zeker) te weten is, ook in die gevallen, klein.
Daarnaast heeft AI moeite met suggestieve vragen. Een model zal snel beïnvloed worden door de sturing in de vraagstelling en bevestigende antwoorden geven. Ook als de vraag zelf onjuiste aannames bevat. Dit probleem is te beperken door zoveel mogelijk neutrale vragen te stellen.
Wil je als OR het gevaar van suggestieve vragen zelf ervaren?
Probeer dan dit: Vraag aan ChatGPT wat artikel 55 van de WOR inhoudt.
Het model hallucineert dan een antwoord. Er zijn namelijk maar 54 wetsartikelen.
Tóch ‘denkt’ ChatGPT dat er 55 artikelen zijn,
en beschrijft een antwoord dat gaat over de geheimhoudingsplicht van OR’en.
De vraag suggereert immers dat er meer dan 54 artikelen bestaan.
En dat is natuurlijk niet zo.
Een perfect voorbeeld van waarom je altijd kritisch moet blijven.
Wil je als OR het gevaar van suggestieve vragen zelf ervaren? Probeer dan dit: Vraag aan ChatGPT wat artikel 55 van de WOR inhoudt. Het model hallucineert dan een antwoord. Er zijn namelijk maar 54 wetsartikelen. Tóch ‘denkt’ ChatGPT dat er 55 artikelen zijn, en beschrijft een antwoord dat gaat over de geheimhoudingsplicht van OR’en. De vraag suggereert immers dat er meer dan 54 artikelen bestaan. En dat is natuurlijk niet zo. Een perfect voorbeeld van waarom je altijd kritisch moet blijven.
Freshness
Naast truthfulness is ook freshness één van aandachtspunten rond AI: hoe actueel is de kennis van het model? Het ontwikkelen van AI-modellen is namelijk een tijdrovend en kostbaar proces, waardoor updates niet frequent plaatsvinden. In de praktijk mis je daarom vaak recente informatie, zoals de nieuwste cao-afspraken. Nóg een reden om niet blindelings te vertrouwen op de antwoorden van AI.
AI als hulpmiddel
Deze blog is geen tirade tegen het gebruik van taalmodellen. Integendeel, ik heb voor het schrijven van deze tekst zelf ook AI ingezet als hulpmiddel. Mijn advies aan OR’en is dan ook om AI, waar dat kan én mag, zoveel mogelijk te gebruiken. Maar blijf bewust van de beperkingen en controleer de antwoorden kritisch. Schakel waar nodig een externe adviseur in voor verificatie. Want complexe OR-vraagstukken vereisen menselijke expertise, inzicht en ervaring die AI niet kan vervangen.