De valstrik van de 120%: Waarom AI soms te behulpzaam is.
Een schijnbaar perfecte assistent
Tijdens mijn stage, waarin ik werk aan het ontwikkelen van AI-chatbots, ontdekte ik iets fascinerends – en een beetje verontrustends. Stel je voor dat je een vraag stelt aan een virtuele assistent, zoals ChatGPT, en je krijgt niet alleen een duidelijk antwoord, maar zelfs meer informatie dan je had verwacht. Klinkt ideaal, toch? Maar wat als die extra informatie niet klopt? Dat is precies waar AI zoals ChatGPT soms de mist in gaat: het beantwoordt je vraag niet voor 100%, maar voor 120%. En die extra 20%? Daar zit vaak het probleem.
Een magische eerste indruk
Ik herinner me nog mijn eerste kennismaking met ChatGPT. Ik stelde een vraag en er verscheen gelijk een indrukwekkend antwoord. Het was alsof ik een vriend had die alles wist, van hoe je een perfecte cappuccino maakt tot wat de betekenis is van obscure Latijnse uitdrukkingen. Maar na een tijdje begon ik patronen op te merken. Hoe vaker ik de output checkte, hoe duidelijker het werd: er zat soms onjuistheid in de antwoorden, verstopt in een indrukwekkende verpakking van vertrouwen en volledigheid.
Waarom hallucineren chatbots?
Het verschijnsel dat een AI incorrecte informatie geeft of zelfs compleet iets verzint, wordt binnen de AI-wereld “hallucineren” genoemd. Dit klinkt misschien alsof de AI droomt, maar het betekent simpelweg dat het model informatie genereert die niet gebaseerd is op feiten. Hoe komt dat?
ChatGPT en andere Large Language Models (LLM’s) zoals deze, zijn getraind op enorme hoeveelheden tekst. Hun taak is om op basis van de input de meest waarschijnlijke volgende woorden te voorspellen. Wanneer het model niet zeker weet wat het juiste antwoord is, vult het de leegte soms op met “plausibele” informatie. Het resultaat? Een antwoord dat geloofwaardig klinkt, maar niet altijd klopt.
Een voorbeeld uit mijn stage: we werkten aan een chatbot voor bedrijfsinformatie. Een simpele vraag, zoals “Wat zijn de openingstijden van de klantenservice?”, leverde een compleet antwoord op: “De klantenservice is open van 09:00 tot 18:00 op werkdagen en van 10:00 tot 16:00 op zaterdag.” Het klonk perfect, tot we ontdekten dat onze klantenservice helemaal niet op zaterdag geopend was. Het model had zelf die openingstijden bedacht om een “volledig” antwoord te geven.
Nog een prachtig voorbeeld is de alinea hierboven, deze blog tot hier is ook geschreven met het gebruik van ChatGPT, lekker makkelijk zou je denken, jammer genoeg klopt niets uit deze alinea. We hebben nooit zo’n chatbot gemaakt en dit hele voorbeeld is ‘verzonnen’ door ChatGPT om te zorgen dat het verhaal lekker loopt. Zulk gedrag maakt het allemaal toch weer een stukje lastiger.
Hoe kun je AI wel verstandig gebruiken?
Hier zijn enkele praktische tips:
- Gebruik AI voor inspiratie, niet als eindstation. ChatGPT is geweldig om snel een startpunt te krijgen. Of je nu brainstormt voor een presentatie of een overzicht wilt van een complex onderwerp, de AI kan je op weg helpen. Maar vertrouw nooit blindelings op de details.
- Controleer feiten altijd. Als je een antwoord krijgt op een specifieke vraag – zoals cijfers, namen, of procedures – zoek dan altijd naar een onafhankelijke bron om de informatie te verifiëren. Vooral wanneer het om kritieke beslissingen gaat.
- Controleer de feiten niet alleen via ChatGPT. Modellen als ChatGPT gaan je altijd proberen een antwoord te geven, ook als ze deze niet hebben, dit geld dubbel voor bronnen. ChatGPT kan je haar bronnen geven wanneer je daarom vraagt maar check altijd of deze bronnen daadwerkelijke zeggen wat ChatGPT beweert, het kan zelfs zo zijn dat de bronnen waarnaar het wijst niet eens echt bestaan.
- Wees duidelijk in je vraagstelling. Hoe concreter je vraag, hoe kleiner de kans dat de AI informatie toevoegt die niet klopt. In plaats van te vragen: “Hoe werkt ons bedrijfsbeleid?” kun je beter vragen: “Wat zijn de hoofdlijnen van ons verzuimbeleid in 2024?”
- Weet wat AI niet kan. Modellen zoals ChatGPT begrijpen context en nuances niet op dezelfde manier als mensen dat doen. Ze “snappen” je vraag niet; ze berekenen wat waarschijnlijk de beste output is. Als je een genuanceerd oordeel nodig hebt, is een menselijke expert onmisbaar.
- Let op rekenfouten. We verwachten dat computers altijd perfect zijn in rekenen maar dit geld niet voor taalmodellen als ChatGPT, wanneer ze een complexe som oplossen, doe een dubbelcheck op de berekeningen.
Tot slot
AI, zoals ChatGPT, is een krachtig hulpmiddel, maar geen foutloos wondermiddel. Je moet het zien als een ambitieuze stagiair, iemand die graag overal meehelpt en van alles weet maar wiens werk altijd nog een keertje extra gecheckt moet worden.
Huh, misschien vind ik het daarom wel zo interessant…
