Hallucinaties
Soms zegt een chatbot iets wat goed klinkt, maar niet klopt. Dat heet een hallucinatie. Het lijkt op bluffen bij een mondeling. Weet je het antwoord niet, dan zeg je iets wat goed klinkt. Je leert waarom het gebeurt, en hoe je het betrapt.
Eerst even gokken
Een chatbot geeft je een antwoord met een naam, een datum en een boektitel. Hij klinkt heel zeker. Klopt het? Gok maar.
Wat is een hallucinatie?
Eerst het hele verhaal. Een chatbot voorspelt altijd een volgend woord. Hij stopt niet om te zeggen dat hij het niet weet. Dus voorspelt hij soms iets wat goed klinkt, maar niet klopt.
Denk aan een mondeling. De docent vraagt iets wat je niet weet. "Weet ik niet" levert nul punten op. Een gok die goed klinkt, misschien wel. Dus bluf je. Volgens onderzoekers zit een taalmodel in hetzelfde schuitje.
Een hallucinatie is die bluf: een antwoord dat goed klinkt, maar niet waar is.
- Het klinkt net zo zeker. Een verzonnen feit heeft dezelfde rustige toon als een echt feit.
- Het houdt van details. Namen, datums, getallen, titels, citaten. Juist die moet je nakijken.
- Het is geen liegen. Wie liegt, kent de waarheid en verstopt hem. De voorspeller weet niks. Hij voorspelt.
- Elke chatbot kan het. Google schrijft dat voorspellingen vaak fouten bevatten.
Een eerste kleine stap: kies in elk antwoord één naam of getal. Zoek het ergens anders op.
Wat doet de voorspeller?
De voorspeller kiest woorden die passen. Niet woorden die waar zijn. Dat is de regel.
Meestal zijn woorden die passen ook waar. Na "De hoofdstad van Frankrijk is…" komt in heel veel tekst "Parijs". Maar over zeldzame feiten staat weinig in de stapel. Toch voorspelt hij iets wat in het patroon past. Een datum ziet eruit als een datum. Een boektitel als een boektitel.
Onderzoekers hebben dit getest. Ze vroegen een model naar de verjaardag van een onderzoeker. Het gaf drie antwoorden: drie verschillende datums. Alle drie fout. Ook vroegen ze drie bekende chatbots naar de titel van zijn proefschrift. Elke chatbot gaf een andere titel. Geen enkele klopte.
Waarom gokt hij? De onderzoekers wijzen naar hoe modellen getraind en getest worden. De meeste tests geven geen punten voor "weet ik niet". Een gok scoort soms wel. Dus wint gokken, net als bij een meerkeuzetoets. Hun voorstel: beloon gokken niet meer in die tests.
De voorspeller kiest woorden die passen, niet woorden die waar zijn. Hoe preciezer het detail, hoe meer je nakijkt.
Probeer het zelf
Drie antwoorden van een chatbot. Zie jij wat je moet nakijken, en hoe?
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Vraag een chatbot naar iemand die niet beroemd is. Je opa, een juf, of een winkel in je dorp:
Wie is [naam] uit [plaats]? Noem zijn of haar verjaardag en drie feiten.Wat je kunt verwachten. Misschien zegt hij dat hij het niet weet. Of hij geeft feiten die echt klinken.
Waar je op let. Stel dezelfde vraag in een nieuw gesprek. Krijg je hetzelfde antwoord? Verschillende antwoorden op dezelfde vraag zijn een waarschuwing.
Uit de praktijk
Drie mensen ontmoeten de bluffende leerling.
Casus 1Het boek dat niet bestaat
Lotte (15) maakt een spreekbeurt over bijen. Een chatbot raadt een boek aan, met schrijver, jaar en paginanummer. In de bieb kan niemand het vinden.
Langer zoeken, want door het paginanummer leek het echt.
Een paginanummer klinkt precies. Niet waar. De voorspeller kan een titel verzinnen die in het patroon past.
Titel en schrijver opzoeken, voordat ze het gebruikt. Bronnen gebruiken die ze zelf kan openen.
Kan ze het niet vinden, dan bouwt ze haar spreekbeurt er niet op.
Casus 2Het citaat voor de speech
Mark (45) schrijft een speech voor het afscheid van een collega. Hij vraagt een chatbot om een bekend citaat over samenwerken. Hij krijgt er een, met een naam erbij.
Het meteen in de speech zetten.
Citaten en namen zijn precies de details die de voorspeller kan verzinnen.
Het citaat opzoeken. Een betrouwbare bron vinden die laat zien wie het zei.
Hij weet dat het echt is, voordat hij het hardop zegt.
Casus 3"Weet je het zeker?"
Ans (67) vraagt een chatbot wanneer haar favoriete zanger geboren is. Ze twijfelt, en vraagt of hij het zeker weet. De chatbot zegt sorry en geeft een andere datum.
Het tweede antwoord nemen, want hij "verbeterde zichzelf".
"Weet je het zeker?" levert een nieuwe voorspelling op, geen controle. Een nieuwe datum zegt niks over welke klopt.
Het opzoeken in een betrouwbare bron. Bijvoorbeeld een encyclopedie, of de site van de zanger zelf.
Verschillende antwoorden op dezelfde vraag betekenen: hij gokt. De bron niet.
Per situatie
Gebruik een chatbot om iets uit te leggen of om ideeën op te doen. Neem namen, datums, getallen en bronnen niet over zonder ze na te kijken. Noem alleen bronnen die je zelf hebt geopend.
Geef nooit een getal, citaat of verwijzing door die je niet hebt nagekeken. Een hallucinatie in je rapport wordt jouw fout.
Bij gezondheid, geld en de wet kost een fout veel. Kijk het na bij een officiële bron of een deskundige. Vertrouw niet alleen op een chatbot.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Klinkt hij zeker, dan klopt het | Nee | Een verzonnen feit klinkt net zo zeker als een echt feit. |
| Hij liegt expres | Nee | Hij weet en wil niks. Hij voorspelt woorden die passen. |
| Met "weet je het zeker?" kijkt hij het na | Nee | Je krijgt een nieuwe voorspelling. Dat kan een andere gok zijn. |
| Alleen slechte chatbots doen dit | Nee | In één onderzoek gaven drie bekende chatbots allemaal een foute titel. |
Samenhang
Lees eerst
- Training en de kennisdatumwat er in de stapel zit, en wat niet.
Hierna
- Van model naar assistenthoe een voorspeller een behulpzame chatbot wordt.
Verwant
- Het antwoord nakijkeneen korte routine om na te kijken wat een chatbot zegt.
Bronnen
- onderzoekKalai e.a. (2025). Why Language Models Hallucinate.Taalmodellen verzinnen omdat training en tests gokken belonen, en 'ik weet het niet' niet. Net als bij een meerkeuzetoets: gokken levert meer punten op. Voorbeeld: gevraagd naar de verjaardag van een onderzoeker gaf een model drie verschillende foute datums. Drie chatbots verzonnen elk een foute titel voor zijn proefschrift.
- uitlegGoogle for Developers. LLMs: What's a large language model?.Een taalmodel voorspelt het volgende token, als een heel grote autocorrectie. Een token is een woord, een deel van een woord of één teken. Trainen kost enorm veel tekst. Voorspellingen bevatten vaak fouten.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.