Taalmodellen
"Ik heb honger, dus ik ga een …" en jij denkt boterham. Een chatbot doet hetzelfde: hij maakt zinnen af. Woord voor woord, heel snel, met enorm veel oefening.
Eerst even gokken
Je vraagt een chatbot iets. Waar komt het antwoord vandaan? Doe een gok.
Wat is een taalmodel?
Eerst het hele verhaal. Achter elke chatbot zit een taalmodel. Dat leerde uit enorm veel tekst welk woord er meestal volgt. Vraag je iets, dan voorspelt het zijn antwoord, woord voor woord.
Probeer maar. "Ik heb honger, dus ik ga een …" Je dacht waarschijnlijk boterham. Niemand zei het je. Je hebt zulke zinnen duizenden keren gezien en gehoord.
Een taalmodel doet precies dat. Je ziet het ook LLM genoemd worden, een large language model. Het is de voorspeller achter elke chatbot.
- Het leerde van tekst. Heel veel. Google noemt het "een fenomenale hoeveelheid". Uit die tekst leerde het patronen. Welke woorden bij elkaar horen. Hoe een vraag meestal beantwoord wordt. Hoe een recept of een brief eruitziet.
- Het voorspelt het volgende woord. Google beschrijft taalmodellen als autocorrectie op gigantische schaal. Zoals de woordvoorstellen op je telefoon, maar getraind op veel meer tekst.
- Het doet dat steeds opnieuw. Het voorspelt één woord, plakt het erachter, en voorspelt het volgende. Honderden keren, in een paar seconden. Dat is het antwoord dat je ziet verschijnen.
Eigenlijk voorspelt het tokens, stukjes van woorden. Dat is de volgende les. Voor nu is woord goed genoeg.
Een eerste kleine stap: kijk de volgende keer hoe het antwoord van een chatbot verschijnt. Je kijkt naar het voorspellen.
Wat doet de voorspeller?
De regel: bij elk volgend woord rekent de voorspeller uit hoe waarschijnlijk elk woord is. Dan kiest hij er één.
Een voorbeeld. "De kat zit op de …" Misschien krijgt bank 35% kans, mat 25%, stoel 20%. De voorspeller kiest niet altijd de bovenste. Er zit een beetje toeval in de keuze. Makers noemen die instelling de temperatuur. Laag: bijna steeds hetzelfde antwoord. Hoog: meer afwisseling.
Dat verklaart drie dingen die je misschien al zag.
- Dezelfde vraag geeft een ander antwoord. Elk woord is een keuze met een beetje toeval. Verandert één woord vroeg in het antwoord, dan gaat de rest een andere kant op.
- Het klinkt vloeiend. Vloeiende zinnen zijn precies wat het leerde. Elk woord past bij het vorige.
- Het kan fout zijn en toch goed klinken. Het voorspelt wat past, niet wat klopt. Meestal is dat hetzelfde. Niet altijd.
Een taalmodel maakt zinnen af. Het voorspelt elk volgend woord, en een beetje toeval bepaalt welk.
Probeer het zelf
Wees de voorspeller. Kies het volgende woord, en bekijk dan de kansen.
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Vraag een chatbot twee keer hetzelfde, in twee nieuwe gesprekken:
Schrijf één zin over een kat op een regenachtige dag.Wat je kunt verwachten. Twee verschillende zinnen. Allebei vloeiend, allebei passend.
Waar je op let. Waar beginnen ze te verschillen? Vaak na de eerste paar woorden. Vanaf daar gaat elk antwoord zijn eigen weg.
Uit de praktijk
Drie mensen kijken op van een chatbot. De voorspeller legt het uit.
Casus 1Twee verschillende antwoorden
Iris (12) vraagt een chatbot om een titel voor haar spreekbeurt over bijen. Ze vindt hem mooi, sluit de app, en vraagt het later nog eens. Ze krijgt een andere titel.
Denken dat de chatbot van gedachten veranderde. Of dat het eerste antwoord fout was.
Hij heeft geen gedachten om te veranderen. Elk antwoord is een nieuwe reeks voorspellingen, met een beetje toeval in elke keuze.
Vraag om vijf titels tegelijk. Kies de mooiste en bewaar hem.
Je gebruikt de afwisseling expres. Een voorspeller is een goede ideeënmachine.
Casus 2Het stellige foute antwoord
Mark (36) vraagt een chatbot hoe lang zijn hond alleen thuis mag zijn. Hij krijgt een duidelijk, vriendelijk antwoord met een aantal uren.
Het getal als feit aannemen.
De voorspeller maakt tekst die bij de vraag past. Een duidelijk getal past goed. Of dat getal klopt voor zijn hond, controleert hij niet.
Het antwoord gebruiken om te weten wat je moet vragen. Dan checken bij de dierenarts of een betrouwbare dierenwebsite.
De chatbot geeft je snel de goede vragen. Een bron geeft je het goede antwoord.
Casus 3"Hij begreep mijn mail"
Ans (63) plakt een boze mail van haar buurman in een chatbot. Die schrijft een rustig, beleefd antwoord. Ans is verbaasd: "Hij begreep precies hoe ik me voelde."
Het zo versturen.
De voorspeller maakte een antwoord dat past bij boze mails in het algemeen. Hij kent haar buurman niet, en weet niet wat er gebeurde.
Het antwoord gebruiken als eerste versie. Aanpassen wat niet klopt, toevoegen wat alleen zij weet, en dan pas versturen.
De voorspeller geeft een goed begin. Ans maakt het waar voor haar situatie.
Per situatie
Een taalmodel schrijft vloeiend over bijna alles. Daarmee is het nog geen bron. Gebruik het voor je huiswerk om iets te snappen of te plannen. Haal feiten uit je boek of van een betrouwbare website.
Taalmodellen zijn goed in eerste versies: mails, samenvattingen, een begin van een tekst. Ze kennen je bedrijf, je klanten en het overleg van gisteren niet. Tenzij jij het vertelt. Check elk feit voordat je iets verstuurt.
Een chatbot kan helpen met een brief of een recept. Of met een vraag die je liever niet aan een mens stelt. Onthoud dat hij voorspelt wat past. Bij vragen over gezondheid, geld of de wet: check het bij iemand die het weet.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Een chatbot zoekt het antwoord op | Nee | Hij voorspelt het antwoord woord voor woord. Sommige chatbots zoeken ook op internet, maar de tekst blijft voorspeld. |
| Een ander antwoord betekent dat het eerste fout was | Nee | Elk antwoord is een nieuwe reeks voorspellingen. Allebei kunnen ze prima zijn, of allebei fout. |
| Vloeiend betekent juist | Nee | Hij voorspelt wat past, niet wat klopt. |
| Hij bedenkt eerst het hele antwoord | Zo werkt het niet | Hij voorspelt één woord tegelijk, en kijkt steeds ook naar het woord dat hij net schreef. |
Samenhang
Lees eerst
- Wat is AI?de voorspeller op één pagina.
Hierna
- Tokensde stukjes die de voorspeller echt voorspelt.
Verwant
- Hallucinatieswaarom hij soms dingen verzint.
- Een goede prompthoe je het antwoord krijgt dat je nodig hebt.
Bronnen
- uitlegGoogle for Developers. LLMs: What's a large language model?.Een taalmodel voorspelt het volgende token, als een heel grote autocorrectie. Een token is een woord, een deel van een woord of één teken. Trainen kost enorm veel tekst. Voorspellingen bevatten vaak fouten.
- documentatieGoogle AI for Developers. Prompt design strategies.Het model kiest het volgende token met een beetje toeval, ingesteld met de 'temperatuur'. Laag: vaker hetzelfde. Hoog: meer verschillende antwoorden. Advies voor prompts: geef duidelijke en precieze instructies, geef context, zet er een paar voorbeelden bij, zeg welke vorm je wilt. Niet wat je verwachtte? Zeg het anders; een goede prompt kost vaak een paar pogingen.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.