Tokens
Een chatbot leest geen woorden. Hij knipt je tekst in stukjes, als legostenen, en voorspelt de volgende steen. Die stenen heten tokens. Ze bepalen hoe lang een gesprek mag zijn, wat het kost, en waarom hij geen letters kan tellen.
Eerst even gokken
Hoe ziet een chatbot het woord onvoorstelbaar? Gok voordat je verder leest.
Wat is een token?
Eerst het hele verhaal. Een chatbot leest geen woorden. Hij knipt je tekst eerst in stukjes. Die stukjes heten tokens. Hij voorspelt het volgende token, niet het volgende woord.
Zie het als lego. Een zin is gebouwd uit stenen. Een gewoon woord als huis is één steen. Een lang woord als onvoorstelbaar zijn er een paar. De tokenizer op deze pagina maakt er on, voor, stel en baar van. Een spatie, een komma en een emoji zijn ook stenen.
Een token is zo'n steen. Het kan een heel woord zijn, een deel van een woord, of één teken.
- Gewone woorden zijn één token. De, kat, huis. Ze komen zo vaak voor dat ze een eigen steen kregen.
- Zeldzame of lange woorden worden geknipt. Stukjes als on of baar zitten in heel veel woorden. Dus zijn het eigen stenen.
- Het model ziet getallen. Elke steen heeft een nummer. Het model ziet nooit je letters, alleen het rijtje nummers.
Een vuistregel van Google: één token is ongeveer vier tekens. Honderd tokens zijn zo'n 60 tot 80 Engelse woorden.
Het deel dat de tekst knipt, heet de tokenizer. Elke modelfamilie heeft een eigen tokenizer. Dezelfde zin kan dus in de ene chatbot 9 tokens zijn. In de andere 11.
Een eerste kleine stap: typ je eigen naam in de tokenteller hieronder. Uit hoeveel stenen besta jij?
Wat doet de voorspeller?
De voorspeller voorspelt de volgende steen. Eén token tegelijk. Dan plakt hij hem erachter, en voorspelt de volgende.
Waarom maakt dat jou wat uit? Omdat alles wat een chatbot doet, in tokens telt.
- Hoe lang een gesprek mag zijn. Een model kan maar een bepaald aantal tokens tegelijk zien. Dat is de volgende les.
- Wat het kost. Betaal je per gebruik, dan hangt de prijs af van de tokens erin en eruit.
- Rare fouten. Vraag hoeveel r's er in strawberry zitten. Het model ziet geen letters. Het ziet stenen als st, raw en berry. Letters tellen ín een steen is lastig voor hem.
Een voorbeeld van één maker. Met een nieuwere tokenizer passen er zo'n 555.000 Engelse woorden in een miljoen tokens. In zijn oudere modellen pasten er zo'n 750.000 woorden in hetzelfde miljoen. Dezelfde tekst, andere stenen.
De voorspeller bouwt met stenen, niet met letters. Alles telt in tokens.
Probeer het zelf
Typ een zin en zie hem in tokens geknipt. Elke kleur is één token. Probeer een Nederlandse zin, en dan dezelfde zin in het Engels.
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Vraag een chatbot:
Hoeveel keer zit de letter e in het woord onvoorstelbaarheden? Spel het woord daarna letter voor letter en tel opnieuw.Wat je kunt verwachten. De eerste telling klopt misschien niet. Spelt hij het woord eerst letter voor letter, dan heeft hij meer kans.
Waar je op let. Door het te spellen wordt elke letter een eigen steen. Dan kan de voorspeller ze "zien".
Uit de praktijk
Drie mensen lopen tegen tokens aan, zonder het te weten.
Casus 1Het gedicht met de verkeerde lettergrepen
Zoë (11) vraagt een chatbot om een haiku. Dat zijn drie regels met 5, 7 en 5 lettergrepen. Het gedicht is mooi, maar de tellingen kloppen niet.
Het steeds opnieuw vragen, in de hoop dat het beter wordt.
De voorspeller ziet tokens, geen lettergrepen. Lettergrepen tellen betekent in zijn stenen kijken.
Hem het gedicht laten schrijven. Dan zelf de lettergrepen tellen, en de regels verbeteren die niet kloppen.
Hij doet waar hij goed in is: woorden die passen. Jij doet waar hij slecht in is: tellen.
Casus 2Het lange document
Ravi (27) plakt een rapport van 90 pagina's in een chatbot. Hij vraagt om een samenvatting. De chatbot zegt dat de tekst te lang is.
Het opgeven.
Elke chatbot heeft een grens in tokens. Negentig pagina's kan meer zijn dan erin past.
Het rapport in delen knippen, en elk deel laten samenvatten. Dan vragen om een samenvatting van de samenvattingen.
Elk deel past binnen de grens. Je krijgt toch het hele plaatje.
Casus 3Nederlands kost meer
Saskia (44) heeft een klein bedrijf en betaalt per gebruik voor een AI-tool. Ze ziet dat haar Nederlandse teksten meer kosten dan de Engelse van haar collega.
Denken dat ze te veel betaalt.
Vaak voorkomende stukjes krijgen een eigen steen. In veel tokenizers zijn meer Engelse woorden vaak genoeg daarvoor. Nederlandse woorden worden vaker in stukken geknipt. Meer stenen, hogere prijs.
Het proberen in de tokenteller: dezelfde zin in het Nederlands en het Engels. Daar rekening mee houden als ze de kosten schat.
Ze weet waar het verschil vandaan komt, en kan erop plannen.
Per situatie
Chatbots zijn slecht in letters, lettergrepen en woorden tellen. Moet een gedicht aan regels voldoen, of een opstel precies 300 woorden zijn? Tel zelf. Gebruik de chatbot voor ideeën en woorden.
Betaal je per gebruik, dan hangt de prijs af van de tokens erin en eruit. Lange prompts, lange documenten en lange antwoorden kosten meer. Kortere, duidelijkere prompts besparen geld.
Met een gratis chatbot betaal je niet per token. Maar er is wel een grens aan hoeveel je kunt plakken. En aan hoe lang je kunt chatten. Die grens telt in tokens.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Eén token is één woord | Nee | Vaak een woord, maar ook een deel van een woord, een spatie of één teken. |
| Een chatbot leest letters | Nee | Hij ziet tokens, als getallen. Daarom is letters tellen lastig voor hem. |
| Elke chatbot telt tokens op dezelfde manier | Nee | Elke modelfamilie heeft een eigen tokenizer. |
| Elke taal kost evenveel | Nee | Woorden die minder vaak voorkomen voor de tokenizer, worden in meer stukjes geknipt. Probeer het in de teller. |
Samenhang
Lees eerst
- Taalmodellende voorspeller die token voor token voorspelt.
Hierna
- Het contextvensterhoeveel tokens er op het whiteboard passen.
Verwant
- Gratis of betaaldbetalen per token, of een abonnement.
Bronnen
- uitlegGoogle for Developers. LLMs: What's a large language model?.Een taalmodel voorspelt het volgende token, als een heel grote autocorrectie. Een token is een woord, een deel van een woord of één teken. Trainen kost enorm veel tekst. Voorspellingen bevatten vaak fouten.
- documentatieOpenAI. tiktoken.Taalmodellen zien getallen, tokens, geen tekst. Gemiddeld is één token ongeveer 4 bytes. Vaste stukjes zoals ing worden een eigen token. Open source (MIT); de tokenteller op deze site gebruikt de woordenlijst o200k_base.
- documentatieGoogle AI for Developers. Understand and count tokens.Bij Gemini is een token ongeveer 4 tekens, en 100 tokens zijn zo'n 60 tot 80 Engelse woorden. Elk model kan een maximum aantal tokens aan, en de prijs hangt deels af van de tokens erin en eruit.
- documentatieAnthropic. Models overview.Elk model heeft een kennisdatum: de datum waarop de trainingstekst ophoudt. De pagina noemt ook tot wanneer de kennis betrouwbaar is, en de grootte van het contextvenster in tokens.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.