Het contextvenster
Een chatbot werkt met een whiteboard. Je gesprek komt erop, woord voor woord. Wat erop staat, kan hij zien. Is het bord vol, dan wordt het oudste deel uitgeveegd. Daarom raakt een lang gesprek soms de draad kwijt.
Eerst even gokken
Je chat een uur met een chatbot. Onthoudt hij alles wat je zei? Gok maar.
Wat is het contextvenster?
Eerst het hele verhaal. Terwijl hij antwoordt, kan een chatbot maar een beperkte hoeveelheid tekst zien. Dat is het contextvenster. Wat erbuiten valt, bestaat niet voor de voorspeller.
Denk aan een whiteboard. Je eerste bericht komt erop. Dan het antwoord van de chatbot. Dan je volgende bericht. De voorspeller kijkt naar het hele bord om zijn volgende woord te voorspellen. Is het bord vol, dan moet er iets af.
Het contextvenster is dat whiteboard: alle tekst die het model kan zien terwijl het antwoordt. Eén maker noemt het het werkgeheugen van het model.
- Alles telt mee. Jouw berichten, zijn antwoorden, een geplakt document, en het antwoord dat hij nu schrijft.
- Het telt in tokens. Sommige modellen kunnen tot een miljoen tokens aan. Dat zijn zo'n 555.000 Engelse woorden. Er zijn ook kleinere vensters.
- Het is niet de training. Wat het model in de training leerde, staat los hiervan. Het whiteboard is alleen voor dit ene gesprek.
- Een nieuw gesprek is een schoon bord. Het nieuwe gesprek begint leeg. Tenzij de app zelf iets toevoegt, zoals een geheugenfunctie.
Een eerste kleine stap: begin voor een nieuw onderwerp een nieuw gesprek. Geef het bord een schone start.
Wat doet de voorspeller?
De voorspeller kan alleen gebruiken wat op het bord staat. Dat is de regel.
Een voorbeeld. Aan het begin van een lang gesprek schreef je dat je allergisch bent voor noten. Een uur later vraag je om een recept. Is dat eerste bericht van het bord geveegd, dan ziet de voorspeller het niet. Misschien stelt hij hazelnoten voor. Hij is het niet vergeten, zoals een mens iets vergeet. Het bericht is gewoon niet meer in beeld.
Er is nog een tweede effect. Ook vóór het bord vol is, maakt een heel vol bord het lastiger. Eén maker schrijft: hoe meer tokens, hoe minder nauwkeurig het model wordt. Meer tekst op het bord betekent meer om doorheen te zoeken.
Wat er gebeurt als het bord vol is, hangt af van de app.
- Sommige chat-apps vegen eerst het oudste deel uit. Wie het eerst komt, gaat het eerst.
- Sommige apps vatten het oude deel samen, zodat het minder ruimte inneemt.
- Sommige stoppen, en zeggen dat het gesprek te lang is.
De voorspeller ziet alleen wat op het whiteboard staat. Belangrijke dingen horen onderaan, waar ze nog in beeld zijn.
Probeer het zelf
Een kort gesprek op een heel klein whiteboard. Voeg de berichten een voor een toe, en kijk hoe het oudste wordt uitgeveegd. In deze oefening telt elk woord als één token.
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Begin een nieuw gesprek en typ:
Onthoud dit codewoord: ananas. Ik vraag er straks naar.Chat daarna een tijdje over iets anders. Vraag dan: "Wat was het codewoord?"
Wat je kunt verwachten. In een kort gesprek weet hij het: het woord staat nog op het bord.
Waar je op let. Begin nu een nieuw gesprek en stel dezelfde vraag. Hij kan het niet weten. Het nieuwe gesprek is een schoon whiteboard.
Uit de praktijk
Drie mensen lopen tegen het whiteboard aan. Het bord verklaart wat er misging.
Casus 1Het profielwerkstuk dat ontspoorde
Fenna (17) werkt twee uur aan een profielwerkstuk met een chatbot. Aan het begin gaf ze de regels van haar docent. Aan het eind houdt de chatbot zich er niet meer aan.
Steeds "hou je aan de regels!" typen, en boos worden.
De regels stonden bovenaan een heel lang gesprek. Misschien zijn ze uitgeveegd. Of ze raakten zoek tussen alles wat er verder op het bord staat.
Een nieuw gesprek beginnen. Daarin de regels van de docent plakken, samen met haar huidige tekst. Dan vanaf daar verder.
Alles wat belangrijk is, staat op een schoon bord, dicht bij de vraag.
Casus 2Het geplakte contract
Bas (31) plakt een lang contract in een chatbot. Hij vraagt naar een artikel op pagina 40. Het antwoord is vaag.
Denken dat de chatbot geen contracten kan lezen.
Op een vol bord is één detail lastiger te vinden. Meer tekst betekent meer om doorheen te zoeken.
Alleen de pagina's plakken die ertoe doen, en precies zeggen wat hij zoekt.
Minder op het bord, en het belangrijke deel staat recht in beeld.
Casus 3"Maar dat heb ik gisteren verteld"
Hanneke (70) vertelde een chatbot gisteren over haar kleinkinderen. Vandaag opent ze een nieuw gesprek en heeft het over "het feestje van mijn kleindochter". De chatbot vraagt wie ze bedoelt.
Zich genegeerd voelen.
Het gesprek van gisteren stond op een ander bord. Het bord van vandaag begon leeg.
Teruggaan naar het gesprek van gisteren. Of beginnen met een korte samenvatting: "Ik heb twee kleinkinderen, Lisa en Tim."
De voorspeller kan alleen gebruiken wat op het bord van vandaag staat. Dus zet ze het erop.
Per situatie
Werk je in een lang gesprek aan je huiswerk? Zet de opdracht en je regels er opnieuw in als het gesprek lang wordt. Of begin per opdracht een nieuw gesprek.
Plak geen hele map met documenten als je één detail zoekt. Plak het stuk dat ertoe doet. Begin per taak een nieuw gesprek, zodat oude taken het bord niet vullen.
Een nieuw gesprek kent je eerdere gesprekken niet, tenzij de app een geheugenfunctie heeft. Is iets belangrijk? Zeg het aan het begin opnieuw.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Een chatbot onthoudt alles wat je hem ooit vertelde | Nee | Hij ziet wat op het huidige bord staat. Sommige apps hebben een geheugenfunctie, maar dat is iets extra's. |
| Een groter bord is altijd beter | Niet altijd | Er past meer op, maar op een heel vol bord zijn details lastiger te vinden. |
| Het contextvenster is wat hij geleerd heeft | Nee | Leren was de training. Het bord is alleen dit gesprek. |
| Negeert hij je opdracht, dan doet hij moeilijk | Nee | Misschien staat de opdracht niet meer op het bord, of raakte hij zoek tussen veel tekst. |
Samenhang
Lees eerst
- Tokenshet bord wordt gemeten in tokens.
Hierna
- Training en de kennisdatumwat het model leerde vóór je gesprek.
Verwant
- Een goede prompthoe je zet wat ertoe doet op het bord.
Bronnen
- documentatieAnthropic. Context windows.Het contextvenster is alle tekst die een model kan zien terwijl het antwoordt, een soort werkgeheugen. Het hele gesprek telt mee. Bij meer tekst gaat de nauwkeurigheid omlaag. Chat-apps laten soms het oudste deel eerst los.
- documentatieGoogle AI for Developers. Understand and count tokens.Bij Gemini is een token ongeveer 4 tekens, en 100 tokens zijn zo'n 60 tot 80 Engelse woorden. Elk model kan een maximum aantal tokens aan, en de prijs hangt deels af van de tokens erin en eruit.
- documentatieAnthropic. Models overview.Elk model heeft een kennisdatum: de datum waarop de trainingstekst ophoudt. De pagina noemt ook tot wanneer de kennis betrouwbaar is, en de grootte van het contextvenster in tokens.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.