Training en de kennisdatum
Een chatbot leerde van tekst tot een bepaalde datum. Wat daarna gebeurde, weet hij niet. Net een krant van vorig jaar. Wat erin staat klopte toen, maar het nieuws van gisteren staat er niet in. Sommige chatbots kunnen op internet zoeken om dat gat te vullen.
Eerst even gokken
Je vraagt een chatbot wie gisteravond de wedstrijd won. Kan hij dat weten? Gok maar.
Wat is de kennisdatum?
Eerst het hele verhaal. Een chatbot leerde van een enorme stapel tekst. Die stapel houdt op bij een bepaalde datum. Wat daarna gebeurde, heeft de voorspeller nooit gezien.
Denk aan een krant van vorig jaar. Alles wat erin staat, klopte toen hij gedrukt werd. Maar het nieuws van gisteren staat er niet in. Je kunt hem zo vaak lezen als je wilt. Het nieuws van gisteren komt er niet bij.
De kennisdatum is die datum: het moment waarop de trainingstekst ophoudt.
- Eerst de training. Het model leert van tekst, lang voordat jij het gebruikt. Daar is enorm veel tekst voor nodig.
- Dan gaat de stapel dicht. Eén maker noemt per model een training data cutoff: de datum waarop de trainingstekst stopt.
- De laatste maanden zijn dun. Dezelfde maker noemt ook een reliable knowledge cutoff. Tot die datum is de kennis het meest compleet.
- Je gesprek leert hem niks. Wat je typt, komt op het whiteboard. Niet in de training.
Sommige chatbots kunnen op internet zoeken. Volgens één maker kan een model dan antwoorden met actuele informatie van na zijn kennisdatum. De zoekresultaten komen op het whiteboard. Daar kan de voorspeller ze gebruiken.
Een eerste kleine stap: gaat het om iets recents? Vraag de chatbot om te zoeken, en om zijn bronnen te laten zien.
Wat doet de voorspeller?
De voorspeller kent alleen de patronen uit zijn trainingstekst. Dat is de regel.
Vraag naar de wedstrijd van gisteravond, zonder zoeken. In zijn stapel staat geen uitslag. Misschien voorspelt hij toch een antwoord dat goed klinkt. Een naam, een score. Dat is geen nieuws. Het is een gok in nieuwskleren.
Met zoeken gaat het anders. De app zoekt pagina's op en zet ze op het whiteboard. De voorspeller leest ze, net als een geplakt document. Volgens één maker krijg je er dan bronnen bij: links naar waar het vandaan komt.
Wanneer zoekt een chatbot? Eén maker geeft een lijstje. Hij zoekt bij recent nieuws, actuele prijzen, uitslagen en dingen die veranderen. Bij vaste feiten, rekenen of een gedicht schrijven antwoordt hij zonder te zoeken.
De voorspeller kent zijn stapel, tot de kennisdatum. Voor alles wat nieuwer is, moet hij zoeken. Anders gokt hij.
Probeer het zelf
Oude krant of vers zoeken? Sorteer de vragen. Welke kan de voorspeller uit zijn training beantwoorden, en waarvoor moet hij zoeken?
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Vraag een chatbot:
Wat is je kennisdatum? En kun je in dit gesprek op internet zoeken?Wat je kunt verwachten. Veel chatbots noemen een maand of een jaar. Sommige zeggen dat ze kunnen zoeken.
Waar je op let. Vraag nu naar iets van deze week. Laat hij bronnen zien? Klik er een aan, en kijk of het er echt staat.
Uit de praktijk
Drie mensen lezen de krant van vorig jaar, zonder het te weten.
Casus 1De openingstijden
Daan (14) vraagt een chatbot hoe laat het zwembad zondag opengaat. Hij krijgt een tijd. Als hij aankomt, is het zwembad dicht.
Besluiten dat chatbots nergens goed voor zijn.
Openingstijden veranderen. Zonder zoeken had de voorspeller alleen oude tekst. Of hij gokte.
Kijken op de website van het zwembad zelf. Of de chatbot laten zoeken, en de bron aanklikken.
De bron is de krant van vandaag. De training is die van vorig jaar.
Casus 2De nieuwe regel
Priya (38) vraagt een chatbot naar een belastingregel voor haar kleine bedrijf. Het antwoord is helder en zeker. Maar de regel is dit jaar veranderd.
Het geloven, omdat het zo zeker klinkt.
Zeker klinken zegt niks over de datum. De voorspeller schrijft over oud en nieuw op dezelfde toon.
Vragen over welk jaar het antwoord gaat. Het nakijken op de website van de Belastingdienst.
Regels veranderen. De officiële site heeft de versie van nu.
Casus 3Het geschiedenishuiswerk
Joost (12) wil weten hoe de piramides gebouwd zijn. Hij twijfelt of de chatbot kan helpen.
Denken dat chatbots alleen oude dingen weten, dus dat alles verouderd is.
Bij vaste kennis doet de kennisdatum er nauwelijks toe. De piramides zijn vorige maand niet veranderd.
De chatbot laten uitleggen. De belangrijkste feiten nakijken in een boek of op een betrouwbare website.
De kennisdatum telt bij nieuws en dingen die veranderen. Niet bij alles.
Per situatie
Bij geschiedenis, rekenen of hoe iets werkt, doet de kennisdatum er nauwelijks toe. Gaat het om de actualiteit? Gebruik een chatbot die zoekt, en kijk zijn bronnen na.
Prijzen, regels en productinformatie veranderen. Laat de chatbot zoeken, of kijk zelf bij de officiële bron.
Openingstijden, dienstregelingen, het weer, de uitslag: die veranderen elke dag. Kijk bij de bron zelf, of laat de chatbot zoeken.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Een chatbot weet alles wat op internet staat | Nee | Hij kent zijn trainingstekst, tot een datum. Sommige kunnen zoeken, maar dat is een aparte stap. |
| Hij leert van mijn gesprek, dus morgen weet hij het | Nee | Je gesprek komt op het whiteboard, niet in zijn training. |
| Klinkt hij zeker, dan is het actueel | Nee | Over oud en nieuw klinkt hij precies hetzelfde. |
| Door de kennisdatum is alles verouderd | Nee | Vaste kennis, zoals rekenen of geschiedenis, verandert nauwelijks. |
Samenhang
Lees eerst
- Het contextvensterhet whiteboard waar zoekresultaten op komen.
Hierna
- Hallucinatieswaarom hij soms vol overtuiging iets verzint.
Verwant
- Zoeken en uitzoekenAI die voor jou op internet zoekt.
Bronnen
- documentatieAnthropic. Models overview.Elk model heeft een kennisdatum: de datum waarop de trainingstekst ophoudt. De pagina noemt ook tot wanneer de kennis betrouwbaar is, en de grootte van het contextvenster in tokens.
- uitlegGoogle for Developers. LLMs: What's a large language model?.Een taalmodel voorspelt het volgende token, als een heel grote autocorrectie. Een token is een woord, een deel van een woord of één teken. Trainen kost enorm veel tekst. Voorspellingen bevatten vaak fouten.
- documentatieAnthropic. Web search tool.Met zoeken op internet kan een model antwoorden met actuele informatie van na zijn kennisdatum, met bronvermelding. Het zoekt bij recent nieuws, actuele prijzen en uitslagen; bij vaste feiten, rekenen of schrijven antwoordt het direct. Zoekresultaten komen in het contextvenster.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.