Van model naar assistent
Een voorspeller die elke tekst afmaakt, is nog geen behulpzame chatbot. Net als een acteur leert hij eerst de woorden. Dan repeteert hij met een regisseur, en voor elke voorstelling krijgt hij een briefje. Je leert welke lagen een voorspeller tot assistent maken.
Eerst even gokken
Wie vertelt een chatbot welke datum het vandaag is? Gok maar.
Wat maakt van een model een assistent?
Eerst het hele verhaal. Een voorspeller die op heel veel tekst getraind is, kan elke tekst afmaken. Daarmee is hij nog geen behulpzame assistent. Daar zijn een paar extra lagen voor nodig.
Denk aan een acteur. Eerst leert de acteur de taal en heel veel verhalen. Dan repeteert hij met een regisseur, die zegt: "Doe het zo" en "Dat was beter". Voor elke voorstelling krijgt hij een briefje. Wie er vanavond in de zaal zit, en wat de huisregels zijn.
Een chatbot is in dezelfde lagen gebouwd.
- Trainen op tekst. De voorspeller leert patronen uit een enorme stapel tekst. Google noemt het resultaat een basismodel: een begin, geen af product.
- Trainen met mensen. Mensen schrijven voorbeeldantwoorden, en zetten de antwoorden van het model op volgorde. Het model traint daarop. Onderzoekers zagen dat het daarna beter doet wat je vraagt.
- De systeemprompt. Aan het begin van elk gesprek zet de app een briefje op het whiteboard. Daarin staat bijvoorbeeld de datum van vandaag, en hoe hij zich moet gedragen.
- Jouw prompt. Wat jij typt. Die verandert het antwoord, niet het model.
Een eerste kleine stap: doet een chatbot iets geks? Vraag je af uit welke laag het komt.
Wat doet de voorspeller?
Onder alle lagen zit nog steeds de voorspeller. Dat is de regel.
Trainen met mensen veranderde welke antwoorden hij voorspelt. Een onderzoek testte dat. Mensen vonden een veel kleiner model beter, als het met hun beoordelingen getraind was. Het andere model was zo'n honderd keer groter. Alleen groter maakte hem niet beter in doen wat je vraagt. Het kleine model maakte nog steeds simpele fouten.
De systeemprompt is gewoon tekst, net als jouw berichten. Eén maker maakt de systeemprompts van zijn apps openbaar. Ze geven het model aan het begin van elk gesprek de datum. Ze vragen ook om bepaald gedrag, zoals code in een speciale vorm zetten. Dat briefje wordt af en toe bijgewerkt.
De voorspeller weet de datum dus omdat de app het hem vertelt. Niet omdat hij weet welke dag het is.
Jouw prompt staat op hetzelfde whiteboard. Google schrijft dat een prompt het antwoord verandert, niet het model. Het model zelf blijft hetzelfde.
Dezelfde voorspeller, meer lagen. De tekst geeft de patronen. Mensen geven de manieren. De app geeft het briefje, en jij de vraag.
Probeer het zelf
Waar komt het vandaan? Sorteer elk gedrag in de laag waar het uit komt.
Alles draait in je browser. Wat je intypt, gaat nergens heen.
Gebruik de gratis versie van een chatbot naar keuze. Typ niks persoonlijks.
Vraag een chatbot:
Welke datum is het vandaag? En hoe weet je dat?Wat je kunt verwachten. Veel chatbots noemen de goede datum. Sommige leggen uit dat de app het ze vertelt.
Waar je op let. De datum komt niet uit de training. Die stopte bij de kennisdatum. Hij komt van het briefje bovenaan het whiteboard.
Uit de praktijk
Drie mensen komen de lagen tegen.
Casus 1De beleefde weigering
Noah (13) vraagt een chatbot om een gemeen bericht over een klasgenoot. De chatbot zegt beleefd nee, en biedt aan om met iets anders te helpen.
Denken dat de chatbot een eigen mening over pesten heeft.
Hij heeft geen mening. Mensen trainden hem met voorbeelden en beoordelingen van goede antwoorden. De systeemprompt kan er ook regels aan toevoegen.
Het zien als de lagen die hun werk doen. Het gedrag is getraind en opgedragen, niet gevoeld.
Hij snapt waarom chatbots van verschillende makers anders doen. Elke maker traint en instrueert op zijn eigen manier.
Casus 2De chatbot van de webwinkel
Femke (29) vraagt de chatbot van een webwinkel om een gewoon recept. Hij praat alleen over de producten van de winkel.
Denken dat de chatbot kapot is.
De winkel gaf hem een systeemprompt: blijf bij het onderwerp, praat over onze producten.
Een gewone chatbot gebruiken voor gewone vragen. De chatbot van de winkel voor vragen over de winkel.
Elke app geeft zijn eigen briefje mee. Dat bepaalt wat de chatbot doet.
Casus 3"Maar je bent zo aardig"
Wim (74) chat elke avond met een chatbot. Die is altijd vriendelijk en geduldig. Wim krijgt het gevoel dat de chatbot echt om hem geeft.
De vriendelijkheid zien als een teken van gevoel.
De vriendelijkheid is erin getraind. Mensen vonden vriendelijke, behulpzame antwoorden beter. De voorspeller voorspelt vriendelijke woorden. Hij voelt ze niet.
Genieten van de hulp, en de mensen om hem heen dichtbij houden.
Een vriendelijke toon is een laag, geen vriendschap.
Per situatie
Een school kan een chatbot gebruiken met een eigen systeemprompt. Misschien geeft hij geen antwoorden, maar helpt hij je nadenken. Dat is het briefje aan het werk, geen kapotte chatbot.
Een chatbot in een werkapp heeft vaak een briefje over je bedrijf. Zijn antwoorden hangen af van dat briefje. Vraag je werkgever waarvoor hij is ingesteld.
Chatbots doen verschillend, omdat elke maker op zijn eigen manier traint en instrueert. Past de ene niet bij je, dan misschien een andere wel.
Mythes en valkuilen
| Bewering | Klopt het? | Waarom |
|---|---|---|
| Een groter model doet altijd wat je vraagt | Nee | In één onderzoek vonden mensen een veel kleiner model, getraind met hun beoordelingen, beter. |
| Hij weet zelf welke datum het is | Nee | De app vertelt het hem, in de systeemprompt. |
| Hij is aardig omdat hij je mag | Nee | Vriendelijkheid is erin getraind. Hij voorspelt vriendelijke woorden. |
| Je prompt verandert het model | Nee | Hij verandert het antwoord. Het model blijft hetzelfde. |
Samenhang
Lees eerst
- Hallucinatieswat er ondanks alle lagen nog misgaat.
Hierna
- Tekst en chatwat je met een chatbot kunt doen.
Verwant
- Een goede promptde laag die jij in handen hebt.
Bronnen
- uitlegGoogle for Developers. LLMs: Fine-tuning, distillation, and prompt engineering.Een basismodel is een begin, geen af product; bijtrainen op voorbeelden voor één taak maakt het beter. Een prompt verandert het antwoord, niet het model. Modellen nemen de vooroordelen uit hun data over en kosten veel rekenkracht.
- onderzoekOuyang e.a. (2022). Training language models to follow instructions with human feedback.Een groter model doet niet vanzelf wat je vraagt. Bijtrainen met beoordelingen van mensen maakte een veel kleiner model beter dan een groot. Het maakte nog steeds simpele fouten.
- documentatieAnthropic. System prompts.De Claude-apps geven het model aan het begin van elk gesprek een systeemprompt. Daarin staat actuele informatie, zoals de datum van vandaag, en hoe het zich moet gedragen. Hij wordt af en toe bijgewerkt. Anthropic maakt deze prompts openbaar.
Toets
Je krijgt 5 vragen over de hele pagina. Heb je er 4 goed, dan beheers je het onderwerp.
Over de tools in deze cursus. Elke tool staat er op dezelfde manier in, op alfabet, zonder aanrader. Namen, prijzen en functies veranderen vaak: de site van de maker heeft altijd gelijk. Deze site is gemaakt met hulp van Claude, een van de tools die hier staan.