Wie ein Chatbot schreibt

So funktioniert es

Wie ein Chatbot schreibt

Ein Chatbot bekommt einen Text und berechnet, wie wahrscheinlich jedes mögliche nächste Wort ist. Eines der wahrscheinlichen wählt er aus, hängt es an und wiederholt das Ganze. Immer wieder, bis die Antwort fertig ist.

Genau genommen arbeitet er nicht mit Wörtern, sondern mit Tokens, also Textstückchen. Ein kurzes Wort ist oft ein Token, ein langes zusammengesetztes Wort wie „Frühstücksbrötchen“ zerfällt in mehrere. Deutsch braucht für denselben Text meist mehr Tokens als Englisch.

So funktioniert es

Lernen in zwei Schritten

Zuerst lernt das Modell aus riesigen Textmengen, aus Büchern, Artikeln und Webseiten. Es hat nur eine Aufgabe, das nächste Stück Text zu schätzen. So entsteht eine Maschine, die jeden beliebigen Text flüssig fortsetzen kann.

Dann folgt ein zweites, kleineres Training. Mit Beispielgesprächen und mit Bewertungen von Antworten, die auch Menschen vornehmen. Erst dadurch wird daraus ein Assistent, der Fragen beantwortet und sich an die Aufgabe hält.

Eine Datenbank mit Sätzen hat er nicht in sich. Was er gelernt hat, ist als Milliarden von Zahlen gespeichert. Texte, die er sehr oft gesehen hat, merkt er sich aber manchmal fast wörtlich.

So funktioniert es

Temperatur

Die Temperatur ist eine Einstellung, die bestimmt, wie viel ein Chatbot riskiert. Bei niedriger Temperatur wählt er fast immer das wahrscheinlichste Wort. Bei hoher bekommen auch Wörter eine Chance, die er sonst so gut wie nie schreiben würde.

In den meisten Chat-Apps stellt die App die Temperatur ein, nicht Sie. Auch deshalb kann dieselbe Frage jedes Mal eine etwas andere Antwort bekommen. Eine Rolle spielt auch, wie genau Sie die Frage stellen und worüber Sie vorher geschrieben haben.

So funktioniert es

Wahrscheinlich ist nicht dasselbe wie wahr

Das Modell hat gelernt, Text zu schreiben, der zur Situation passt. Wenn die richtige Antwort in Texten häufig vorkommt, trifft es sie. Wenn sie selten ist oder gar nicht existiert, schreibt es etwas, das nur richtig klingt.

Ein selbstsicherer Ton bedeutet dabei nichts. Das Modell schreibt gleich flüssig, ob es recht hat oder nicht. Genau darum geht es in der nächsten Folge.

So funktioniert es

Wie viel hat das Modell gelesen?

Wie viel Text die neuesten Modelle von OpenAI, Google oder Anthropic gelesen haben, wissen wir nicht. Die Firmen veröffentlichen es nicht. OpenAI hat es beim Modell GPT-4 im Jahr 2023 ausdrücklich abgelehnt.

Bekannt sind die Zahlen von Firmen, die sie veröffentlicht haben. Meta gab an, dass sein Modell Llama 3 aus dem Jahr 2024 mit mehr als 15 Billionen Tokens trainiert wurde, also mit rund 11 Billionen Wörtern. GPT-3 aus dem Jahr 2020 lernte aus 300 Milliarden Tokens, etwa fünfzigmal weniger.

Wären das Romane mit je hunderttausend Wörtern, ergäbe das über hundert Millionen Bücher. Den größten Teil machen in Wirklichkeit Webseiten aus. Aber zum Vergleich: Wer jede Woche ein Buch liest, schafft in sechzig Jahren etwa dreitausend.

Und würden Sie diesen Text in normalem Tempo lesen, Tag und Nacht ohne Pause, bräuchten Sie fast 90.000 Jahre.

Quellen: Meta: Introducing Meta Llama 3 (2024); Brown u. a.: Language Models are Few-Shot Learners (2020); OpenAI: GPT-4 Technical Report (2023); OpenAI: Was Tokens sind (ein Token ist etwa ¾ eines englischen Worts); Brysbaert: How many words do we read per minute? (2019), 238 Wörter pro Minute