Wie ein LLM funktioniert

Im LLM-Call stand ein Satz, der dort bewusst unbewiesen blieb: Die Stimme am anderen Ende sei „technisch ein riesiger, schlauer Zufallsgenerator ohne jedes Gedächtnis“. Diese Seite löst den Satz ein. Bevor Block III Modelle vergleicht, herunterlädt und auf eigene Hardware legt, schauen wir in die Maschine selbst - denn jede spätere Frage dieses Blocks (Welches Modell? Wie viel VRAM? Was messen Benchmarks?) ist eine Folgefrage dessen, was hier passiert.

Die einzige Aufgabe: das nächste Token

Ein Sprachmodell kann genau eine Sache, und sie ist kleiner, als der Name „künstliche Intelligenz“ vermuten lässt: Es bekommt eine Folge von Tokens - Textstücke, wie sie der Tokenizer erzeugt - und berechnet daraus für jedes Token seines Vokabulars die Wahrscheinlichkeit, das nächste zu sein. „Die Katze sitzt auf dem“ ergibt eine Liste mit gut 150 000 Einträgen: Sofa wahrscheinlich, Dach möglich, Kühlschrank unwahrscheinlich, Photosynthese praktisch ausgeschlossen.

Das ist alles. Es gibt keinen zweiten Modus, keinen verborgenen Plan, keine Absicht. Auch die längste, klügste Antwort ist aus genau dieser einen Operation zusammengesetzt.

Schreiben heißt: raten, anhängen, wiederholen

Aus der Einmal-Operation wird Text durch eine Schleife, die Autoregression heißt: Das Modell berechnet die Verteilung, eines der wahrscheinlichen Tokens wird gezogen, ans Ende der Folge gehängt - und dann läuft alles wieder von vorn, jetzt mit einem Token mehr. Token für Token, bis ein Stopp-Signal fällt.

Zwei Dinge daran sind für den Agentenbau entscheidend:

• Das Modell liest seine eigene Antwort. Jedes Token, das es geschrieben hat, ist beim nächsten Schritt Teil des Inputs. Ein früher Fehler wird darum nicht korrigiert, sondern fortgesetzt - er ist ja jetzt Kontext.
• Es gibt keinen inneren Zustand zwischen den Schritten. Kein Notizzettel, kein Arbeitsspeicher neben dem Text. Alles, was das Modell „weiß“, während es antwortet, steht in der Tokenfolge selbst. Der Kontext ist nicht eine Eingabe unter mehreren - er ist der gesamte Arbeitszustand.

Die Verteilung, aus der dabei gezogen wird, musst du nicht glauben - du kannst sie dir ansehen. Und die Regler, die du vom LLM-Call kennst (temperature, top_p), setzen genau hier an - nach der Berechnung, an der fertigen Verteilung:

Live-Experiment

Verteilungen werden geladen …

Warum Raten reicht

Bleibt die eigentliche Frage - und sie ist die wichtigste dieser Seite: Wie kann aus „das nächste Token vorhersagen“ so etwas wie Übersetzen, Programmieren oder Argumentieren entstehen?

Die Antwort: Wer das nächste Token in beliebigem Text gut vorhersagen will, kommt mit Auswendiglernen nicht durch. Auf „Die Hauptstadt von Frankreich ist“ folgt nur dann verlässlich Paris, wenn irgendwo in den Gewichten etwas steckt, das sich wie dieses Faktum verhält. Auf eine halbe Python-Funktion folgt nur dann die richtige zweite Hälfte, wenn etwas die Regeln der Sprache gelernt hat. Und mitten in einem Krimi das nächste Wort zu treffen, verlangt, den Handlungsstand zu verfolgen - wer der Täter ist, entscheidet, welche Fortsetzung plausibel ist.

Gute Vorhersage erzwingt Verständnis. Nicht, weil jemand dem Modell Verstehen einprogrammiert hätte, sondern weil Verstehen die sparsamste Strategie ist, den Vorhersagefehler zu senken. Grammatik, Fakten, Stil, ein Stück Logik - all das sind Nebenprodukte einer einzigen, gnadenlos einfachen Trainingsaufgabe. Wie dieses Training abläuft und warum daraus erst ein Fortsetzer und noch lange kein Assistent wird, zeigt die Vertiefung unten.

Ein LLM ist eine Funktion: Tokenfolge rein, Wahrscheinlichkeitsverteilung über das nächste Token raus. Text entsteht, indem diese Funktion in Schleife läuft - raten, anhängen, wiederholen.

Alles Weitere folgt daraus: Der Kontext ist der gesamte Arbeitszustand, ein geschriebener Fehler wird zu Input, und „Wissen“ ist, was die Vorhersage verbessert hat - keine Datenbank, in der jemand nachschlägt. Wer diese eine Schleife verstanden hat, liest jede Modell-Marotte als das, was sie ist: eine Eigenschaft der Aufgabe, nicht ein Bug im Produkt.