Warum die Antwort mitten im Satz abbricht

Wir rufen zum ersten Mal ein Sprachmodell auf: eine Nachricht hin, eine Antwort zurück - und danach ist die Leitung tot. Kein Zustand, kein Gedächtnis, keine Werkzeuge. Genau dieses Auflegen erklärt fast alles, was später kommt. Und wir rufen nicht irgendein Modell: Wir sprechen mit unserem eigenen - qwen3.8-27b-fast, das auf unserem Inferenz-Stack läuft. Wie man so ein Modell selbst betreibt, ist Thema von Block III; hier gehen wir erst einmal davon aus, dass es irgendwo eines gibt.

Chat + GPT: wer macht hier eigentlich was?

Der Name ChatGPT verrät die Arbeitsteilung, um die es in diesem ganzen Block geht: GPT ist das Modell - es läuft irgendwo auf GPUs und kann genau eines: Text rein, Text raus. Chat ist die Software drumherum - sie merkt sich das Gespräch, gibt dem Modell eine Rolle, reicht Werkzeuge an. Diesen Software-Teil bauen wir hier nach, Schicht für Schicht - nur eben nicht als Chat, sondern als Agent. Der Harness ist der Chat-Teil. Das Modell mieten wir an - oder betreiben es, wie in unserem Fall, gleich selbst.

Ein Anruf, kein Abo

Nachdem wir nach dem Video nun wissen, dass die ganze Magie bei "KI" und ChatGPT eigentlich im LLM steckt, werden wir uns zunächst damit genauer befassen. Wir gehen jetzt also zunächst davon aus, dass wir Zugang zu einem Sprachmodell haben. Wie wir Sprachmodelle selber betreiben, lernen wir in Block 3 (Inferenz). Wie wir an eine API kommen, sehen wir unter anderem in unserem Tutorial zum OpenRouter-Key. Versuchen wir einmal darauf zuzugreifen: die allereinfachste Form ist ein nackter Web-Request - curl reicht. Adresse des Endpunkts (LLM_BASE_URL, bei uns die eines selbst betriebenen vLLM-Servers) und Schlüssel (LLM_API_KEY) kommen aus der Umgebung - dort trägst du ein, welchen Anbieter oder eigenen Server du ansprichst. Im Aufruf selbst geben wir an, welches Modell wir sprechen wollen (model), wie lang die Antwort höchstens werden darf (max_tokens), und was gesagt werden soll (messages):

curl "$LLM_BASE_URL"/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "model": "qwen3.8-27b-fast",
    "max_tokens": 200,
    "messages": [
      { "role": "user", "content": "Erkläre in 2 Sätzen, was ein KI-Agent ist." }
    ]
  }'

Zurück kommt - ebenfalls nur JSON, und deutlich technischer als alles, was ChatGPT je anzeigt:

{
  "choices": [
    {
      "message": { "role": "assistant", "content": "Ein KI-Agent ist ein Programm, das …" },
      "finish_reason": "stop"
    }
  ],
  "usage": { "prompt_tokens": 23, "completion_tokens": 61 }
}

Drei Felder bestimmen alles Weitere: choices[0].message ist die Antwort. finish_reason sagt, warum das Modell aufgehört hat zu reden - stop heißt „von alleine fertig“, length heißt „abgeschnitten“. Und usage zählt die Tokens - die Währung, in der Inferenz gerechnet wird, auch auf der eigenen Hardware.

Aus Software heraus macht man denselben Aufruf mit ein paar Zeilen Python oder JavaScript - Bibliothek braucht es dafür keine, ein HTTP-Client genügt. In den Experimenten unten siehst du bei jedem Lauf den rohen Request und die rohe Response; weiter unten gibt es beides als fertige Referenz-Dateien und als Prompt für deinen Coding-Agenten zum Selberbauen.

Der Brieffreund mit dem Kurzzeitgedächtnis

Das Überraschendste am ersten Call ist, was nicht passiert: Das Modell merkt sich nichts. Der zweite Aufruf ist für das Modell eine Anfrage wie jede andere - es weiß nicht, dass es je einen ersten gab, auch wenn er nur Millisekunden her ist. Stell es dir wie einen Brieffreund vor, der sich zwischen zwei Anrufen an nichts erinnert: Jedes Mal, wenn wir anrufen, müssen wir alles noch einmal erzählen, was je passiert ist - und sobald er geantwortet hat, legen wir auf.