Zurück in den Harness

Ein trainiertes Modell auf der Platte ist noch kein Betrieb. Es fehlt die Weiche. Wer soll welche Anfrage beantworten, und wer darf das entscheiden?

Kapitel Zusammenspiel beschreibt drei Bauformen. Der Kurs baut die dritte, weil sie den größten Gewinn bringt und die schärfste Bedingung hat.

Die Weiche

Der Spezialist steht ganz vorn. Erkennt er einen sauberen Aufruf, geht die Anfrage nie zum großen Modell, und weil er dafür sechzehn Hundertstelsekunden braucht statt sechseinhalb Sekunden, ist das der ganze Gewinn dieser Bauform. Erkennt er keinen? Dann wird durchgereicht.

Nutzer ──► Spezialist ──► Gatter ──ok──► Werkzeug ──► Antwort
                            │
                        abgelehnt
                            ↓
                      großes Modell

Und wer entscheidet, ob ein Aufruf sauber ist? Nicht der Spezialist. Das Gatter. An dieser Stelle biegen viele Aufbauten falsch ab. Sie fragen das kleine Modell nach seiner Zuversicht, oder sie ziehen eine Schwelle über die Wahrscheinlichkeiten. Beides misst, wie sicher sich ein Modell fühlt, und erfahrungsgemäß sagt das wenig darüber, ob der Aufruf ausführbar ist.

def weiche(frage, werkzeuge):
    aufrufe = spezialist(frage, werkzeuge)      # 0,16 s
    if not aufrufe:
        return grosses_modell(frage, werkzeuge)  # nichts erkannt -> weiterreichen
    for a in aufrufe:
        grund = durchs_gatter(a)                 # Weißliste, Schema, Enums, Rechte
        if grund:
            protokoll.warnen(a, grund)
            return grosses_modell(frage, werkzeuge)
    return [ausfuehren(a) for a in aufrufe]

Sechs Prüfungen, dieselben wie im Kapitel Reparieren. Alle sechs sind mechanisch beantwortbar. Kennt die Weißliste das Werkzeug? Sind die Pflichtfelder da? Ist der Aufzählungswert einer der erlaubten? Hat der Aufrufer das Recht? Ist es dieselbe Anfrage wie eben, byte-gleich? Ist das Budget noch offen?

Ein status: "kanada" fällt hier durch, ohne dass irgendwer über Zuversicht nachdenken musste. Und der erfundene Kalender orto aus Kapitel 05 auch - er steht nicht in der Weißliste der Kalenderschlüssel. Ein Aufruf, der durchfällt, ist kein Fehler. Er ist der Auslöser für den Rückfallweg.

Was der Rückfallweg wirklich kostet

Bei Bauform 3 ist der langsame Weg der teurere, weil er zusätzlich zum Spezialisten läuft. Die Rechnung dafür geht so:

Anteil q  = Anfragen, die der Spezialist sauber beantwortet
Dauer     = q · 0,16 s  +  (1 − q) · (0,16 s + 6,42 s)

Bei q = 0 musst du 0,16 Sekunden mehr einrechnen als vorher. Bei q = 0,9 - dem Wert, den der nachtrainierte Spezialist auf der Prüfbank erreicht hat - liegst du bei 0,80 Sekunden statt 6,42. Achtmal schneller, mit demselben Ergebnis, weil alles Zweifelhafte ohnehin beim großen Modell landet.

Das ist die eigentliche Zahl des Kurses. Sie lautet nicht „das kleine Modell ist genauso gut“. Sie lautet: Wie groß ist der Anteil, den du gefahrlos abzweigen kannst?

Was sich dadurch nicht ändert

Der Kettenexponent bleibt, was er war. Ein Auftrag mit fünf Schritten und 90 % Trefferquote je Schritt gelingt zu 59 %, und daran ändert sich nichts dadurch, dass ein anderes Modell die Schritte übersetzt. Der Spezialist hebt die Basis und senkt die Wartezeit. Kürzen kann er die Kette nicht.

Und die vier Runden aus Kapitel Zusammenspiel, die Urteil verlangen, verlangen weiterhin Urteil. Aufträge zerlegen, Mehrdeutigkeiten klären, Ergebnisse deuten, Texte formulieren. Dafür bleibt das große Modell zuständig, und daran dürfte kein Datensatz etwas ändern.

Wann sich der Aufwand lohnt

Die ehrliche Antwort ist eine Aufwandsrechnung, und sie fällt oft gegen das Training aus:

Das Training ist der billigste Posten. Die Prüfbank ist der teuerste, und sie ist zugleich der einzige, den du auch ohne jedes Training gebraucht hättest, weil du sonst gar nicht sagen könntest, ob dein System besser geworden ist. Deshalb steht sie im Kurs vor dem Datensatz.

Drei Bedingungen sollten erfüllt sein, bevor du anfängst, und sie stehen im Baustein Feintuning ausführlicher: Die Aktionsmenge steht still, es gibt protokollierte Echtfälle, und es gibt eine Prüfbank. Wackelt eine davon, ist der Systemprompt vermutlich die billigere Stellschraube. Den ziehst du in fünf Minuten nach, einen Adapter in einem halben Tag.

Der Betrieb danach

Zwei Dinge gehören noch dazu, sonst merkst du erst beim Ausfall, dass sich etwas verschoben hat.

Der Dienst darf ausfallen. Ist der Spezialist nicht erreichbar, geht jede Anfrage ans große Modell. Langsamer, teurer, und es funktioniert. Deshalb steht er als eigener Container neben der Anwendung.

Die Ablehnungen des Gatters gehören ins Protokoll, mit Grund. Sie können der Datensatz der nächsten Runde werden. Ein Feld, das oft falsch gefüllt wird, taucht dort als Muster auf, lange bevor es jemandem im Betrieb auffällt.