LiteLLM

Sobald ein Agent länger als ein Wochenende lebt, kommt die Frage nach dem Anbieterwechsel: ein anderes Modell für die teuren Schritte, ein lokales für die billigen, ein Ausweichziel, wenn eine API klemmt. Wer das direkt in den Agenten baut, verteilt Anbieter-Wissen über den ganzen Code.

LiteLLM zieht diese Schicht heraus. Der Agent spricht weiter das OpenAI-Chat-Format, der Proxy übersetzt es auf das, was hinten wirklich läuft. Interessant ist dabei weniger die Übersetzung selbst als das, was drum herum entsteht: ein Ort, an dem Schlüssel liegen, an dem Aufrufe protokolliert werden, an dem Kosten und Limits pro Nutzer sichtbar sind. Genau die Dinge, die man beim ersten Prototyp weglässt und beim ersten echten Betrieb schmerzlich vermisst.

Auch als reine Lektüre nützlich: Die Anbieter-Adapter zeigen sehr konkret, worin sich die APIs unterscheiden - bei Werkzeugaufrufen, beim Streaming und bei den Fehlermeldungen.