SWE-agent

Die meisten Agenten sehen in der Demo gut aus. Ob sie wirklich etwas taugen, zeigt sich erst an einer Aufgabe, die niemand für sie zurechtgelegt hat - zum Beispiel an echten, bereits geschlossenen GitHub-Issues, deren Lösung man kennt und deren Tests man laufen lassen kann.

Genau darum geht es hier. SWE-agent ist ein Agent, der solche Issues bearbeitet, und zugleich der Anschauungsfall für eine These, die man beim Agentenbau schnell unterschätzt: Die Werkzeugoberfläche ist keine Nebensache. Ein Datei-Editor, der dem Modell nach jeder Änderung Zeilennummern und Kontext zurückgibt, verändert die Trefferquote stärker als der zehnte Satz im System-Prompt. Wer eigene Tools entwirft, findet hier die überzeugendste Begründung dafür, sie aus Modellsicht zu gestalten statt aus Programmierersicht.

Zweiter Grund, hierher zu schauen: der Aufbau der Auswertung. Container pro Aufgabe, feste Startbedingungen, ein Testlauf als Urteil - keine Modell-Jury. Das ist die Vorlage, wenn man den eigenen Agenten messen statt bewundern will.