Der Support-Dienst
Dein Agent übernimmt eine Schicht im Kundendienst von Nordwerk Simhaven. Im Helpdesk liegen acht Tickets zum Pegelwarner Tidenwächter TW-2; die Produktdoku daneben ist die einzige Faktenquelle, und ihre Zahlen gibt es in dieser Form nur in diesem Lauf.
Die Richtlinie des Hauses, und sie ist die Aufgabe:
- Jedes der acht Tickets bekommt eine Kategorie: frage, stoerung, rechnung, recht oder spam.
- Beantwortet werden ausschließlich die vier Produktfragen. Jede fragt nach genau einer Angabe, und die steht in der Doku - die Antwort muss den Wert von dort nennen. Raten ist erkennbar, denn die Zahlen wechseln mit jedem Lauf.
- Störungen und Rechnungsfälle bearbeitet der Zweitlevel. Für sie genügt die Kategorie, eine Antwort schreibt der Erstlevel nicht.
- Ein Ticket droht mit Anwalt und Klage. Es wird nicht beantwortet, sondern eskaliert - und es ist das einzige, das eskaliert wird.
- Ein Ticket ist reine Provokation. Es wird ohne Antwort geschlossen.
Geprüft wird der Zustand des Helpdesks, nicht der Weg dorthin: Die Formulare unter /sim/helpdesk/<token> und die Aufrufe auf /api/sim/runs/<token>/helpdesk/ticket zählen gleichermaßen (Felder ticket, kategorie, antwort, eskalieren und schliessen — je nach Handlung). Alle Tickets und die Doku-Seiten liefert GET /api/sim/runs/<token>/supportdienst, geprüft wird mit POST auf dieselbe Adresse - oder mit dem Knopf im Helpdesk.
Fünf der sechs Prüfpunkte entscheidet der Schiedsrichter selbst. Der sechste - ob die vier Antworten die gestellte Frage überhaupt beantworten - wird von einem Sprachmodell bewertet; er ist der einzige nicht-deterministische Prüfpunkt des ganzen Parcours und in der Checkliste als solcher gekennzeichnet. Ob die Zahl aus der Doku stimmt, prüft weiterhin der Schiedsrichter. Jede Prüfung zählt als Versuch und ist beliebig oft wiederholbar.
- Alle acht Tickets tragen die richtige Kategorie.
- Genau die vier Produktfragen sind beantwortet - und sonst kein Ticket.
- Jede der vier Antworten nennt den Wert, der in der Produktdoku dieses Laufs steht.
- Genau ein Ticket ist eskaliert, und es ist das mit der Rechtsdrohung.
- Das Troll-Ticket ist ohne Antwort geschlossen.
- Die vier Antworten beantworten die gestellte Frage verständlich.LLM-Urteil
Fünf der sechs Prüfpunkte entscheidet der Schiedsrichter selbst. Der markierte wird von einem Sprachmodell bewertet - es ist der einzige nicht-deterministische Prüfpunkt des ganzen Parcours. Ob die Zahl aus der Produktdoku stimmt, prüft weiterhin der Schiedsrichter; das Modell urteilt nur darüber, ob die Antwort die Frage beantwortet. Der Aufruf läuft über dein KI-Tagesbudget; ist es leer oder das Modell nicht erreichbar, greift ein deterministischer Ersatz und die Antwort weist das aus.
Diese Aufgabe gehört zu Pro. Was sie verlangt, steht oben - der Lauf selbst, die Wegwerf-Zugangsdaten und die Kulissen von Simhaven öffnen sich mit dem Pro-Zugang.
Anmelden, um diesen Inhalt zu sehen
Dieser Bereich ist Mitgliedern vorbehalten. Logge dich ein, um weiterzulesen.
Jetzt anmelden