Änderungen an echtem Traffic testen.
Nur übernehmen, was die Daten belegen.
connic schickt einen Teil der echten Anfragen an eine Variante und vergleicht Erfolgsrate, Judge Scores, Kosten und Latenz mit dem Basisagenten.
Eine Variante ist nur eine weitere Agentendatei.
Kopiere den Basisagenten, ändere, was du testen willst, und nenne die Datei {base-agent}-test-{name}. Deploye beide und starte den Test auf der Seite des Basisagenten.
- Der Name stellt die Verbindung her
- Alles vor -test- muss einem Agenten im selben Deployment entsprechen, sonst schlägt das Deployment fehl.
- Eine Sache auf einmal ändern
- Tausch das KI-Modell, den Prompt oder die Tools, auch gegen ein Modul wie tools/tickets_v2.py. Mit einer Änderung je Variante bleibt das Ergebnis eindeutig.
- Bereit nach dem Deployment
- Ist das Deployment aktiv, erscheint die Variante unter Manage A/B Tests auf der Seite des Basisagenten.
agents/ticket-router.yaml
version: "1.0"
name: ticket-router
model: connic/gpt-5.6-terra
description: "Routes support tickets to the right queue"
system_prompt: |
Pick the queue and priority for the ticket
and write a two-line summary for the team.
tools:
- tickets.lookup_customer
- tickets.assign_queue
output_schema: ticket-routeagents/ticket-router-test-small-model.yaml
version: "1.0"
name: ticket-router-test-small-model
model: connic/gpt-5.6-luna
description: "Routes support tickets to the right queue"
system_prompt: |
Pick the queue and priority for the ticket
and write a two-line summary for the team.
tools:
- tickets.lookup_customer
- tickets.assign_queue
output_schema: ticket-routeVor dem Start wissen, wie viele Runs nötig sind.
Im Modus Confidence legst du Metrik, Ziel und Annahmen fest. connic berechnet, wie viele Runs jede Gruppe braucht, und sperrt den Plan beim ersten Start.
- Besser oder nicht schlechter
- Superiority prüft, ob die Variante die Kontrollgruppe schlägt. Non-inferiority prüft, ob sie innerhalb einer Toleranz bleibt, und genau das willst du bei einem günstigeren KI-Modell wissen.
- Erfolgsrate oder Judge Score
- Für einen Judge Score braucht es einen aktiven, automatischen Judge, der jeden Run ohne Filter bewertet. So werden beide Gruppen gleich gemessen.
- Exploratory für einen schnellen Blick
- Dieselben Metriken, aber ohne Gewinner. Mehrere explorative Tests können sich den Traffic eines Agenten teilen, und ihre Einstellungen bleiben änderbar.
Früh entscheiden, sobald die Daten eindeutig sind.
connic wertet einen Confidence-Test bei 25, 50, 75 und 100 % der geplanten Stichprobe aus. O'Brien-Fleming-Grenzen halten die Fehlerrate auf deinem Wert, egal wie oft du nachsiehst.
Auswertung 1 bei 25 %
Noch zu früh. Das Intervall ist in beide Richtungen breit.
-9.2 pp to +8.0 ppContinue testAuswertung 2 bei 50 %
Das Intervall wird enger, reicht unten aber noch über die Toleranz von -3 PP hinaus.
-4.7 pp to +3.9 ppContinue testAuswertung 3 bei 75 %
Das ganze Intervall liegt über -3 PP. Das kleinere KI-Modell hält mit, und der Test pausiert mit einer Empfehlung.
-2.7 pp to +3.1 ppVariant recommendedAuswertung 4 bei 100 %
Nur nötig, wenn keine frühere Auswertung entscheidet. Überschreitet auch die letzte keine Grenze, endet der Test ohne Ergebnis.
Inconclusive
Eine schlechte Variante stoppt sich selbst.
Leg eine Grenze für die Fehlerquote fest, einen Mindestwert für den Judge Score oder beides. Reißt die Variante eine davon, pausiert der Test und die Anfragen gehen wieder an den Basisagenten.
- Failure Auto-Pause
- Betrachtet die letzten beendeten Runs der Variante, mindestens 10, und pausiert, sobald die Fehlerquote über deinem Grenzwert liegt.
- Quality Auto-Pause
- Mittelt die letzten Scores eines automatischen Judges und pausiert unter dem Mindestwert, sobald genug Bewertungen vorliegen.
- Kein stiller Neustart
- Ein pausierter explorativer Test kann nach einer Korrektur wieder starten. Einen so gestoppten Confidence-Test kannst du nicht fortsetzen, nur abschließen und neu planen.
Jeder Run zeigt seine Variante.
Runs einer Variante tragen ihren Namen als Pill im Run-Verlauf. Der Variantenfilter zeigt eine Gruppe für sich.
- Traffic-Aufteilung
- Die Variante bekommt ihren Anteil, die Kontrollgruppe den Rest. Ein Confidence-Test braucht den Traffic des Agenten in diesem Environment für sich allein.
- Sessions
- Mit Randomisierung nach Session bleiben alle Runs einer vertrauenswürdigen Session-Identität in derselben Gruppe.
- Erzwungene Runs zählen nicht
- Runs, die du gezielt an eine Gruppe schickst, stehen im Verlauf, zählen aber weder für die Auswertung noch für die Safety Guardrails.
- Deployments werden geprüft
- Fehlt einem laufenden oder pausierten Test nach einem Deployment die Variante, wird er als Failed markiert und der Traffic geht zurück an die Kontrollgruppe.
Entdecke weitere Features
JudgesQualität zur Metrik für Varianten machen.ObservabilityJeden Run mit Trace und Variante öffnen.composer SDKVarianten sind Agentendateien in deinem Projekt.EnvironmentsEine Variante zuerst im Staging ausprobieren.ModelsEin anderes KI-Modell je Variante wählen.TestingFeste Testfälle prüfen jedes Deployment.ToolsEiner Variante andere Tools geben.ApprovalsSensible Tool-Aufrufe anhalten, bis ein Mensch entscheidet.
Häufig gestellte Fragen
Nimm Confidence, wenn die Entscheidung eine kontrollierte Fehlerrate braucht, etwa wenn der gesamte Traffic auf ein neues KI-Modell wechseln soll. Der Modus plant die Stichprobe, wertet zu vier Zeitpunkten aus und empfiehlt die Variante, die Kontrollgruppe oder keine von beiden. Exploratory vergleicht dieselben Metriken nur beschreibend, erlaubt mehrere Varianten gleichzeitig und reicht für schnelle Checks.
Das hängt von Baseline, Effekt oder Toleranz, Konfidenzniveau, Power und Traffic-Aufteilung ab. Das Formular New A/B Test zeigt dir vor dem Anlegen die Zielgrößen für Kontrollgruppe, Variante und gesamt. Ein kleinerer Effekt, eine stärker streuende Metrik oder weniger Traffic für die Variante bedeuten mehr Runs.
Ja. Das Entscheidungspanel aktualisiert sich laufend, entschieden wird aber nur zu den geplanten Zeitpunkten. Das Intervall ist dabei für die ganze Testreihe angepasst, häufiges Nachsehen ändert die Fehlerrate also nicht. Vor der ersten Auswertung sind die Zahlen rein beschreibend.
Ja. Wähl im Modus Confidence Judge score als primäre Metrik oder nutze einen Judge für die Quality Auto-Pause. In beiden Fällen muss der Judge aktiv und automatisch sein und 100 % der Runs ohne Filter bewerten.
Bei Exploratory kannst du die Einstellungen ändern, solange der Test läuft oder pausiert. Ein Confidence-Test sperrt beim ersten Start Plan, Traffic-Aufteilung und Safety-Einstellungen, und connic hebt Zuordnungen und Auswertungen als Nachweis auf. Danach kannst du ihn weder löschen noch manuell einen Gewinner festlegen.
Wird ein Deployment aktiv, prüft connic jeden laufenden oder pausierten Test. Fehlt die Variante eines Tests, wird er als Failed markiert und sein Traffic geht zurück an die Kontrollgruppe. Schließ den Test vorher ab, wenn du ihn als fertiges Experiment behalten willst.