A/B Testing
A/B-Tests vergleichen die Qualität, Zuverlässigkeit, Kosten und Latenz verschiedener Agentenvarianten mit produktivem Traffic. Der Modus Exploratory dient zum Erkunden der Ergebnisse; Confidence wertet sie nach einem vorab festgelegten statistischen Plan aus. Sicherheitsregeln können Varianten automatisch pausieren.
Auf dieser Seite
Überblick
Beim A/B Testing werden ein Basisagent (Control) und eine Testvariante im selben Environment mit Live-Traffic verglichen. Connic bietet zwei Analysemodi: Confidence liefert eine statistisch kontrollierte Empfehlung, Exploratory einen deskriptiven Vergleich. Beide Modi erfassen Zuverlässigkeit, Kosten, Latenz und Judge Scores.
Test-Agenten erstellen
Testvarianten sind reguläre Agent-YAML-Dateien, die einer Namenskonvention folgen: {base-agent}-test-{name}. Der Teil vor -test- muss mit dem Namen eines vorhandenen Basisagenten übereinstimmen. Der Teil danach ist die Test-ID.
Der Basisagent bleibt exakt unverändert. Die Variante kann alles ändern: KI-Modell, Anweisungen, Tools, Temperatur und mehr.
name: order-processor
model: connic/gpt-5.6-terra
description: "Verarbeitet eingehende Kundenbestellungen"
system_prompt: |
Du verarbeitest eingehende Bestellungen...
tools:
- orders.process
- inventory.checkname: order-processor-test-faster-model
model: connic/gpt-5.6-luna
description: "Verarbeitet eingehende Kundenbestellungen"
system_prompt: |
Du verarbeitest eingehende Bestellungen...
tools:
- orders.process
- inventory.check-test-, ohne dass ein passender Basisagent existiert, schlägt das Deployment mit einem Fehler fehl.Tool-Versionen vergleichen
Da jeder Agent Tools über den Modulpfad referenziert, kann eine Variante auf ein anderes Tool-Modul verweisen, um Tool-Implementierungen zu vergleichen. Ergänze eine alternative Tool-Datei und referenziere sie in der Variante.
name: order-processor-test-batch-tools
model: connic/gpt-5.6-terra
description: "Verarbeitet eingehende Kundenbestellungen"
system_prompt: |
Du verarbeitest eingehende Bestellungen...
tools:
- orders_batch.process # Alternatives Tool Module
- inventory.checkAnalysemodus wählen
Lege den statistischen Plan vor dem Start fest. Connic berechnet die erforderlichen Stichprobengrößen und wertet Ergebnisse nur zu den geplanten Zeitpunkten aus. Es zeigt ein angepasstes Konfidenzintervall und pausiert den Test, sobald die Auswertung eine Empfehlung für Control oder die Variante liefert oder ohne eindeutiges Ergebnis abgeschlossen ist.
Verwende deskriptive Metriken zur Untersuchung des Verhaltens oder wenn keine statistische Aussage über den Gewinner benötigt wird. Lege eine minimale Anzahl abgeschlossener Runs pro Gruppe fest und entscheide, wann das Experiment pausiert, abgeschlossen oder geändert wird.
Traffic zuweisen
Der Traffic-Prozentsatz ist der Anteil, der der Variante zugewiesen wird; der Rest bleibt bei Control. Der Confidence-Modus erstellt eine dauerhafte Zuweisung für jeden Run oder jede Session und benötigt Traffic in beiden Gruppen. Das Routing ist exklusiv, daher kann für einen Agenten in einem Environment jeweils nur ein Confidence-Test laufen. Der Exploratory-Modus unterstützt mehrere gleichzeitige Varianten, solange ihr gemeinsamer Traffic höchstens 100% beträgt.
Die Randomisierung nach Sitzung benötigt eine vertrauenswürdige Session-ID, die beim Auslösen des Agenten übergeben wird. Alle Requests für diese Identität bleiben in derselben Gruppe und nur der erste zulässige Run liefert das Ergebnis der Session. Wird der Test pausiert, abgeschlossen oder invalidiert, wird nachfolgender Traffic sofort zum Basisagenten geroutet.
Tests konfigurieren
Öffne die Detailseite des bereitgestellten Basisagenten und klicke im Header auf Manage A/B Tests.
Testvariante bereitstellen
Pushe die Agenten-YAML der Variante zusammen mit dem Basisagenten. Bereitgestellte Varianten erscheinen in der Liste der verfügbaren Varianten.
Analyse wählen
Klicke auf New Test, wähle eine bereitgestellte Variante, Confidence oder Exploratory und konfiguriere die Traffic-Aufteilung.
Plan und Guardrails prüfen
Prüfe für Confidence die berechneten Stichprobengrößen und Entscheidungszeitpunkte. Ergänze optional Regeln, die den Test bei zu hoher Fehlerrate oder zu niedriger Judge-Bewertung automatisch pausieren.
Starten und überwachen
Tests beginnen als Entwürfe. Klicke auf Start, um Traffic zu routen, und öffne anschließend den Test, um Metriken und Entscheidungsstatus zu verfolgen.
Safety Guardrails
Ergänze jeden Check unabhängig oder verwende beide für Experimente im Produktivbetrieb.
Pausiert, wenn die Fehlerrate der Variante den konfigurierten Schwellenwert innerhalb des festgelegten gleitenden Fensters beendeter Runs überschreitet.
Pausiert, wenn der jüngste normalisierte Score der Variante aus einem ausgewählten automatischen Judge nach der Mindestzahl an Evaluationen unter den konfigurierten Mindestwert fällt.
Ergebnisse auswerten
Die Test-Detailansicht zeigt Control und Variante im direkten Vergleich:
Confidence-Tests zeigen oberhalb der Statistiken den aktuellen Entscheidungsstand. Dazu gehören die primäre Metrik, die Werte für Control und Variante, der Effekt in Prozentpunkten und der Stichprobenfortschritt jeder Gruppe. Außerdem zeigt der Bereich die bisherigen und geplanten Auswertungszeitpunkte, ausstehende Ergebnisse und die aktuelle Empfehlung.
Die Zuweisungsprüfung vergleicht die beobachtete Traffic-Aufteilung mit dem geplanten Stichprobenverhältnis. Zu jedem geplanten Auswertungszeitpunkt zeigt Connic ein sequenziell angepasstes Konfidenzintervall. Es kann Control oder die Variante empfehlen, weitere Ergebnisse abwarten oder den Test ohne eindeutiges Ergebnis beenden. Weicht die Zuweisung vom Plan ab, schlägt eine erforderliche Judge-Analyse fehl oder wird eine Sicherheitsregel verletzt, pausiert der Test ohne statistische Aussage über den Gewinner.
Deployment und Ablauf eines Tests
Tests wechseln von Draft zu Running und können anschließend pausiert oder abgeschlossen werden. Exploratory-Einstellungen bleiben im laufenden oder pausierten Zustand bearbeitbar. Bei einem Confidence-Test werden der Plan, die Traffic-Zuweisung und die Sicherheitseinstellungen beim ersten Start festgeschrieben. So beruht die Auswertung weiterhin auf den beim Start festgelegten Bedingungen.
- Annahmen validieren: Realistische Baseline-Daten verwenden und den kleinsten Effekt wählen, der die Entscheidung ändern würde
- Traffic planen: Die berechnete erforderliche Stichprobengröße prüfen und sicherstellen, dass das Environment sie in einem sinnvollen Zeitraum erreichen kann
- Vollständigen Judge verwenden: Eine Confidence-Metrik oder eine Qualitätsregel benötigt einen aktivierten automatischen Judge mit 100% Sampling und ohne Run-Filter
- Nur eine Sache gleichzeitig ändern: Für das klarste Signal sollte sich jede Variante nur in einer Dimension unterscheiden (KI-Modell, Prompt oder Tools)
- Beide Guardrails ergänzen: Schwellenwerte für die Fehlerrate und die Judge-Bewertung erkennen unterschiedliche Arten von Regressionen einer Variante
- Explorative Ergebnisse nicht als Beweis behandeln: Zu Confidence wechseln, wenn die Entscheidung eine kontrollierte Fehlerrate benötigt
- Zuerst in Staging testen: Vor einem A/B-Test im Produktivbetrieb in separaten Environments validieren, dass die Variante funktioniert