Zum Hauptinhalt springen
connic

Echte Runs nach deinem Raster bewerten.
Sinkende Qualität früh erkennen.

Ist ein Run fertig, vergibt ein KI-Modell Punkte für jedes Kriterium und begründet sie. Jede Bewertung steht beim Run, die Seite des Judges zeigt die Durchschnitte.

Starte kostenlosDeep Dive lesen
Judges-Dokumentation lesen
Warranty reply qualityActivewarranty-assistantTrigger Manually
84%
Avg Score
1,212
Total Evaluated
7.6M
Total Tokens
1,212completed3failed
Criteria Averages
Policy accuracy8.3 / 10
Order facts4.7 / 5
Next step3.8 / 5
Evaluations
StatusRunScore
Completed4be1c0d7a93f17/20(85%)
Completed9f03a6e15c2811/20(55%)
Runningd27b8e4f0a61

Jedes Kriterium bekommt Punkte und eine Begründung.

Jedes Kriterium hat einen Namen, eine Höchstpunktzahl und einen Satz dazu, was gut ist. So zeigt eine niedrige Gesamtpunktzahl sofort, woran es lag.

Create Judge
Name
Warranty reply quality
Agent
warranty-assistant
Model
connic/claude-sonnet-5
System Prompt (optional)
Replies go straight to customers. Be strict about coverage and exclusions, lenient about wording.
Scoring CriteriaAdd
Policy accuracy10
Applies the coverage period and exclusions from the retrieved warranty policy correctly.
Order facts5
Takes product, purchase date and order number from orders.lookup instead of guessing.
Next step5
Tells the customer what happens next and exactly what to send.
Filter Expression
input.channel == 'email'
Trigger ModeAutomatic
Sample Rate25%
Run Details
9f03a6e15c28 Completed11/20
Judge Evaluations (1)
Warranty reply qualitycompleted
55%(11/20)
Criteria Scores
Policy accuracy7/10

Uses the 24-month coverage from the policy, but misses that water damage is excluded although the photos show moisture.

Order facts4/5

Order number and purchase date match orders.lookup. The product name is shortened.

Next step0/5

Promises a replacement without asking for the receipt and serial number the policy requires.

Overall Assessment

Correct on the order, but it offers a replacement the policy does not cover and never asks for the documents the customer has to send.

Nur die Runs bewerten, auf die es ankommt.

Ein Filterausdruck wählt die Runs aus, die Sample Rate bestimmt den Anteil. Ein Agent kann mehrere Judges haben, jeder für einen anderen Ausschnitt.

Jede fertige Bewertung kostet eine connic Run Unit plus die Tokens des KI-Modells. Die Sample Rate steuert beides.

  1. Run fertig

    Automatische Judges berücksichtigen nur Runs mit dem Status Completed.

    Completed

  2. Filter Expression

    Der Run muss zum Ausdruck des Judges über context, input und output passen. Dieser Judge nimmt nur Anfragen, die per E-Mail kamen.

    input.channel == 'email'

  3. Sample Rate

    Von den passenden Runs bewertet der Judge den Anteil, den du festlegst, zwischen 1 und 100 %.

    25%

  4. Bewertung

    Das KI-Modell liest Input, Output, Kontext und Trace des Runs, dazu dein Raster.

    QueuedRunningCompleted

  5. Bewertung gespeichert

    Die Bewertung erscheint beim Run und auf der Seite des Judges und zählt für den Alert.

    11/20

Ein neues Raster an den Runs der letzten Woche testen.

Stell einen neuen Judge zuerst auf Manual und bewerte Runs, die schon vorliegen. Schärfe die Kriterien nach, bis die Punkte zu deiner Einschätzung passen, und schalte dann auf Automatic.

Ein einzelner Run
Wähl einen der letzten abgeschlossenen Runs oder füg eine beliebige Run ID ein. Manuelle Bewertungen ignorieren Trigger Mode und Sample Rate.
Ein ganzer Zeitraum
Bewerte alle abgeschlossenen Runs eines Zeitraums, bis zu 1.000 auf einmal.
Gleicher Agent, gleiches Environment
Ein Judge bewertet nur Runs seines eigenen Agenten in seinem eigenen Environment.
Trigger Judge Evaluation
Single runTimeframe
Last 7 days

312 completed runs in this timeframe will be evaluated.

Each judge evaluation counts as 1 run against your plan.
CancelEvaluate 312 runs

Fällt der Durchschnitt, schlägt der Judge Alarm.

Leg einen Grenzwert und ein Fenster fest, etwa die letzten 50 Runs. Du bekommst einen Alert in der App und per E-Mail, den nächsten erst, wenn sich der Durchschnitt erholt hat.

Notifications

Low Judge Score: Warranty reply quality

Support EU

2 minutes ago

Judge Alert: Warranty reply quality average dropped to 64% - Support EU

Warranty reply quality average score dropped below threshold

Average: 64% (threshold: 70%)

Judge
Warranty reply quality
Agent
warranty-assistant
Average Score
12.8/20.0 (64%)
Threshold
70%
Total Evaluated
50
View Judge

Entdecke weitere Features

A/B testingVarianten am Score eines Judges messen.ObservabilityDen bewerteten Run mit vollem Trace öffnen.GuardrailsSchlechte Ausgaben schon im Run blockieren.TestingFeste Testfälle sichern jedes Deployment ab.ModelsJedes connic/* oder BYOK-Modell kann bewerten.EnvironmentsJedes Environment hat eigene Judges.ApprovalsEine Person gibt sensible Tool-Aufrufe noch im Run frei.composer SDKDie Agenten, die deine Judges bewerten, im Code definieren.

Häufig gestellte Fragen

Er sieht Input, Output, Fehler, öffentlichen Kontext, Token-Verbrauch, Status und Dauer des Runs, dazu bis zu 100 seiner letzten Traces. Mit Include Agent System Prompt bekommt er auch den System Prompt des Agenten. Zurück kommen Punkte und eine Begründung je Kriterium sowie eine Gesamteinschätzung.

Jedes KI-Modell, das auch deine Agenten nutzen können, im selben Format provider/model-name. Ein konkretes connic/* Modell braucht keinen Provider Key. Für BYOK-Anbieter und eigene OpenAI-kompatible Endpoints gelten die Zugangsdaten aus dem Projekt.

Jede fertige Bewertung kostet eine connic Run Unit aus dem Projektguthaben, fehlgeschlagene kosten nichts. Dazu kommen die Tokens des bewertenden KI-Modells: connic/* Tokens zahlst du aus dem Projektguthaben, BYOK-Tokens rechnet dein Anbieter ab. Die Sample Rate steuert beides.

Ja. Mit Trigger Manually auf der Seite des Judges bewertest du einen einzelnen Run, aus der Liste der letzten Runs oder per Run ID. Oder du wählst einen Zeitraum und bewertest alle abgeschlossenen Runs des Agenten darin, bis zu 1.000 auf einmal.

Sobald der Durchschnitt in deinem Fenster (jeder Run, die letzten 10, 50 oder 100 Runs oder alle bisherigen) unter den Grenzwert fällt. Der Alert kommt einmal und erst wieder, wenn sich der Durchschnitt zwischendurch über den Grenzwert erholt hat. Mitglieder bekommen ihn in der App und per E-Mail, außer sie haben Judge Score Low in ihren Benachrichtigungseinstellungen abgeschaltet.

Guardrails prüfen Input und Output während des Runs und können ihn blockieren. Tests spielen feste Fälle durch, bevor ein Deployment live geht. Judges bewerten echte Runs, wenn sie fertig sind, und ändern nichts am Ergebnis, deshalb verfolgst du mit ihnen die Qualität langfristig.