Zum Hauptinhalt springen
Connic

Die Qualität von Agenten im Blick.
Mit Connic Judges.

Ein KI-Modell bewertet Agenten-Ausführungen nach individuell festgelegten Kriterien. Connic zeigt Bewertungen und Begründungen je Ausführung sowie die Entwicklung der Ergebnisse über die Zeit. Die Konfiguration erfolgt je Agent im Dashboard.

Starte kostenlosDeep Dive lesen
Judges-Dokumentation lesen

Judges

last 24h
StatusJudgeAvg ScoreEvaluated
  • Active
    answer_accuracy
    on support_agent
    86%
    412 runs
  • Active
    tool_usage
    on support_agent
    91%
    412 runs
  • Active
    tone_match
    on invoice-processor
    64%
    218 runs
  • Active
    completeness
    on support_agent
    89%
    412 runs
  • Active
    response_quality
    on invoice-processor
    97%
    218 runs

Eigene Qualitätskriterien für jeden Agenten

Konfiguriere im Dashboard, was ein Judge bewerten soll und wie viele Punkte je Kriterium möglich sind. Das gewählte KI-Modell vergibt für jedes Kriterium eine Punktzahl mit Begründung.

New Judge
Name
Invoice Quality Check
Agent
invoice-processor
Model
connic/gpt-5.6-sol
Trigger
Automatic
Sample rate
20%
Filters
status equals completed
Scoring criteria
17 / 20
Accuracy9 / 10

Did the agent produce a factually correct and complete response based on the input?

Tool Usage4 / 5

Did the agent use the appropriate tools and interpret their results correctly?

Response Quality4 / 5

Is the response well-structured, clear, and appropriately formatted?

Steuere, was bewertet wird und wann

Kriterien, Filter und Stichprobenanteil bestimmen den Umfang der Bewertung. Judges können automatisch oder auf Anforderung laufen. Durchschnittswerte zeigen die Entwicklung der Ergebnisse, Benachrichtigungen machen auf sinkende Bewertungen aufmerksam.

Eigene Kriterien

Jedes Kriterium erhält einen Namen, eine Beschreibung und eine maximale Punktzahl. Das bewertende KI-Modell prüft die Kriterien einzeln und begründet jede Punktzahl.

Sample Rate

Die Sample Rate legt den Anteil passender Runs fest, die bewertet werden sollen (1–100 %). Ein Wert von 100 % bewertet jeden Run; ein niedrigerer Wert steuert die Kosten bei Agenten mit hohem Volumen.

Run Filter Expression

Begrenze die zu bewertenden Runs mit einem Python-ähnlichen Ausdruck über Felder aus context, input und output.

Automatisch oder manuell

Automatische Judges bewerten Runs nach ihrem Abschluss. Manuelle Judges bewerten nur auf Anforderung. Das eignet sich für Stichproben oder erneute Bewertungen nach einer Änderung des Bewertungsrasters.

Score Alerts

Du erhältst eine Benachrichtigung in der App oder per E-Mail, wenn die durchschnittliche Bewertung der letzten 1, 10, 50, 100 oder aller bisherigen Runs einen Grenzwert unterschreitet.

Durchschnitt je Kriterium

Jedes Kriterium wird auf der Detailseite des Judges im Zeitverlauf verfolgt und zeigt, welche Aspekte des Agenten nachlassen.

Vollständige Referenz in der Dokumentation ansehen.

Nutze Bewertungen direkt im laufenden Betrieb

Connic bewertet ausgewählte Ausführungen nach ihrem Abschluss im Hintergrund. Bewertungen und Begründungen sind in den Ausführungsdetails verfügbar. Die Ergebnisse unterstützen den Vergleich von Agentenvarianten und Benachrichtigungen bei sinkender Qualität.

Filter und Sample Rate werden für jeden aktiven Judge angewendet. Passende Judges bewerten den Run asynchron.
Das bewertende KI-Modell prüft jedes Kriterium. Punktzahlen, Begründungen und Token-Verbrauch werden an der Ausführung gespeichert.

Durchschnittliche Judge Scores erscheinen im direkten Vergleich von Kontrollgruppe und Variante.

Details

Du erhältst eine Benachrichtigung in der App oder per E-Mail, wenn der gleitende Durchschnitt eines Judges den konfigurierten Grenzwert unterschreitet.

Details

Scores und Begründungen je Kriterium erscheinen oben im Run-Detaildialog; der Header zeigt zusätzlich den Score als Badge.

Details

Bewertungskriterien an echten Ausführungen erproben

Connic ermöglicht manuelle Bewertungen bereits abgeschlossener Ausführungen. So können die Anweisungen und Kriterien eines Judges geprüft, angepasst und erneut getestet werden, bevor die automatische Bewertung aktiviert wird.

System prompt
Domain context for the judge LLM
This agent processes medical insurance claims.
A correct response must include the claim number,
the patient name, and the determination
(approved, denied, or pending review).

Be strict on missing fields and lenient on
phrasing — the response goes to a downstream
system, not directly to the patient.

Optional. This field gives the judge LLM the context needed to evaluate accuracy in the relevant domain.

Trigger Manually
queued
Run
run_a1b2c3 - invoice-processor - completed

Any run can be scored on demand, regardless of trigger mode or sample rate. This supports spot-checks, re-scoring after editing criteria, or testing a new rubric on past runs before switching to automatic.

  • Recent completed runs are available in the dropdown
  • Older runs can be selected by run ID
  • The agent on the run must match the judge's agent

Entdecke weitere Features

Observability

Jeden Schritt und jedes Token nachvollziehen.

A/B testing

Varianten im Produktivbetrieb vergleichen.

Approvals

Human-in-the-Loop für sensible Calls.

Testing

Assertions und Judges in CI.

Composer SDK

Agenten in YAML definieren.

Environments

Konfiguration und Secrets je Environment.

Häufig gestellte Fragen

Bei der automatisierten Agent-Bewertung benotet ein LLM jeden Agent Run anhand eines strukturierten Bewertungsrasters, statt auf manuelle Prüfungen angewiesen zu sein. Ein Judge in Connic hat benannte Kriterien, Beschreibungen und Maximalwerte. Für jeden bewerteten Run liefert er einen Score und eine Begründung je Kriterium. Durchschnittswerte und Aufschlüsselungen nach Kriterien werden auf der Detailseite des Judges im Zeitverlauf dargestellt.

Jede abgeschlossene Bewertung verbraucht eine Connic Run Unit plus den Modellaufruf. Run Unit und connic/* Tokens werden zu den veröffentlichten Preisen aus dem Projektguthaben bezahlt. Bei BYOK rechnet der gewählte Anbieter die Modellaufrufe ab. Die Sample Rate je Judge von 1–100 % steuert beides.

Im Tab Judges des Projekts öffnet New Judge das Formular. Dort lassen sich Agent und KI-Modell auswählen, ein System Prompt und mindestens ein benanntes Kriterium mit Beschreibung und Maximalwert definieren sowie Trigger Mode (Automatic oder Manual), Sample Rate und optional eine Filter Expression festlegen.

Im Modus Manual lassen sich einige aktuelle Runs bewerten. Punktzahlen und Begründungen je Kriterium helfen, den System-Prompt und die Kriterienbeschreibungen zu verfeinern. Anschließend kann der Judge auf Automatic umgestellt werden.

Ja. Jeder Judge kann einen Python-ähnlichen Filterausdruck mit context, input und output verwenden. Zum Beispiel wählt context.tier == 'enterprise' nur Runs aus, deren Kontextfeld tier den Wert enterprise enthält.

Jeder Judge kann optional einen Score Alert mit einem prozentualen Grenzwert und einem Durchschnittsfenster von 1, 10, 50, 100 oder allen bisherigen Runs verwenden. Der Alert wird einmal ausgelöst, wenn der Durchschnitt den Grenzwert unterschreitet. Die Zustellung erfolgt in der App und per E-Mail entsprechend den Notification Preferences jedes Mitglieds.

Judges unterstützen dieselben KI-Modelle wie Agenten: ein exaktes connic/* KI-Modell ohne separaten Provider Key oder einen konfigurierten BYOK Provider wie OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, Vertex AI, OpenRouter oder einen eigenen OpenAI-kompatiblen Endpoint.