Zum Hauptinhalt springen
Connic

Observability für Agenten.
In Connic integriert.

Modellaufrufe, Tools und MCP-Aufrufe sind im Ablauf jeder Ausführung sichtbar. Connic erfasst Laufzeiten, Fehler und Token-Verbrauch und zeigt Kosten und Betriebskennzahlen im Dashboard.

Mit Basic startenGuide lesen
Observability-Dokumentation lesen

Run Details

#a1b2c3d4
abgeschlossen
2.34s1.234 Tokens$0.0185. Dez. · 14:34:12
  1. Runinvoice-processor2,341msok
  2. LLMgemini-2.5-pro · 1.203 Tokens1,892msok
  3. Tooldocuments.parse234msok
  4. MCPlinear.create_issue156msok
  5. Tooldatabase.store_invoice59msok

Vom gesamten Ablauf zum einzelnen Aufruf

Der Trace zeigt die Schritte einer Agenten-Ausführung samt Laufzeiten. Ein Klick auf einen Schritt öffnet dessen Ein- und Ausgaben. Token-Verbrauch und Gesamtkosten stehen in der Übersicht.

Run Details

#a1b2c3d4
abgeschlossen
2.34s1.234 Tokens$0.01812. Apr. · 14:34:12
  1. Runinvoice-processor2,341msok
  2. LLMgemini-2.5-pro · 1.203 Tokens1,892msok
  3. Tooldocuments.parse234msok
  4. MCPlinear.create_issue656msok
  5. Tooldatabase.store_invoice59msok
LLM · gemini-2.5-pro · 1.203 Tokens
ok
Input
system_prompt + Rechnungstext + Tool Schemas
Output
tool_call: documents.parse(s3://invoices/...)
gefolgt von tool_call: database.store_invoice(...)

Erster Modellaufruf. Die Token-Kosten machen den größten Teil der Kosten dieses Runs aus.

Den laufenden Betrieb im Blick

Connic fasst Erfolgsrate, Ausführungen, Token-Verbrauch und durchschnittliche Kosten zusammen. So werden steigende Kosten, häufigere Fehler und Veränderungen in der Nutzung sichtbar.

Erfolgsrate

98.5% · ausgewählter Zeitraum

Durchschnittliche Token-Kosten je Run

$0.018 · über alle Runs

Agent Runs

abgeschlossen vs. fehlgeschlagen

Nutzung nach KI-Modell

claude / gemini Tokens

Fehler eingrenzen und Ursachen untersuchen

Connic hilft dabei, betroffene Ausführungen zu finden, ungewöhnlich hohe Kosten zu erkennen und fehlgeschlagene Abläufe mit erfolgreichen zu vergleichen.

Den fehlerhaften Ausschnitt isolieren

Im Tab Logs können Ausführungen nach Status, Deployment, Zeitraum und Kontextdaten gefiltert werden. Dazu gehören etwa Kunden-IDs oder Anfragetypen, die per Middleware hinterlegt wurden.

Logs-Suche: customer_id=abc123
Runs mit ausufernden Kosten erkennen

Die Erkennung von Kostenanomalien vergleicht jeden Run mit dem gleitenden 30-Tage-Kostendurchschnitt des Agenten und sendet bei Ausreißern eine Benachrichtigung. Ausgabenlimits pausieren den Agenten, wenn ein täglicher oder monatlicher Grenzwert überschritten wird.

Anomalie: Run-Kosten > 3× gleitender Durchschnitt
Einen fehlerhaften mit einem erfolgreichen Run vergleichen

Ein fehlgeschlagener und ein erfolgreicher Run lassen sich nebeneinander öffnen. Der erste abweichende Span weist häufig auf die zugrunde liegende Ursache hin.

Erste Abweichung: LLM-, Tool- oder MCP-Span

Was Connic für Observability mitbringt

Welche Funktionen sind integriert, welche müssen ergänzt werden? Connic im Vergleich mit LangSmith, Helicone und einer eigenen OpenTelemetry-Lösung.

Was Connic für Observability mitbringt
FunktionConnicLangSmithHeliconeDIY OTel
Trace Tree je RunEnthaltenEnthaltenTeilweiseTeilweise
Kosten je Run und AgentEnthaltenEnthaltenEnthaltenNicht enthalten
Token-Aufschlüsselung (Input / Output / Thinking / Cached)EnthaltenTeilweiseTeilweiseNicht enthalten
Erfasste Logs aus Tools und MiddlewareEnthaltenTeilweiseNicht enthaltenTeilweise
Eigene Dashboards im ProduktEnthaltenTeilweiseTeilweiseTeilweise
Spend Alerts und Hard LimitsEnthaltenNicht enthaltenTeilweiseNicht enthalten
Erkennung von KostenanomalienEnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Jede Ausführung im Dashboard erneut startenEnthaltenTeilweiseNicht enthaltenNicht enthalten
Mit A/B Testing verbundenEnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Mit Judges verbundenEnthaltenTeilweiseNicht enthaltenNicht enthalten

Entdecke weitere Features

Judges

Jeden Run bewerten und Drift früh erkennen.

A/B testing

Varianten im Produktivbetrieb vergleichen.

Approvals

Human-in-the-Loop für sensible Calls.

Dev server

Lokale Entwicklung mit Hot Reload.

Testing

Assertions und Judges in CI.

Verbindungen

Agenten mit den realen Systemen verbinden.

Häufig gestellte Fragen

Connic erfasst Spans für LLM-Aufrufe, Tool-Aufrufe, MCP-Tool-Aufrufe, Before/After-Hooks der Middleware, Links zu ausgelösten Agenten und den übergeordneten Run selbst. Jeder Sequential-Schritt ist ein separater verknüpfter Run mit eigenem Trace. Jeder Span zeigt Status, Dauer, Eingaben, Ausgaben und Metadaten. LLM-Spans enthalten außerdem das Reasoning des KI-Modells, wenn der Anbieter es zurückgibt; gesteuert wird das über reasoning_effort am Agenten.

Jeder Run erfasst Input-, Output-, Thinking- und Cached-Input-Tokens. Kosten für connic/* werden in EUR angezeigt. Bei BYOK bleibt die für das KI-Modell konfigurierte Währung erhalten, sodass USD und EUR getrennt bleiben, wenn beide vorkommen.

Auf der Seite Token Usage lassen sich währungsspezifische Alerts und Hard Limits für Token-Kosten festlegen. Beide können global, je Environment oder je Agent begrenzt und täglich oder monatlich angewendet werden. Projekt Billing bietet separat Alerts für Projektguthaben und Auto-Refill Controls.

Ja. Wenn ein Agent einen anderen startet, zeigt dessen Ausführung oben den Link Triggered by zur auslösenden Ausführung. So lässt sich die gesamte Kette verfolgen.

Der Tab Logs im Projekt unterstützt eine key=value-Suche in den Kontextdaten der Ausführung. Kontextdaten wie customer_id, request_type oder workflow_version können per Middleware hinterlegt werden, um die zugehörigen Ausführungen zu finden.

Ja. Run Again in den Ausführungsdetails startet denselben Agenten erneut mit derselben Eingabe. Wartende oder laufende Runs lassen sich über Cancel abbrechen.

Ja. after()-Funktionen der Middleware erhalten nach Abschluss des Agenten ein Dictionary mit Kontextdaten wie run_id, agent_name, duration_ms und token_usage. Die Daten lassen sich per POST an ein externes Monitoring-System senden. Ausgaben über print oder das Python-Logging-Modul in Tools, Middleware, Hooks und Guardrails werden ebenfalls je Run erfasst und im Tab Logs angezeigt.