Dashboards
Eigene Dashboards kombinieren Metriken, Diagramme, Filter und Aktivitäten für Agent Runs, Zuverlässigkeit, Judge Scores, Token-Nutzung und Kosten im Zeitverlauf.
Auf dieser Seite
Eigene Dashboards
Der Bereich Dashboards in der Seitenleiste des Projekts bietet anpassbare Dashboards für die Performance von Agenten im Zeitverlauf. All Dashboards listet alle Dashboards auf, angepinnte Dashboards erscheinen direkt darunter. Erstelle mehrere Dashboards und ordne ihre Widgets in einem Drag-and-Drop-Raster an, sodass jede Ansicht eine konkrete operative Frage beantwortet.
Widget-Typen
Kosten nach Kunde oder Use Case
Jeder Schlüssel, den Middleware oder Tools in den Kontext des Runs schreiben, kann Token-Kosten gruppieren. Setze in der Middleware zum Beispiel context["customer_id"] oder context["use_case"]. Füge dann ein Bar Chart mit By Context hinzu, trage den Schlüssel ein und wähle Token Cost oder Token Usage. Das Chart zeigt bis zu 20 Werte für den gewählten Zeitraum und das gewählte Environment.
Um einen Wert im Zeitverlauf zu verfolgen, füge ein Area Chart oder eine Stat Card mit einem Filter wie context.customer_id == 'acme' hinzu. Damit ein Dashboard für alle Kunden funktioniert, lege ein Input Widget mit der Variable customer an und setze den Filter auf context.customer_id == '{customer}'. Ein leeres Input entfernt diese Bedingung.
Dashboard-Funktionen
- Mehrere Dashboards: getrennte Ansichten für Kostenkontrolle, Zuverlässigkeit und Debugging.
- Zeitraumauswahl: ändere das Zeitfenster aller Widgets über ein Preset oder einen eigenen Zeitraum.
- Auto-Refresh: aktualisiert Live-Zeiträume je nach Auswahl alle 10, 30 oder 60 Sekunden; feste Zeiträume in der Vergangenheit werden nicht aktualisiert.
- Filter pro Widget: beschränke ein Widget auf bestimmte Agenten oder Verbindungen.
- Gemeinsame Input-Variablen: definiere einen Input und verwende seinen Wert in Charts, Stats und Logs wieder.
- Drag-and-Drop Layout: ordne Widgets im Edit Mode an und ändere ihre Größe.
- Bearbeitung mit KI: füge Widgets über einen natürlich formulierten Dashboard Prompt hinzu oder passe sie an.
- Default Dashboard: nutze das vorkonfigurierte Dashboard, das jedes Projekt enthält.
Observability auf Agent-Ebene
Öffne einen Agenten im Tab Agenten, um Konfiguration und Ausführungen dieses Agenten zu untersuchen. Die Ansicht zeigt seine Konfiguration und die letzten Ausführungen. Ein eigenes Dashboard ist dafür nicht nötig.
- Statistiken: Runs insgesamt, Success Rate, gesamte Runtime, Token-Kosten und Tokens, jeweils mit Durchschnitt, p50 und p95 pro Run.
- Konfiguration: Agent Type, KI-Modell, Concurrency und verknüpfte Tools oder Agenten.
- Runs-Tabelle: eine auf den Agenten beschränkte Tabelle mit Filtern für Status, Context, Guardrail, Deployment und Datum.
- Manueller Trigger: sende direkt aus dem Dashboard einen Payload an den Agenten.