Zum Hauptinhalt springen
Connic
Zurück zum BlogProdukt im Fokus

Hunderte Tools für KI-Agenten, ohne ihren Kontext zu überladen

Connic hält große Tool-Kataloge außerhalb des Modellkontexts und ruft Schemas bei Bedarf ab, damit Agenten mehr Tools nutzen, ohne sie alle vorab zu laden.

14. September 20267 Min. LesezeitAutor: Connic Engineering

Ein Connic-Agent kann Hunderte Tools nutzen, ohne jedes Schema im Kontextfenster des Modells mitzuführen. Connic verwaltet durchsuchbare Tools in einem Katalog. Der Agent durchsucht diesen Katalog, sobald er eine Funktion braucht. Erst dann gelangen die passenden Schemas in seinen Kontext. Noch nicht abgerufene Schemas bleiben außerhalb des Modellkontexts.

Tool-Definitionen belegen Kontext, bevor die Arbeit beginnt

Für einen zuverlässigen Aufruf braucht ein Modell mehr als den Namen eines Tools. Dessen Schema beschreibt Zweck, Argumente, Typen und Pflichtfelder. Je mehr APIs und MCP-Server ein Agent nutzen kann, desto mehr Raum können diese Definitionen in jeder Anfrage einnehmen, selbst wenn die aktuelle Aufgabe nur ein oder zwei Tools benötigt.

Das Kontextfenster hat ein begrenztes Tokenbudget. Neben den Tool-Definitionen brauchen auch Anweisungen, Gesprächsverlauf, Aufgabendaten und Tool-Ergebnisse Platz. Die Dokumentation von Anthropic zum Tool-Kontext beschreibt, wie Definitionen und angesammelte Ergebnisse dieses Budget ausschöpfen können. Ein vollständig geladener Tool-Katalog lässt weniger Raum für die Informationen, die der Agent zur Erledigung seiner Aufgabe braucht.

Das Modell erhält ein Tool zum Suchen und eines zum Ausführen

Connic hält den Tool-Katalog außerhalb des Modellkontexts bereit. Ein Suchtool liefert passende Tools mit ihren Beschreibungen und benötigten Eingaben. Über ein zweites Tool kann das Modell ein gefundenes Tool ausführen lassen. Häufig benötigte Tools können direkt verfügbar bleiben; ihre Schemas erhält das Modell von Anfang an.

Angenommen, ein Agent hat 200 fachliche Tools, die alle für den Run verfügbar sind. Mit zwei direkt verfügbaren und 198 durchsuchbaren Tools erhält das Modell über vier Tool-Schemas zu Beginn Zugriff auf alle 200:

Beispielkonfiguration mit 200 fachlichen Tools
Tool-GruppeAnzahlWas das Modell erhält
Direkte fachliche Tools2Ihre Schemas von Beginn an
Durchsuchbare fachliche Tools198Passende Schemas bei Bedarf als Suchergebnis
Such- und Ausführungstool2Angaben zum Finden und Aufrufen von Katalog-Tools, von Beginn an

Die übrigen 198 Funktionen bleiben über die Suche aufrufbar. Eine weitere durchsuchbare Funktion vergrößert den Katalog, ohne dass das Modell ihr Schema vorab erhalten muss.

Ein Schema gelangt bei der Suche in den Kontext

Bei einer Frage zum Zahlungsstatus kann ein Abrechnungsassistent seinen häufig benötigten Rechnungsabruf direkt aufrufen. Für einen monatlichen Rechnungsexport kann er dagegen das Suchtool nach einem passenden Export-Tool fragen.

Connic gleicht die Suchbegriffe mit Tool-Namen und Beschreibungen ab. Das Modell erhält passende, verfügbare Tools mit ihrem Namen, einer Beschreibung und den benötigten Eingaben. Standardmäßig liefert die Suche bis zu fünf Ergebnisse, höchstens sind 20 je Suche möglich.

Findet das Modell ein passendes Export-Tool, kann es das Ausführungstool bitten, einen Export für August 2026 zu starten. Dafür gibt es die im Suchergebnis beschriebenen Eingaben an. Connic führt das gewählte Tool aus und gibt dessen Ergebnis zurück.

Das Modell hat damit die Angaben für diesen Schritt erhalten. Noch nicht abgerufene Schemas bleiben im Katalog. Gefundene Tools werden weiterhin über dasselbe Ausführungstool aufgerufen.

Die Suche hängt von den Wörtern in Tool-Namen und Beschreibungen ab. Beschreibungen wie „Create a monthly invoice export“ geben dem Agenten passende Suchbegriffe. Bei Synonymen oder Anfragen in einer anderen Sprache kann eine andere Formulierung nötig sein, um einen Treffer zu finden. Nach einem leeren Ergebnis kann der Agent seine Suche präzisieren oder mitteilen, dass die angeforderte Funktion nicht verfügbar ist.

Lokale Funktionen, API-Operationen und MCP-Tools teilen einen Katalog

Derselbe Mechanismus funktioniert für Python-Funktionen, aus OpenAPI-Spezifikationen generierte Tools und Tools von MCP-Servern. In einer bestehenden LLM-Agentenkonfiguration wählt tools die direkt verfügbaren Funktionen aus, discoverable_tools die Funktionen für den Katalog:

agents/billing-assistant.yaml (Ausschnitt)
system_prompt: |
  Answer customer billing questions using the available tools.
  Search the tool catalog when a task needs an additional capability.
  Read the returned schemas and use the execution tool to call a match.
  If no suitable tool is available or a call fails, explain the limitation.

tools:
  - billing.get_invoice_status
  - support.find_customer

discoverable_tools:
  - reporting.*
  - exports.create_invoice_export: context.exports_enabled == true
  - api:billing_admin.invoices_*

Die Anwendungsfunktionen dienen als Beispiel. Die Python-Funktionen müssen unter tools/ vorhanden sein; reporting.* wählt öffentliche Funktionen aus tools/reporting.py aus. Der Artikel zum Run Context enthält das Beispiel für den Rechnungsabruf. Der Eintrag api:billing_admin.invoices_* setzt eine importierte OpenAPI-Spezifikation namens billing_admin voraus, deren generierte Tool-Namen zum Muster passen. Name, Version, Beschreibung und Modell des Agenten gehören in die umgebende Konfiguration.

Ein MCP-Server wird mit discoverable: true in den Katalog aufgenommen. Das folgende Beispiel erwartet einen Server mit den beiden genannten Tools; Endpunkt und Token sind als Umgebungsvariablen des Projekts hinterlegt. Die Liste tools beschränkt, welche Server-Tools in den Katalog gelangen.

agents/billing-assistant.yaml (MCP-Konfiguration)
mcp_servers:
  - name: finance-tools
    url: "${FINANCE_MCP_URL}"
    headers:
      Authorization: "Bearer ${FINANCE_MCP_TOKEN}"
    tools:
      - invoice_search
      - supplier_lookup
    discoverable: true

Connic verbindet sich mit dem Server und lädt dessen Tool-Katalog vor der Modellausführung. Diese Schemas bleiben bei Connic, bis eine Suche sie an das Modell zurückgibt. Die Anleitung zur MCP-Konfiguration beschreibt die Verbindung im Detail. Das MCP-Tutorial zum Rechnungsagenten behandelt die andere Richtung: Ein Connic-Agent wird für externe Clients aufrufbar.

Bedingungen begrenzen den verfügbaren Katalog je Run

Ein Tool kann im konfigurierten Katalog bleiben und für eine bestimmte Anfrage dennoch nicht verfügbar sein. Im Beispiel gibt context.exports_enabled == true Rechnungsexporte nur frei, wenn die Anwendung sie über den Run Context aktiviert. Bedingungen können über input.* auch Felder der JSON-Eingabe lesen.

Connic prüft die Bedingungen, nachdem die vorbereitende Middleware vor dem Modellaufruf gelaufen ist. Ist eine Bedingung nicht erfüllt, entfernt Connic das Tool aus den Suchergebnissen und blockiert seine Ausführung. Spätere Kontextänderungen führen während dieses Runs nicht zu einer Neuberechnung der Verfügbarkeit. Die Referenz zur Agenten-YAML dokumentiert diese Bedingungen und die Regeln für Tool-Listen. Dazu gehört, Überschneidungen zwischen direkt verfügbaren und durchsuchbaren Funktionen zu vermeiden. Kontoberechtigungen muss weiterhin das Tool oder die dahinterliegende API durchsetzen.

Mehr Kontext bleibt für die eigentliche Aufgabe

Wenn Schemas erst nach einem Suchabruf in Modellanfragen erscheinen, bleibt mehr Kontext für die Kundenfrage, relevante Dokumente und Ergebnisse vorangegangener Schritte.

Das Kontextfenster des Modells bleibt begrenzt. Zurückgegebene Schemas und Tool-Ergebnisse werden Teil des Gesprächsverlaufs und können sich ansammeln, bei einer persistenten Sitzung auch über mehrere Runs hinweg. Eine Grenze für die Ergebnisanzahl begrenzt nicht die Tokenzahl. Die optionale Kontextkomprimierung von Connic verkleinert einen wachsenden Verlauf. Die Tool-Suche begrenzt dagegen den Umfang des vorab übergebenen Tool-Katalogs. In den Run-Traces zeigen Suchergebnisse, aufgerufenes Tool und Modellaufrufe, wie diese Trennung bei einer konkreten Aufgabe funktioniert.

Gib deinem Agenten mehr Tools und lass Platz für die Aufgabe

Mache spezielle Tools über die Suche verfügbar. Connic verwaltet den Katalog und die Aufrufe, damit dein Agent sie nutzen kann, ohne alle Schemas vorab zu laden.

Starte mit Connic

Häufig gestellte Fragen

Ein weiteres durchsuchbares Tool ergänzt den Katalog bei Connic. Das Modell erhält dessen Schema erst, wenn eine Suche es zurückgibt. Zu Beginn sieht das Modell die Schemas des Such- und Ausführungstools sowie der für den Run konfigurierten direkt verfügbaren Tools.

Ja. Connic hält diese Tools bereit. Der Agent kann nach einem passenden Tool suchen und es anschließend über das Ausführungstool nutzen. Eine Bedingung kann ein bestimmtes Tool für einen Run sperren; die Suche umgeht diese Bedingung nicht.

Bei der Tool-Suche bleibt der vollständige Katalog außerhalb des anfänglichen Modellkontexts; ausgewählte Schemas werden bei Bedarf zurückgegeben. Die Kontextkomprimierung reduziert den angesammelten Gesprächsverlauf und Tool-Ergebnisse. Abgerufene Schemas und Ergebnisse verbrauchen weiterhin Kontext. Auch mit Tool-Suche kann ein langer Run daher das Kontextlimit erreichen.

Mehr aus dem Blog

Produkt im Fokus

Connic Run Context: Agenten mit den richtigen Daten ausführen

Connic Run Context hält selbst definierte Daten für Middleware und Tools bereit, ohne dass die KI sie kennen oder als Argumente übergeben muss.

8. September 202610 Min. Lesezeit
Produkt im Fokus

KI-Agenten-Routing: Agenten auslösen und Ergebnisse zurückgeben

Connic leitet externe Events an Agenten weiter und liefert Ergebnisse synchron oder über asynchrone Outbound-Verbindungen an das Zielsystem.

24. August 20269 Min. Lesezeit
Produkt im Fokus

Von Staging zum Produktivbetrieb: So isolieren Connic Environments KI-Agenten

Connic Environments ordnen Git-Branches isolierten Deployments mit eigenen Secrets, Verbindungen, Budgets und Run History zu. So können verschiedene Agenten und Codeversionen unabhängig voneinander bereitgestellt werden.

6. August 20268 Min. Lesezeit
Produkt im Fokus

LLM-Kontextkomprimierung für lang laufende KI-Agenten

Connic komprimiert ältere Gesprächsverläufe und übergroße Tool-Ergebnisse. Danach wiederholt die Runtime den KI-Modell-Aufruf, damit lange Agentensitzungen das Kontextlimit nicht überschreiten.

20. Juli 20268 Min. Lesezeit
Produkt im Fokus

Human-in-the-Loop-KI-Agenten: Approvals im Produktivbetrieb

So pausiert ein KI-Agent vor Erstattungen, Löschvorgängen oder externen Aufrufen, leitet die Entscheidung an einen Menschen weiter und setzt den Run mit vollständigem Audit Trail automatisch fort.

5. April 202610 Min. Lesezeit
Produkt im Fokus

A/B-Tests für KI-Agenten: Prompts sicher verbessern

Ob ein geänderter Prompt wirklich besser ist, zeigt ein kontrolliertes Experiment mit echtem Traffic.

27. März 20269 Min. Lesezeit
Produkt im Fokus

KI-Agenten absichern: Checkliste für den Produktivbetrieb

KI-Agenten ohne Sicherheitskonzept zu veröffentlichen ist riskant. Eine praktische Checkliste zu Prompt Injection, PII-Verarbeitung, Output-Validierung und Guardrails vor dem Go-live.

21. März 202612 Min. Lesezeit
Produkt im Fokus

Guardrails für KI-Agenten: Sicherheit in Echtzeit

Connic Guardrails prüfen Ein- und Ausgaben von Agenten in Echtzeit, blockieren Prompt Injection, maskieren PII und setzen Themenbeschränkungen durch.

3. März 20269 Min. Lesezeit
Produkt im Fokus

Connic Bridge: KI-Agenten für private Infrastruktur

Connic Bridge stellt einen sicheren ausgehenden Tunnel bereit, über den KI-Agenten private Kafka-Cluster, Datenbanken und interne Dienste ohne offene eingehende Ports erreichen.

19. Februar 20267 Min. Lesezeit