Zum Hauptinhalt springen
Connic

Nutze Connic-Modelle und eigene Anbieter
auf einer Plattform.

Wähle für jeden Agenten das passende KI-Modell: direkt über Connic mit EU-Hosting, über deinen eigenen API-Schlüssel oder an einem selbst gehosteten Endpunkt. Für alle drei Optionen kannst du automatische Wiederholungen und Ersatzmodelle konfigurieren.

Dokumentation zur KI-Modell-Konfiguration lesen
KI-Modell-Auswahl
Von Connic verwaltetIn der EU gehostet
connic/glm-5.2
Z.ai · 256k Context
Eigener Key
anthropic/claude-sonnet-4-5
Verwendet das Provider-Konto

Drei Wege, ein KI-Modell auszuführen. Ein YAML-Feld.

Jeder Agent erhält eine Option; jede davon kann auch als Fallback dienen. Ein anderer Provider ist eine Änderung in einer Zeile, keine Neuentwicklung.

Von Connic verwaltet

Kein neues Konto erforderlich

model: connic/gpt-5.6-terra
  • Standardmäßig in jedem Projekt aktiviert, ohne zusätzlichen API-Schlüssel
  • Inference ausschließlich in der EU zu veröffentlichten EUR-Preisen
  • Bezahlung aus Projektguthaben; Basic startet einmalig mit 20 EUR
Eigener Key

Provider-Konto

model: anthropic/claude-sonnet-5
  • OpenAI, Azure OpenAI, Anthropic, Gemini, OpenRouter, Bedrock, Vertex AI
  • Provider-Vertrag, Preise und Rate Limits
  • Zugangsdaten werden je Projekt verschlüsselt und zur Laufzeit injiziert
Eigener Endpoint

Jeder OpenAI-kompatible Server

model: vllm/mistral-7b
  • Präfix wählen, auf eine Base URL verweisen und wie jeden Provider verwenden
  • vLLM, Ollama, ein Inference Proxy oder ein selbst gehostetes Fine-Tune
  • Einen Endpoint im eigenen Netzwerk über eine Bridge ohne eingehende Ports erreichen

Ein einzelnes Projekt kann alle drei Optionen mischen. Verfügbar sind die Provider-Präfixe und benötigten Zugangsdaten.

Vergleiche KI-Modelle und Preise

Entdecke eine Auswahl der über Connic verfügbaren KI-Modelle. Die Preise gelten pro Million Tokens, in Euro zuzüglich Steuern. Die Nutzung bezahlst du mit deinem Projektguthaben.

connic/claude-opus-5
Anthropic · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
5,20 €
Output / 1 Mio.
26,00 €
connic/claude-sonnet-5
Anthropic · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
2,10 €
Output / 1 Mio.
10,40 €
connic/gpt-5.6-sol
OpenAI · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
5,20 €
Output / 1 Mio.
31,20 €
connic/gpt-5.6-terra
OpenAI · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
2,10 €
Output / 1 Mio.
12,50 €
connic/gpt-5.6-luna
OpenAI · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
0,25 €
Output / 1 Mio.
1,30 €
connic/gemini-3.5-flash
Google · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
1,60 €
Output / 1 Mio.
9,40 €
connic/gemini-3.1-flash-lite
Google · Provider terms
TextVisionReasoning
Context
1M
Input / 1 Mio.
0,30 €
Output / 1 Mio.
1,60 €
connic/glm-5.2
Z.ai · MIT
TextReasoning
Context
256k
Input / 1 Mio.
1,90 €
Output / 1 Mio.
5,80 €
connic/qwen3.5-397b-a17b
Qwen · Apache-2.0
TextVisionReasoning
Context
250k
Input / 1 Mio.
0,65 €
Output / 1 Mio.
3,80 €
connic/qwen3.6-35b-a3b
Qwen · Apache-2.0
TextVisionReasoning
Context
256k
Input / 1 Mio.
0,30 €
Output / 1 Mio.
1,60 €
connic/mistral-large-2512
Mistral · Provider terms
TextVision
Context
256k
Input / 1 Mio.
0,55 €
Output / 1 Mio.
1,60 €
connic/mistral-small-2603
Mistral · Provider terms
TextVisionReasoning
Context
256k
Input / 1 Mio.
0,25 €
Output / 1 Mio.
0,65 €
connic/llama-3.3-70b-instruct
Meta · Llama 3.3 Community
Text
Context
100k
Input / 1 Mio.
0,95 €
Output / 1 Mio.
0,95 €
connic/minimax-m2.7
MiniMax · Provider terms
TextReasoning
Context
197k
Input / 1 Mio.
0,65 €
Output / 1 Mio.
2,60 €
Katalog aktualisiert am 2. September 2026Connic KI-Modelle ansehen

Nutze Connic-Modelle mit Verarbeitung in der EU

Mit Connic-Modellen verarbeitest du Anfragen in der EU. Dafür ist keine zusätzliche Konfiguration nötig.

Ausschließlich EU durch Vertrag und Routing

Jeder connic/* Request wird ausschließlich an Inference-Kapazitäten in der EU gesendet. Kann diese Grenze nicht eingehalten werden, wird das KI-Modell entfernt oder der Aufruf abgebrochen.

Kein Training mit Prompts

Anfragen an die von Connic verwalteten KI-Modelle werden nicht für deren Training verwendet. Für die Abrechnung speichert Connic Modell-IDs und Tokenzahlen, nicht die Inhalte von Prompts oder Antworten. Eng begrenzte Ausnahmen zur Aufbewahrung für Sicherheits- und Fehleranalysen beschreibt unsere Datenschutzerklärung.

Datenresidenz für das gesamte Projekt

connic/* deckt den Modellaufruf ab. Ein Projekt ist vollständig EU-resident, wenn auch Deployment-Region sowie jeder konfigurierte Provider, jedes Tool, jede Guardrail, jeder Judge und jedes Datenziel EU-resident sind.

Manche Anwendungen benötigen eine direkte KI-Modell API statt einer Agent Runtime. In der EU gehostete KI-Modell-Provider und Deployment-Optionen vergleichen.

Konfiguriere KI-Modell, Prompt und Tools gemeinsam

Lege in der Agent-Datei fest, welches KI-Modell dein Agent nutzt. Versioniere sie in Git und prüfe Modelländerungen im selben Review-Prozess wie andere Codeänderungen.

agents/refund-agent.yaml
version: "1.0"
name: refund-agent
description: Prüft Erstattungsanfragen und entwirft eine Entscheidung
system_prompt: |
  Prüfe die Erstattungsanfrage und entwirf eine Entscheidung.

model: connic/qwen3.6-35b-a3b
fallback_model: connic/claude-sonnet-5  # oder anthropic/claude-sonnet-4-5 mit konfiguriertem Anthropic BYOK
temperature: 0.3
reasoning_effort: high

retry_options:
  attempts: 5
  max_delay: 60
Bedeutung der einzelnen Felder
model
Anbieter-Präfix und Modell-ID sind für LLM-Agenten erforderlich. Connic-Modelle, Anbieter mit eigenem API-Schlüssel und selbst gehostete Endpunkte verwenden dafür dasselbe Feld.
fallback_model
Ein zweites KI-Modell, meist bei einem anderen Provider, das bei Ausfall des primären Providers übernimmt.
temperature
0.0 bis 2.0 innerhalb des vom KI-Modell akzeptierten Bereichs. Niedrigere Werte führen zu weniger variierenden Antworten.
reasoning_effort
auto, off, minimal, low, medium, high oder xhigh. Connic überträgt die gewählte Stufe in den entsprechenden Parameter des Anbieters. So kann die Einstellung auch bei einem Modellwechsel verwendet werden.
retry_options
Bis zu 10 Versuche pro Modellanfrage. Ist ein Fallback konfiguriert, wird zunächst das primäre KI-Modell einmal aufgerufen. Die konfigurierte Anzahl von Versuchen gilt anschließend für das Ersatzmodell.
Gemeinsame Modellwahl für mehrere Agenten

Eine _defaults.yaml-Datei legt das KI-Modell für alle Agenten im Verzeichnis und darunter fest. Abweichende Einstellungen eines einzelnen Agenten haben Vorrang. Vererbte Standardwerte ansehen

Tool Calling und strukturierter Output

Verwaltete KI-Modelle unterstützen Tool-Definitionen und Vorgaben für das Antwortformat. Agent-Tools und output_schema verhalten sich auf connic/* genauso wie auf einem BYOK-Modell.

Wiederhole fehlgeschlagene Modellanfragen gezielt

Bei Rate Limits, Timeouts oder ungültigen API-Schlüsseln greift die Fehlerbehandlung von Connic. Konfiguriere Wiederholungen und bei Bedarf ein Ersatzmodell für jeden Agenten.

Modellaufruf innerhalb eines Runs
  • connic/qwen3.6-35b-a3bVersuch 1 von 4429Anfrage an das primäre Modell fehlgeschlagen
  • anthropic/claude-sonnet-4-5Fallback, Versuch 1 von 4503Anfrage fehlgeschlagen, Fallback wird wiederholt
  • anthropic/claude-sonnet-4-5Fallback, Versuch 2 von 42001,9 s, Run wird fortgesetzt
Run erfolgreich abgeschlossen und markiert mit fallback_model_used
Fehlgeschlagene Aufrufe wiederholen

Connic wiederholt nur den fehlgeschlagenen Modellaufruf, nicht den gesamten Run. Bereits ausgeführte Tools behalten ihre Ergebnisse und der Gesprächsverlauf wird nicht neu aufgebaut.

Fallback nach Ausfall des primären KI-Modells

Ist fallback_model konfiguriert, wird das primäre KI-Modell einmal aufgerufen. Schlägt der Aufruf fehl, erhält das Ersatzmodell die konfigurierte Anzahl von Versuchen. Ein verwaltetes primäres Modell mit BYOK-Fallback funktioniert ebenso wie die umgekehrte Kombination.

Im Nachhinein sichtbar

Verwendet ein Run ein Fallback-Modell, wird dies im Trace markiert. Mit context.fallback_model_used lässt sich die Run-Liste nach solchen Ausführungen im gewählten Zeitraum filtern.

Überschrittene Kontextgrenzen behandeln

Ist context_compression aktiviert und das Kontextfenster überschritten, fasst Connic in einem Durchlauf ältere Gesprächsbeiträge und übergroße Tool-Ergebnisse zusammen. Anschließend wird der Modellaufruf wiederholt.

Versuche, Backoff und Wartezeiten lassen sich je Agent konfigurieren. Ausführungsgrenzen und Wiederholungen ansehen

Prüfe, welches KI-Modell zur Aufgabe passt

Teste ein neues KI-Modell in Connic gegen das bisherige. Vergleiche Kosten und Qualität bei echten Anfragen im Produktivbetrieb und entscheide, ob sich ein Wechsel lohnt.

agents/refund-agent-test-cheaper.yaml
# Kopie von refund-agent.yaml, eine Zeile geändert
version: "1.0"
name: refund-agent-test-cheaper
description: Prüft Erstattungsanfragen und entwirft eine Entscheidung
system_prompt: |
  Prüfe die Erstattungsanfrage und entwirf eine Entscheidung.

model: connic/qwen3.6-35b-a3b
refund-agent, günstigerer Test
MetrikKontrollgruppeVarianteDelta
  • Token-Kosten je Run€0.021€0.006-71%
  • Erfolgsrate97.4%97.1%-0.3pp
  • Judge Score17/2017/20gleich
  • Dauer P952.4s3.1s+0.7s
Im Modus Confidence wird die Stichprobengröße vorab geplant. An jedem Auswertungszeitpunkt zeigt Connic eine Empfehlung. Schutzregeln pausieren den Test, wenn die Fehlerquote zu hoch oder die Judge-Bewertung zu niedrig ist.
Vor dem Produktivbetrieb testen

Eine Testsuite kann dieselben Testfälle und Assertions auf den Varianten-Agenten anwenden. Die Exit-Codes lassen sich in jeder Pipeline auswerten. Die Tests beim Deployment können die Veröffentlichung der Variante blockieren. Testing ansehen

Kosten je KI-Modell aufgeschlüsselt

Die Seite Token Usage zeigt Ausgaben je Agent und KI-Modell. EUR und USD bleiben in getrennten Spalten. Kosten verwalteter Modelle und BYOK-Modelle in unterschiedlichen Währungen werden nicht zu einer Summe vermischt. Usage-Dokumentation ansehen

Limits, die Ausgaben stoppen

Kostenwarnungen und feste Token-Kostenlimits lassen sich global, je Environment oder je Agent sowie täglich oder monatlich festlegen. Die Erkennung von Kostenanomalien markiert Runs, die deutlich mehr als der 30-Tage-Durchschnitt des Agenten kosten. Observability ansehen

Sieh, was Connic über den Modellzugriff hinaus übernimmt

Vergleiche, welche Funktionen für den Betrieb deiner KI-Agenten bei Connic enthalten sind und was du bei anderen Lösungen selbst ergänzen musst.

Sieh, was Connic über den Modellzugriff hinaus übernimmt
FunktionConnicProvider SDKKI-Modell RouterSelbst gehostet
Ausliefern ohne Provider-KontoEnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Option für Inference ausschließlich in der EUEnthaltenTeilweiseTeilweiseEnthalten
Je KI-Modell veröffentlichte Preise in EUREnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Retries für Modellaufrufe und Fallback-KI-ModelleEnthaltenNicht enthaltenEnthaltenNicht enthalten
Eine Konfiguration für verwaltete, BYOK- und selbst gehostete KI-ModelleEnthaltenNicht enthaltenTeilweiseNicht enthalten
Trace je Run mit Tool-Aufrufen und Token-KostenEnthaltenNicht enthaltenTeilweiseNicht enthalten
Kostenwarnungen und feste AusgabenlimitsEnthaltenTeilweiseTeilweiseNicht enthalten
Modellwechsel per A/B Test auf Live TrafficEnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Test Suites und Judges als Gate für ModellwechselEnthaltenNicht enthaltenNicht enthaltenNicht enthalten
Keine eigenen GPU-Ressourcen betreibenEnthaltenEnthaltenEnthaltenNicht enthalten

Häufig gestellte Fragen

Nein. Von Connic verwaltete KI-Modelle sind standardmäßig in jedem Projekt aktiviert und benötigen keinen Provider Key. Der kostenlose Basic Plan startet einmalig mit 20 EUR Projektguthaben. Aus demselben Guthaben werden Runs, Compute und Storage bezahlt. Zugangsdaten für den Anbieter sind nur für BYOK oder eigene Provider erforderlich.

Der Katalog enthält sowohl Open-Weight als auch gehostete proprietäre KI-Modelle. Jeder Eintrag nennt den Ersteller und die geltenden Nutzungsbedingungen des KI-Modells. Ein selbst betriebenes offenes KI-Modell kann Connic außerdem über einen eigenen OpenAI-kompatiblen Endpoint bereitgestellt werden.

Ja. Jedes Agent YAML benennt sein eigenes KI-Modell. Ein günstiges KI-Modell kann die Klassifizierung übernehmen, während ein stärkeres KI-Modell den Reasoning-Schritt ausführt. Eine Datei _defaults.yaml legt ein gemeinsames KI-Modell für alle Agenten im Verzeichnis und darunter fest; einzelne Agenten können es weiterhin überschreiben.

Der fehlgeschlagene Modellaufruf folgt den Einstellungen für Wiederholungen des Agenten. Ist fallback_model konfiguriert, übernimmt das Fallback nach dem ersten fehlgeschlagenen Request an das primäre KI-Modell.

Ja. Verwaltete KI-Modelle akzeptieren Tool-Definitionen und Vorgaben für das Antwortformat. Agenten-Tools, MCP-Server und output_schema verhalten sich damit wie bei einem BYOK-Modell.

In CI kann dieselbe Test Suite mit identischen Cases und Assertions gegen den Varianten-Agenten laufen, oder der Kandidat wird als A/B Variante mit einem Teil des Live-Traffics bereitgestellt. Der A/B Vergleich zeigt Erfolgsrate, Dauer, Token-Kosten und Judge Scores beider Seiten und pausiert Tests, die eine Guardrail für Fehlerquote oder Qualität verletzen. Judges bewerten Runs bereitgestellter Agenten und gelten daher für den A/B Vergleich, nicht für die Test Suite.

Nein. BYOK und von Connic verwaltete KI-Modelle sind gleichwertige Optionen. Beide können das primäre oder das Fallback KI-Modell eines Agenten sein.

Nein. Verwaltete KI-Modelle sind nur innerhalb der bereitgestellten Connic-Runtime verfügbar. Es gibt keine öffentliche API für direkte Modellaufrufe außerhalb von Connic.

Standardprojekte können Guthaben manuell aufladen oder Auto-Refill mit einem Schwellenwert, Aufladebetrag und monatlichen Höchstbetrag aktivieren. Aufrufe pausieren, wenn ein Prepaid-Projekt kein Guthaben mehr hat. Für Enterprise-Projekte gelten individuell vereinbarte Preise und Vertragsbedingungen.

Gekauftes Guthaben bleibt verfügbar, solange das Projekt aktiv ist. Wird das Projekt geschlossen oder der Vertrag beendet, wird ungenutztes gekauftes Guthaben nach Ausgleich offener Beträge erstattet. Monatliches Guthaben verfällt am Ende des Abrechnungszyklus; für Aktionsguthaben gilt das ausgewiesene Ablaufdatum.

Es garantiert, dass der verwaltete Modellaufruf in der EU bleibt. Das gesamte Projekt ist nur dann vollständig EU-resident, wenn auch alle anderen konfigurierten Komponenten wie BYOK KI-Modelle, Tools, Guardrails und externe Datenziele in der EU bleiben.