KI-Modelle & Provider

Im Agent-YAML wird festgelegt, ob connic oder ein eigener Provider die KI-Modelle ausführt. Dort lässt sich auch das Verhalten des KI-Modells konfigurieren.

KI-Modell-Steuerung

model: anthropic/claude-sonnet-4-5
fallback_model: connic/glm-5.2
retry_options:
  attempts: 3
  attempt_timeout: 120
temperature: 0.7
reasoning_effort: high  # supported values depend on the selected model

• model wählt das primäre KI-Modell aus und ist für LLM-Agenten erforderlich.
• fallback_model übernimmt die Anfrage nach dem ersten fehlgeschlagenen Versuch mit dem primären KI-Modell. Mit retry_options.attempts: 3 sind ein primärer Versuch und bis zu drei Fallback-Versuche möglich. Diese Regel gilt auch bei Timeouts und Ablehnungen durch den Provider. Bei unsupported_file_type wird die Anfrage mit demselben KI-Modell nicht wiederholt; ein konfigurierter Fallback kann sie übernehmen. Managed- und BYOK-KI-Modelle lassen sich in beiden Richtungen kombinieren. Ein Wechsel markiert den Run mit context.fallback_model_used.
• Bei einem Kontextfensterfehler erfolgt zuerst die konfigurierte Kontextkomprimierung mit einer zusätzlichen Anfrage an dasselbe KI-Modell. Pro logischem KI-Modell-Aufruf ist diese Reparatur einmal außerhalb der regulären Anzahl erlaubt. Schlägt sie fehl, gilt wieder die normale Regel für Wiederholungsversuche oder Fallback. Der Fallback-Wechsel erfolgt sofort. Weitere Fallback-Versuche verwenden den konfigurierten Backoff oder einen gültigen Retry-After-Wert des Providers.
• Jeder Versuch hat ein Zeitlimit pro Anfrage von standardmäßig 120 Sekunden, begrenzt durch die Restzeit des Runs. Ein Abbruch, das erreichte Run-Timeout oder bereits gelieferte Ausgabe der aktuellen Anfrage beendet Wiederholungsversuche und Fallback. Ein unterbrochener Stream wird als unvollständig gemeldet. Ergebnisse früherer KI-Modell- und Tool-Aufrufe bleiben erhalten.
• temperature steuert, wie zufällig die Ausgabe ist. Bei niedrigeren Werten fallen die Antworten gleichmäßiger aus.
• reasoning_effort verwendet modellspezifische Werte. Mit auto steuert das KI-Modell sein Verhalten selbst; für connic/* kann unter connic KI-Modelle ein Override gewählt werden. Provider können die Nutzung von Reasoning-Tokens melden, ohne lesbaren Reasoning-Text zurückzugeben. Ein explizites unterstütztes Effort-Level fordert Reasoning-Text an. Erfasstes Reasoning erscheint in den Traces des Runs, wenn der Provider es zurückgibt; einige KI-Modelle stellen bei keinem Effort-Level Zusammenfassungen bereit.
• reasoning_budget legt bei KI-Modellen, die dies unterstützen, ein direktes Token-Budget fest. Verwende reasoning_effort für KI-Modelle mit benannten Effort-Levels.

Unterstützte Provider

Wähle in der Agent-Konfiguration das passende Präfix. Nur BYOK-Provider benötigen Zugangsdaten in den Projekt-Settings.

Eigene OpenAI-kompatible Provider

Jeder OpenAI-kompatible Endpoint lässt sich anbinden, einschließlich selbst gehosteter KI-Modelle und Proxys für Modellanfragen. Wähle unter Projekt-Settings > LLM Provider die Option Add Custom Provider und konfiguriere:

• Model prefix: ein eindeutiges Präfix in Kleinbuchstaben, zum Beispiel ollama
• API base URL: der Endpoint, zum Beispiel https://my-llm.example.com/v1
• API key: optional; lass das Feld leer, wenn der Endpoint keine Authentifizierung benötigt

# Custom provider configured with prefix "ollama"
model: ollama/llama3

# Custom provider configured with prefix "vllm"
model: vllm/mistral-7b

connic leitet Anfragen mit diesem Präfix an den konfigurierten Endpoint weiter. Das Präfix darf nicht mit dem Namen eines integrierten Providers kollidieren; connic ist reserviert.

Beispiele für KI-Modell-IDs

# Using a connic-managed model
model: connic/glm-5.2

# Using OpenAI with your own key
model: openai/gpt-5.2

# Using Anthropic
model: anthropic/claude-opus-4-7

# Using Google Gemini
model: gemini/gemini-2.5-pro

# Using Azure OpenAI (use your deployment name)
model: azure/my-gpt5-deployment

# Using OpenRouter (provider/model format)
model: openrouter/anthropic/claude-sonnet-4.5

# Using AWS Bedrock
model: bedrock/us.anthropic.claude-opus-4-7-v1:0

# Using Google Vertex AI
model: vertex_ai/gemini-2.5-pro

# Using a custom OpenAI-compatible provider
model: ollama/llama3

Provider-Dokumentation

• connic KI-Modelle
• OpenAI KI-Modelle
• Anthropic KI-Modelle
• Google Gemini KI-Modelle
• Azure OpenAI KI-Modelle
• OpenRouter KI-Modelle
• AWS Bedrock KI-Modelle
• Google Vertex AI KI-Modelle