Zum Hauptinhalt springen
Connic
Build

KI-Modelle & Provider

Von Connic verwaltete Inferenz und eigene Provider werden im Agent-YAML ausgewählt. Dort lässt sich auch das Verhalten des KI-Modells konfigurieren.

Zuletzt aktualisiert
Managed- und BYOK-KI-Modelle

Jedes KI-Modell verwendet provider/model-name. Wähle ein konkretes KI-Modell wie connic/glm-5.2 für EU-exklusive verwaltete Inferenz, die mit Projektguthaben bezahlt wird, oder nutze ein beliebiges BYOK-Präfix mit Zugangsdaten aus den Projekt-Settings. Beide Varianten funktionieren als primäres KI-Modell und als Fallback.

KI-Modell-Steuerung

agents/assistant.yaml
model: anthropic/claude-sonnet-4-5
fallback_model: connic/glm-5.2
temperature: 0.7
reasoning_effort: high  # supported values depend on the selected model
  • model wählt das primäre KI-Modell aus und ist für LLM-Agenten erforderlich.
  • fallback_model wird nach der ersten fehlgeschlagenen Anfrage an das primäre KI-Modell verwendet und erhält die konfigurierten retry_options.attempts. Der Run wird für die Filterung über context.fallback_model_used markiert. Managed- und BYOK-KI-Modelle lassen sich beliebig als primäres KI-Modell und als Fallback kombinieren.
  • temperature steuert, wie zufällig die Ausgabe ist. Bei niedrigeren Werten fallen die Antworten gleichmäßiger aus.
  • reasoning_effort verwendet modellspezifische Werte. Mit auto steuert das KI-Modell sein Verhalten selbst; für connic/* kann unter Connic KI-Modelle ein Override gewählt werden. Provider können die Nutzung von Reasoning-Tokens melden, ohne lesbaren Reasoning-Text zurückzugeben. Ein explizites unterstütztes Effort-Level fordert Reasoning-Text an. Erfasstes Reasoning erscheint in den Traces des Runs, wenn der Provider es zurückgibt; einige KI-Modelle stellen bei keinem Effort-Level Zusammenfassungen bereit.
  • reasoning_budget legt bei KI-Modellen, die dies unterstützen, ein direktes Token-Budget fest. Verwende reasoning_effort für KI-Modelle mit benannten Effort-Levels.

Unterstützte Provider

Wähle in der Agent-Konfiguration das passende Präfix. Nur BYOK-Provider benötigen Zugangsdaten in den Projekt-Settings.

ProviderPräfixKonfiguration
Von Connic verwaltetconnic/Kein Provider-Key · Projektguthaben · Inferenz in der EU
OpenAIopenai/Nur API-Key
Azure OpenAIazure/API-Key + Basis-URL + API-Version
Anthropicanthropic/Nur API-Key
Google Geminigemini/Nur API-Key
OpenRouteropenrouter/Nur API-Key
AWS Bedrockbedrock/Access Key ID + Secret Access Key + Region
Google Vertex AIvertex_ai/GCP Projekt-ID + Standort + Service-Account-JSON
Eigener OpenAI-kompatibler Provideryour_prefix/API-Basis-URL + optionaler API-Key

Eigene OpenAI-kompatible Provider

Jeder OpenAI-kompatible Endpoint lässt sich anbinden, einschließlich selbst gehosteter KI-Modelle und Inferenz-Proxys. Wähle unter Projekt-Settings > LLM Provider die Option Add Custom Provider und konfiguriere:

  • Model prefix: ein eindeutiges Präfix in Kleinbuchstaben, zum Beispiel ollama
  • API base URL: der Endpoint, zum Beispiel https://my-llm.example.com/v1
  • API key: optional; lass das Feld leer, wenn der Endpoint keine Authentifizierung benötigt
agents/agent.yaml
# Custom provider configured with prefix "ollama"
model: ollama/llama3

# Custom provider configured with prefix "vllm"
model: vllm/mistral-7b

Connic leitet Anfragen mit diesem Präfix an den konfigurierten Endpoint weiter. Das Präfix darf nicht mit dem Namen eines integrierten Providers kollidieren; connic ist reserviert.

Beispiele für KI-Modell-IDs

agents/agent.yaml
# Using a Connic-managed model
model: connic/glm-5.2

# Using OpenAI with your own key
model: openai/gpt-5.2

# Using Anthropic
model: anthropic/claude-opus-4-7

# Using Google Gemini
model: gemini/gemini-2.5-pro

# Using Azure OpenAI (use your deployment name)
model: azure/my-gpt5-deployment

# Using OpenRouter (provider/model format)
model: openrouter/anthropic/claude-sonnet-4.5

# Using AWS Bedrock
model: bedrock/us.anthropic.claude-opus-4-7-v1:0

# Using Google Vertex AI
model: vertex_ai/gemini-2.5-pro

# Using a custom OpenAI-compatible provider
model: ollama/llama3