S3-Dokumenten-Pipeline

Überblick

Datei-Uploads in einen S3-Bucket lösen die Pipeline aus. Der Intake-Agent extrahiert Text, Metadaten und Entitäten aus PDFs, Bildern und Textdateien. Middleware weist nicht unterstützte Dateitypen mit StopProcessing ab, bevor das LLM ausgeführt wird. Der Classifier weist Kategorien, Konfidenzwerte und Routing-Ziele zu. Bei vorübergehenden Fehlern werden Retries ausgeführt.

Use Cases

Architektur

Wichtige Template-Dateien

Installiere diese Dateien mit connic init my-project --templates=s3-document-pipeline. Die CLI legt die Agentendefinitionen unter agents/ in einem Ordner mit dem Namen des Templates ab.

s3-document-pipeline/
  agents/
    document-intake.yaml
    document-classifier.yaml
    document-pipeline.yaml
  middleware/
    document-intake.py
  schemas/
    intake-result.json
    classification-result.json
  requirements.txt
  README.md

Loslegen

Installiere das Template, erstelle ein Connic-Projekt und starte das Deployment über ein verbundenes Git-Repository oder die CLI.

1. 1

   Installieren und Projekt anlegen

   Installiere das SDK und erstelle aus diesem Template ein Projekt.

   terminal

   Copy

   pip install connic-composer-sdk
   connic init my-project --templates=s3-document-pipeline

   Danach cd my-project

2. 2

   Bereitstellen

   Wähle eine Deployment-Methode. Bei einem verbundenen Git-Repository startet jeder Push ein Deployment. Nutze die CLI für Projekte ohne verbundenes Git-Repository.

   Git-Integration

   1. 1

      Verbinde in Connic unter Projekt Settings → Git & Environments das GitHub-Repository

   2. 2

      Ordne auf derselben Seite den Branch (z. B. main) der Produktivumgebung zu

   3. 3

      Pushe das erzeugte Projekt in dieses Repository

   terminal

   Copy

   git add .
   git commit -m "S3-Dokumenten-Pipeline Template hinzufügen"
   git push origin main

   CLI Deployment

   1. 1

      Erstelle in Connic unter Projekt Settings → API Keys & MCP Auth einen API Key und kopiere die Projekt-ID

   2. 2

      Führe im Projektverzeichnis connic login aus

   3. 3

      Teste mit connic dev und Hot Reload, führe mit connic test Testsuiten aus oder starte mit connic deploy das Deployment für den Produktivbetrieb

   terminal

   Copy

   connic login
   connic dev     # Temporäre Entwicklungsumgebung mit Hot Reload
   connic test    # Deklarative Test Suites ausführen
   connic deploy  # In den Produktivbetrieb deployen

3. 3

   Verbinden und konfigurieren

   Füge eine eingehende S3-Verbindung mit dem Namen des Buckets und den AWS-Zugangsdaten hinzu. Konfiguriere S3 Event Notifications so, dass sie auf die Webhook-URL der Verbindung verweisen. Ein connic/* KI-Modell nutzen oder BYOK-Zugangsdaten unter Projekt Settings → LLM Provider hinterlegen.

   Vollständiger Einrichtungsleitfaden für VerbindungenQuickstart GuideDocs zu Verbindungen