S3-Dokumenten-Pipeline

Von Connic

Nach einem Upload in S3 liest die Pipeline den Inhalt des Dokuments aus, klassifiziert es und leitet es weiter. Sie unterstützt PDFs, Bilder und Textdateien sowie Retries bei Fehlern.

ProduktivitätFortgeschrittenAWS S3 HTTP Webhook

Auf GitHub ansehen Quickstart

connic init my-project --templates=s3-document-pipeline

Überblick

Datei-Uploads in einen S3-Bucket lösen die Pipeline aus. Der Intake-Agent extrahiert Text, Metadaten und Entitäten aus PDFs, Bildern und Textdateien. Middleware weist nicht unterstützte Dateitypen mit StopProcessing ab, bevor das LLM ausgeführt wird. Der Classifier weist Kategorien, Konfidenzwerte und Routing-Ziele zu. Bei vorübergehenden Fehlern werden Retries ausgeführt.

Use Cases

Dokumentenmanagement

Dokumente werden automatisch klassifiziert und an das richtige Team weitergeleitet, sobald sie im konfigurierten S3-Posteingang landen.

Vertragsverarbeitung

Die Pipeline extrahiert Parteien, Daten und Beträge aus hochgeladenen Verträgen und markiert sie für die rechtliche Prüfung.

Erfassung mehrerer Formate

PDFs, Bilder, Word-Dokumente und Textdateien durchlaufen dieselbe Pipeline.

Architektur

S3-Bucket

document-pipeline

document-intake

document-classifier

Team-Zuweisung

Erzeugte Projektstruktur

Der Befehl connic init my-project --templates=s3-document-pipeline erzeugt diesen Dateibaum.

s3-document-pipeline/
  agents/
    document-intake.yaml
    document-classifier.yaml
    document-pipeline.yaml
  middleware/
    document-intake.py
  schemas/
    intake-result.json
    classification-result.json
  requirements.txt
  README.md

Loslegen

Installiere das Template, erstelle ein Connic-Projekt und starte das Deployment. Mit Git startet jeder Push automatisch ein Deployment; die CLI funktioniert unabhängig vom Git-Anbieter.

Voraussetzungen

Python 3.10+
Ein Connic-Konto mit einem angelegten Projekt
Projektguthaben für ein connic/* KI-Modell oder Zugangsdaten für einen BYOK Provider

Projekt erstellen

Installieren und Projekt anlegen

Installiere das SDK und erstelle aus diesem Template ein Projekt.

terminal

pip install connic-composer-sdk
connic init my-project --templates=s3-document-pipeline

Danach cd my-project

Bereitstellen

Als Deployment-Methode stehen Git und CLI zur Auswahl. Bei Git startet jeder Push automatisch ein Deployment; die CLI funktioniert mit GitLab, Bitbucket oder ganz ohne Git.

Git-Integration

Verbinde in Connic unter Projekt Settings → Git & Environments das GitHub-Repository
Ordne auf derselben Seite den Branch (z. B. main) der Produktivumgebung zu
Pushe das erzeugte Projekt in dieses Repository

terminal

git add .
git commit -m "S3-Dokumenten-Pipeline Template hinzufügen"
git push origin main

CLI Deployment

Erstelle in Connic unter Projekt Settings → API Keys & MCP Auth einen API Key und kopiere die Projekt-ID
Führe im Projektverzeichnis connic login aus
Teste mit connic dev und Hot Reload, führe mit connic test Testsuiten aus oder starte mit connic deploy das Deployment für den Produktivbetrieb

terminal

connic login
connic dev     # Temporäre Entwicklungsumgebung mit Hot Reload
connic test    # Deklarative Test Suites ausführen
connic deploy  # In den Produktivbetrieb deployen

Verbinden und konfigurieren

Füge eine eingehende S3-Verbindung mit dem Namen des Buckets und den AWS-Zugangsdaten hinzu. Konfiguriere S3 Event Notifications so, dass sie auf die Webhook-URL der Verbindung verweisen. Ein connic/* KI-Modell nutzen oder BYOK-Zugangsdaten unter Projekt Settings → LLM Provider hinterlegen.

Vollständiger Einrichtungsleitfaden für Verbindungen Quickstart Guide Docs zu Verbindungen

Template-Quelle

Das vollständige Template lässt sich einsehen, verbessern oder für einen anderen Einsatz forken.

connic-org/connic-awesome-agents/tree/main/s3-document-pipeline

Informationen

Publisher: Von Connic
Kategorie: Agent Templates
Schwierigkeitsgrad: Fortgeschritten
Funktioniert mit: AWS S3, HTTP Webhook
Quelle: GitHub

Weitere Agent Templates

Marketplace durchsuchen

Persönlicher Telegram-Assistent

Der multimodale Telegram-Assistent verarbeitet Text, Bilder, Sprache, Video und Dokumente. Er durchsucht das Web, speichert Notizen und Wissen und plant Erinnerungen mit persistenten Sessions.

Lead-Anreicherung

Neue Registrierungen werden durch Unternehmensrecherche angereichert und anhand des idealen Kundenprofils bewertet. Qualifizierte Leads werden gespeichert.

Compliance-Auditor

Zeitgesteuerte Compliance-Prüfungen werten regulatorische Neuerungen aus der Websuche, per MCP abrufbare Dokumentation und frühere Prüfergebnisse aus dem Retrieval aus. Daraus entstehen Zusammenfassungen mit einer Bewertung.

E-Mail-Helpdesk

Der E-Mail-Helpdesk fragt Postfächer per IMAP ab, filtert automatische Antworten und klassifiziert Nachrichten nach Anliegen. Kontextbezogene Antwortentwürfe stammen aus dem konfigurierten Retrieval.

Stripe-Mahnwesen

Automatisierte Zahlungserinnerungen helfen, fehlgeschlagene Stripe-Zahlungen nachzuholen. Sie berücksichtigen die Kundenhistorie und reichen von freundlichen Erinnerungen bis zu Hinweisen auf eine Leistungspause.

PostgreSQL-Änderungsbenachrichtigung

LISTEN/NOTIFY überwacht PostgreSQL-Änderungen, klassifiziert Ereignisse nach Auswirkung und leitet Benachrichtigungen an das richtige Team weiter. Änderungen mit hoher Auswirkung werden für Audits gespeichert.