Soofi S Preview: Ollama, GGUF, Benchmarks und Zugang

Am 13. Juli 2026 veröffentlichte ein deutsches Forschungskonsortium den technischen Bericht zu Soofi S. Das Sprachmodell hat 31,6 Milliarden Parameter und soll unter einer Lizenz mit wenigen Einschränkungen veröffentlicht werden. Die derzeit auf Hugging Face gelisteten Checkpoints sind zugangsbeschränkte Closed-Beta-Research-Previews und noch keine allgemein verfügbare Version. Fraunhofer plant das Basismodell nun für September 2026; nachtrainierte Dialog- und Agentenvarianten folgen später. In der eigenen Evaluation des Konsortiums führt Soofi S die getesteten vollständig offenen Baselines bei den aggregierten deutschen und englischen Ergebnissen an. Das Soofi-Projekt wird vom KI Bundesverband gemeinsam mit Fraunhofer-Instituten, dem DFKI, Universitäten und Unternehmen wie Ellamind und Merantix Momentum koordiniert. Das Bundesministerium für Wirtschaft und Energie förderte das Projekt mit rund 20 Millionen Euro. Für den Einsatz im Produktivbetrieb zählen vor allem die aktuelle Verfügbarkeit sowie die Stärken und Schwächen des KI-Modells.

Was heute verfügbar ist

Zu den öffentlichen Materialien gehören der technische Report, der Trainings- und Evaluationscode sowie eine detaillierte Dokumentation der Daten. Hugging Face listet zugangsbeschränkte Closed-Beta-Checkpoints für das Basismodell (Soofi-S-30B-A3B auf Hugging Face), eine Instruction-Tuned-Preview und zwei Reasoning-Previews namens Isar und Rhine. Der Zugriff ist auf ausgewählte Beta-Partner begrenzt, während das Konsortium die finale Version entwickelt. Die Fraunhofer-Release-Seite nennt September 2026 als geplanten Release-Termin für das Basismodell; für das Instruction-Tuned-Release gibt es noch kein Datum. Das Training lief von Ende März bis Mitte Mai 2026 auf bis zu 512 Nvidia-B200-GPUs in München: rund 253.000 GPU-Stunden auf Infrastruktur der Deutschen Telekom und über etwa 27 Billionen Tokens. Deutsche Inhalte wurden bewusst übergewichtet: mit 7,2 % im wichtigsten Pretraining-Mix und 15,3 % in der späteren hochwertigen Annealing-Phase, verglichen mit den rund 5 %, die gängige Trainingsrezepte für alle nicht englischen Daten zusammen vorsehen.

Architektur für effizientes Hosting

Soofi S ist auf günstiges Hosting ausgelegt und nicht auf Spitzenwerte in Modell-Benchmarks. Das KI-Modell ist ein Hybrid: Von seinen 52 Layern sind nur 6 klassische Attention Layer mit KV Cache; die übrigen kombinieren Mamba-2 State-Space Layer mit Mixture-of-Experts Blocks. In der Praxis nimmt der Durchsatz mit wachsendem Kontext kaum ab. Das Konsortium maß einen nahezu konstanten aggregierten Decode-Durchsatz von 4.000 bis 256.000 Kontext-Tokens: 4.820 Tokens pro Sekunde und B200-GPU bei einem Kontext mit 40.000 Tokens und 32 parallelen Requests. Das ist ein Ergebnis für gebatchten Durchsatz, nicht die Generierungsgeschwindigkeit eines einzelnen Requests.

Für Agenten-Workloads ist das die entscheidende Eigenschaft. Agenten sammeln Kontext an: System-Prompts, Tool-Schemas, Tool-Ergebnisse, abgerufene Dokumente und den Gesprächsverlauf. Ein KI-Modell, dessen Hosting-Kosten trotz wachsendem Kontext stabil bleiben, ist genau für dieses Traffic-Muster gebaut. Das Konsortium benennt als Schwerpunkte der nächsten Projektphase technische Dokumente, Codegenerierung und agentenbasierte Systeme.

Korrigierte Benchmark-Ergebnisse

Im Vergleich des Konsortiums erzielt der Soofi-S-Checkpoint bei den aggregierten deutschen und englischen Ergebnissen die höchsten Werte unter den getesteten vollständig offenen Baselines, vor OLMo 3 32B und Apertus 70B. Diese Benchmark-Kategorie beschreibt das Vergleichsfeld; sie macht aus dem derzeit zugangsbeschränkten Soofi-Checkpoint kein vollständig offenes Release. Besonders stark sind die deutschen Ergebnisse: ein korrigierter Gesamtwert von 85,3 und der beste aggregierte Wert für deutschen Code in dieser Evaluation. Der technische Bericht legt auch die übrigen Ergebnisse ungewöhnlich transparent dar.

Die Report-Revision vom 22. Juli legte offen, dass paraphrasierte GPQA-Evaluationsaufgaben in die Trainingsdaten gelangt waren. Die Autoren entfernten GPQA-Diamond und GPQA-Diamond-DE aus den Tabellen und berechneten die aggregierten Ergebnisse aller KI-Modelle neu. Der frühere GPQA-Wert von 43,4 wurde deshalb aus diesem Artikel entfernt; die aktuellen aggregierten Werte für Englisch und Deutsch liegen bei 77,3 und 85,3. Die Offenlegung zur Datenkontamination im Report enthält Details zu Ursache und Behebung.

Im Vergleich mit Open-Weight-KI-Modellen, die nicht vollständig offen sind, liegt Soofi S hinter Qwen3.5: 81,3 gegenüber 77,3 im aggregierten englischen Ergebnis und 87,6 gegenüber 85,3 im deutschen, mit weiteren Abständen bei Reasoning-Benchmarks wie BBH und AGIEval. Bei Mathematikaufgaben aus Wettbewerben auf Deutsch erreicht es mit 56 Punkten bei Minerva MATH-DE ein schwaches Ergebnis, und der Open-Domain-Abruf von Fakten stößt an die Grenzen von rund 3,2 Milliarden aktiven Parametern. Obwohl der Durchsatz bei langen Kontexten hoch ist, verschlechtert sich eine RULER-Subtask zur Wortextraktion ab 32.000 Tokens und fällt bei den größten Längen unter 5 % Genauigkeit. Der Kontext mit einer Million Tokens ist daher als Durchsatzeigenschaft zu verstehen, nicht als Garantie für zuverlässigen Abruf über die gesamte Länge.

Soofi S verwendet dieselbe KI-Modell-Architektur wie NVIDIAs Nemotron 3 Nano. Der Unterschied liegt im deutsch-englischen Trainingsrezept, im öffentlichen Trainings- und Evaluationscode sowie in der detaillierten Datendokumentation, nicht in einer neuen Architektur. Der Zugriff auf die aktuellen Checkpoints und die finale Lizenzierung bleiben getrennte Fragen.

Soofi S bleibt eine zugangsbeschränkte Beta

Das Soofi-Projekt strebt eine Veröffentlichung unter einer Lizenz mit wenigen Einschränkungen an, doch die Checkpoints der aktuellen Preview sind nicht frei zugänglich. Die Model Card kennzeichnet den Zugriff als Closed Beta und erklärt, das finale KI-Modell werde ohne Zugangsbeschränkung veröffentlicht. Rund 99 % des Trainingsmixes sind öffentlich erhältlich und können rekonstruiert werden, soweit die Quelllizenzen dies erlauben. Der Rest enthält kommerziell lizenzierte Inhalte deutscher Zeitungsarchive, die nicht weitergegeben werden dürfen. Trainings- und Evaluationscode sowie die detaillierte Datendokumentation sind öffentlich; die aktuellen Modellgewichte und finalen Lizenzbedingungen sind es nicht.

Lässt sich Soofi S mit Ollama ausführen?

Ja, aber mit Stand vom 1. September 2026 nur mit genehmigtem Beta-Zugriff. Das Soofi-Team veröffentlicht zugangsbeschränkte GGUF-Previews für Instruct, Isar und Rhine sowie ein offizielles Setup für lokales Hosting, das sie in Ollama importiert. Am 1. September stellt das Projekt noch kein frei zugängliches KI-Modell über die Ollama Library bereit. Soofi dokumentiert ein Redirect-Problem mit Tokens, wenn ollama pull hf.co/... direkt mit zugangsbeschränkter Authentifizierung verwendet wird. Das Setup lädt die Datei deshalb mit der Hugging Face CLI herunter und erstellt das lokale Ollama-KI-Modell aus dem mitgelieferten Modelfile.

Das offizielle llama.cpp-Profil verwendet standardmäßig acht auf die GPU ausgelagerte Layer und benötigt laut Dokumentation rund 8 GB VRAM auf einer Karte mit 12 GB. Das ist eine llama.cpp-Konfiguration mit partiellem Offload, kein Minimum für Ollama. Das Repository veröffentlicht weder ein Minimum für vollständigen Offload noch einen Geschwindigkeitsvergleich. Für KI-Modell-Datei, Runtime-Overhead, Kontext und Concurrency ist entsprechend Speicher einzuplanen.

Starte im Root-Verzeichnis des offiziellen Hosting-Repositorys das Ollama-Profil und führe den unten dokumentierten Instruct-Import aus. Diese Befehle wurden am 1. September 2026 mit dem Soofi-Repository abgeglichen. Mangels genehmigten Zugriffs ließ sich der zugangsbeschränkte Download mit 26 GB nicht ausführen.

docker compose up -d

pip install -U "huggingface_hub[cli]"
export HF_TOKEN=hf_xxx
hf download Soofi-Project/Soofi-S-Instruct-Preview-GGUF \
  soofi-s-instruct-preview-Q5_K_M.gguf \
  --local-dir files/

docker compose exec ollama ollama create \
  soofi-s-instruct-preview \
  -f /files/soofi-s-instruct-preview.modelfile

docker compose exec ollama ollama run soofi-s-instruct-preview

Ollama ist ein praktischer Weg für lokale Tests. Das Soofi-Repository warnt jedoch, dass Ollamas Go-Templates das eingebettete Jinja-Template, die Reasoning-History und das native Tool-Calling-Format des KI-Modells nicht vollständig abbilden. Die Instruct Preview kann ihre Antwort außerdem im Reasoning-Channel ausgeben, sofern der API-Request nicht think: false sendet. Für das Tool-Calling von Agenten dokumentiert das offizielle Repository den llama.cpp-Server-Pfad mit aktiviertem Jinja als Option, die das eingebettete Chat Template bewahrt.

Soofi S als KI-Modell für Agenten einsetzen

Wir behandeln BYOK und benutzerdefinierte OpenAI-kompatible Endpoints neben dem Managed KI-Modellkatalog als vollwertige Optionen. Mit genehmigtem Beta-Zugriff können Teams die Instruction-Tuned-Preview über vLLM oder für natives Tool-Calling über den offiziellen llama.cpp-Pfad bereitstellen. Anschließend wird der Endpoint als benutzerdefinierter OpenAI-kompatibler Provider in den Projekteinstellungen registriert und in der Agentenkonfiguration referenziert:

Die operativen Einschränkungen bleiben bestehen: Das Basismodell ist ohne Post-Training nicht für den direkten Einsatz gedacht, die Instruct- und Reasoning-Varianten sind zugangsbeschränkte Previews, und öffentlich dokumentiert sind weder ein kommerzielles SLA noch ein Support-Angebot. Für Beta-Partner gelten möglicherweise andere Vereinbarungen. Teams, die eine Self-Hosted Preview evaluieren, sollten jedoch Patches, Sicherheitsupdates und Incident Response selbst verantworten. Vor wichtigen Requests sollte Soofi S zunächst mit einem Teil des echten Traffics in einem A/B-Test geprüft und der Output von Judges bewertet werden. Unser DACH-Bericht zeigt, dass 23 % der Agenten im Produktivbetrieb in der Region bereits Open-Weight- oder Self-Hosted-KI-Modelle nutzen. Das operative Muster ist also etabliert; bisher fehlte ein auf Deutsch ausgerichtetes KI-Modell, das den Aufwand rechtfertigt.

Die Frage der Souveränität

Bei der Diskussion über Soofi S steht meist die Souveränität im Mittelpunkt. Entscheidend ist, was das KI-Modell tatsächlich leistet. Es macht die stärksten Closed- oder Open-Weight-KI-Modelle nicht überflüssig; die Abstände in den Benchmarks sind real. Schon heute belegt es jedoch, dass ein souveränes KI-Modell mit guter Leistung auf Deutsch und effizientem Hosting bei langen Kontexten technisch realistisch ist. Hinzu kommen ein detaillierter Report sowie öffentlicher Trainings- und Evaluationscode. Zugelassene Beta-Tester können Preview Checkpoints vollständig auf eigener Infrastruktur betreiben; allgemeiner Zugang, finale Bedingungen und die Reife für den Produktivbetrieb stehen noch aus. Für Teams, deren Deployments von Vorbereitung auf den EU AI Act und der Speicherung von Daten innerhalb der EU abhängen, ist diese Kombination unabhängig von der Platzierung auf Leaderboards entscheidend.

Offen bleibt, ob das geplante Base-Release im September mit finaler Lizenz erscheint, wann das Instruction-Tuned-KI-Modell allgemein verfügbar wird und wie sich sein Tool Calling außerhalb der Beta verhält. Die Antworten könnten die Standardwahl für ein selbst gehostetes KI-Modell für deutsche Workloads verändern.