Preview – Strata AI – Stefan's WebBlog

Last Updated on 24. Oktober 2026 by sfambachLink-Status: OK

StrataLink-Status: OK ist eine freie Software, mit der ein großes KI-Sprachmodell lokal auf einem normalen Gaming-PC läuft statt in der Cloud. Entwickelt wird das Projekt vom GitHub-Nutzer Niko1221, die erste Version erschien im September 2026. Standardmodell ist Qwen3.8-Flash-Next mit 125 Milliarden Parametern, das sonst einen Server mit hunderten Gigabyte Grafikspeicher braucht. Strata verteilt das Mixture-of-Experts-Modell dafür auf Grafikkarte, Arbeitsspeicher und SSD: Die meistgenutzten „Experten“ liegen im VRAM, alle übrigen im RAM, eine 29 GB große Nachschlagetabelle auf der SSD. Ein kleines Hilfsmodell rät zusätzlich die nächsten Wörter vor (Speculative Decoding), was die Antworten um das 1,6- bis 1,8-Fache beschleunigt. Spannend ist das für alle, die ein leistungsfähiges Modell zum Chatten, Programmieren oder als Backend für Coding-Agenten nutzen wollen, ohne dass Daten den eigenen Rechner verlassen.

Was ist ein Preview? Hier zeige ich kurz Hardware, die ich entdeckt, aber noch nicht genauer angeschaut habe. So behalte ich den Überblick und ihr seht schon vorab, was kommt. Sobald ich dazu komme, ersetzt ein ausführlicher Beitrag das Preview. Was zuerst dran ist, bestimmen eure Kommentare oder meine Lust und Zeit ;).

Beschreibung

Entwickler: Niko1221 (GitHub), baut auf llama.cpp/ggml auf
Version: 0.2.3 (Oktober 2026), Installer für Windows, Linux und macOS
Modelle: Qwen3.8-Flash-Next (125 Mrd. Parameter, 24.576 Experten, 10 pro Token) in mehreren Kompressionsstufen, ab 0.2.4 auch DeepSeek V4.1-Flash im Terminal
Grafikkarten: NVIDIA RTX 20/30/40/50 ab 12 GB, AMD Radeon RX 6800 und neuer, Intel Arc, Apple Silicon ab M1; mehrere gleiche Karten möglich
Speicher: mindestens 32 GB RAM und VRAM zusammen, 64 GB für alle Größen; ca. 80 GB freier SSD-Platz, Download ca. 70 GB
Geschwindigkeit (laut Entwickler): bis 94 Token/s auf einer RTX 5070 (12 GB) mit 64 GB RAM, bis 60 Token/s auf einer RX 9070 XT
Bedienung: App mit Chat, Monitor für GPU/CPU/RAM und Modellverwaltung, dazu Terminal-Befehl strata
Schnittstellen: lokale OpenAI- und Anthropic-kompatible API, z. B. für Claude Code, Codex CLI oder OpenCode; MCP-Server; Bildeingabe
Datenschutz: kein Konto, keine Cloud, keine Telemetrie; nach außen gehen nur Downloads und optionale Websuchen
Einschränkungen: der erste Start lädt Dutzende Gigabyte in den RAM und kann den PC einige Minuten blockieren; eher für einen Nutzer als für einen geteilten Server gedacht

Lizenz

Software: offen, MIT (LICENSELink-Status: OK); einige Bestandteile und alle Modelle haben eigene Lizenzen
Hardware: keine Hardware
Marken: Qwen, DeepSeek, NVIDIA, GeForce, AMD, Radeon, Intel, Arc, Apple, Claude, Codex und weitere genannte Namen sind Marken ihrer jeweiligen Inhaber.