- Der Auslöser ist echt: Seit Anfang 2025 gibt es frei herunterladbare Modelle wie DeepSeek R1, Qwen 3 und gpt-oss, die brauchbare Qualität liefern — vorher war das nicht so.
- Für Textausgabe zählt die Speicherbandbreite, nicht die TOPS-Zahl auf dem Werbeblatt. Ein „AI-PC“ mit 40-TOPS-Beschleuniger führt kein großes Sprachmodell aus.
- „Lokal = privat“ stimmt nur bei echtem Offline-Betrieb ohne Telemetrie und ohne Cloud-Rückfall.
- 8 GB Grafikspeicher reichen für 7–8B-Modelle. Alles darüber wird teuer — auch, weil die RAM-Preise 2025 stark gestiegen sind.
„Lokale KI“ ist gerade überall: NAS-Hersteller (ein NAS ist ein Network Attached Storage, also ein Speicher, der am Netzwerk hängt) werben damit, Mini-PCs mit dem Zusatz „AI“ im Namen füllen die Regale, und in Homelab-Foren geht es plötzlich um Grafikkarten statt um Festplatten. Dahinter steckt eine echte Entwicklung — und eine Menge Marketing, das diese Entwicklung überdeckt. Dieser Artikel trennt beides.
Lokale KI heißt: Das KI-Modell läuft auf deiner eigenen Hardware, nicht auf den Servern eines Anbieters. Der Vorteil dabei: „Deine Eingaben werden nicht fürs Training verwendet“ ist dann keine Vertragszusage mehr, sondern strukturell so — vorausgesetzt, das Gerät arbeitet wirklich offline.
Warum das Thema gerade jetzt hochkommt
Die offenen Modelle haben einen Sprung gemacht
Von „offenen Gewichten“ spricht man, wenn die trainierten Parameter — die Millionen bis Milliarden Zahlen, aus denen ein Modell besteht — zum Download bereitstehen. Seit Herbst 2024 ging das Schlag auf Schlag: DeepSeek R1 (veröffentlicht am 20.01.2025, MIT-Lizenz), Qwen 3 (April 2025, Apache-2.0-Lizenz), Llama 4 (05.04.2025), gpt-oss von OpenAI (05.08.2025, Apache 2.0) und Gemma 3 von Google. DeepSeek R1 gilt als erstes chinesisches Spitzenmodell mit offenen Gewichten seit GPT-2 im Jahr 2019. Es ist ein sogenanntes Reasoning-Modell (es „denkt“ in Zwischenschritten) auf dem Niveau von OpenAIs o1, hat 671 Milliarden Parameter und ist als Mixture-of-Experts gebaut — pro Anfrage rechnet also nur ein Bruchteil des Riesenmodells mit.
Wichtig zur Einordnung: Der Abstand zu den gehosteten Spitzenmodellen ist geschrumpft, nicht verschwunden. Was lokal läuft, liegt grob auf dem Niveau von GPT-3.5 bis GPT-4-mini. „Quasi Frontier-Niveau zu Hause“ ist es nicht.
Datenschutz ist zum Verkaufsargument geworden
Im Mai 2025 wurde OpenAI im Rahmen einer Klage der New York Times gerichtlich verpflichtet, sämtliche ChatGPT-Protokolle aufzubewahren — auch gelöschte Chats. Die Anordnung wurde im Oktober 2025 wieder aufgehoben, aber der Eindruck blieb: Was in der Cloud liegt, liegt nicht bei dir. Bei lokalem Betrieb ist das anders — allerdings nur, wenn keine Telemetrie mitläuft und es keinen Cloud-Rückfall gibt. Genau solche Rückfälle gibt es: „Ollama Cloud“ lagert große Modelle auf fremde Server aus, und Apple Intelligence schickt größere Anfragen von den Geräten an Apples „Private Cloud Compute“. Beides ist nicht dasselbe wie echtes Offline.
Neue Hardware macht Schlagzeilen
Der Mac Studio mit M3 Ultra (März 2025, bis 512 GB gemeinsamer Speicher, bis rund 800 GB/s Bandbreite) kann große Modelle laden, die sonst nur in Rechenzentren laufen. NVIDIA brachte die DGX Spark (früher „Project DIGITS“, angekündigt im März 2025, Auslieferung ab Oktober 2025) mit 128 GB gemeinsamem Speicher. AMDs „Strix Halo“-Plattform (Ryzen AI Max+ 395) steckt in Mini-PCs mit bis zu 128 GB. Und Home Assistant hat seit Version 2025.6 eine eingebaute Ollama-Anbindung für einen lokalen Sprachassistenten. All das befeuert das Thema zusätzlich.
Was davon Marketing ist
„Hohe TOPS-Zahl = schnelle KI“ — nein
Die Textgenerierung eines Sprachmodells ist durch die Speicherbandbreite begrenzt, nicht durch Rechenleistung. Die sinnvolle Maßeinheit ist Tokens pro Sekunde — also wie viele Wortbausteine das Modell pro Sekunde ausgibt — und nicht TOPS (eine reine Rechen-Kennzahl). Dazu kommt: Die verbreiteten Werkzeuge Ollama und llama.cpp nutzen die NPU (den KI-Beschleuniger in neuen Prozessoren) Stand 2025 meist gar nicht — sie rechnen auf CPU oder GPU, NPU-Unterstützung ist nur experimentell. Microsofts „Copilot+ PC“-Siegel verlangt zwar eine NPU mit mindestens 40 TOPS, aber die treibt Windows-Funktionen wie Recall und Live-Untertitel und kleine Modelle, keine großen LLMs. Zur Größenordnung: Ein 8B-Modell läuft auf einem Snapdragon-X-Elite-Notebook nur über die CPU mit etwa 5–10 Tokens/s; dieselbe Aufgabe erledigt eine gebrauchte Desktop-Grafikkarte grob mit dem Zehnfachen.
„AI NAS mit eingebautem LLM“
UGREEN zeigte auf der CES 2025 die „erste AI NAS mit eingebautem lokalem LLM“, QNAP bewirbt eigene KI-Beschleunigung. In der Praxis kann ein NAS ein brauchbares Sprachmodell nur fahren, wenn es ein High-End-x86-Gerät mit 16 GB RAM oder mehr ist — und dann reden wir von etwa 5 Tokens/s mit einem 4B-Modell. ARM- und Einstiegs-NAS schaffen das nicht. Was auf NAS-Hardware sehr wohl lokal läuft und wirklich nützt: die semantische Fotosuche und Gesichtserkennung von Immich (die ML-Arbeit passiert im eigenen Container, auf Wunsch auf einem separaten Rechner) und die Objekterkennung des Kamera-Systems Frigate, meist mit einem kleinen Vision-Beschleuniger wie dem Hailo-8.
„Ich fahre DeepSeek R1 auf meinem PC“
Die in Ollama oder LM Studio als „deepseek-r1″ gelisteten kleinen Downloads (1,5B bis 70B) sind nicht das Original. Es sind destillierte Qwen- und Llama-Modelle, die auf R1-Ausgaben trainiert wurden. Das echte 671B-R1 ist als 4-bit-Version rund 404 GB groß und läuft zum Beispiel auf einem Mac Studio M3 Ultra mit 512 GB bei etwa 17–18 Tokens/s und unter 200 Watt.
„Lokal ist billiger als die Cloud-API“
Zur Rechnung gehören die Anschaffung der Hardware und der Stromverbrauch im Dauerbetrieb. Pro Token ist eine Cloud-API oft günstiger — es sei denn, das Gerät ist ohnehin unter Dauerlast oder der Datenschutz lässt keine Wahl.
„Einfach 64 GB RAM nachrüsten“
Dieser Ratschlag gilt nicht mehr. Die DRAM-Preise sind über das Jahr 2025 um rund 172 % gestiegen; ein 32-GB-DDR5-Kit kostete Anfang 2025 unter 90 US-Dollar und Ende 2025/Anfang 2026 rund 529 — etwa das Vierfache. Ursache ist die Umwidmung von Fertigungskapazität auf KI-Rechenzentren; Prognosen sehen die Knappheit bis 2027/2028 andauern. Micron zieht sich aus der Endkunden-Marke Crucial zurück, Samsung pausierte zeitweise DDR5-Modulbestellungen. Das zieht auch die Preise von Mini-PCs und Grafikkarten nach oben.
Der Hype als Ganzes
Die MIT Technology Review nannte 2025 die „große KI-Hype-Korrektur“. Eine oft zitierte MIT-Studie behauptet, 95 % der Unternehmen mit KI-Pilotprojekten sähen keinen messbaren Nutzen — die Methodik dieser Zahl ist allerdings umstritten, sie taugt eher als Stimmungsbild.
Was du wirklich brauchst
Faustregeln für den Speicher
Als Rohwert braucht ein Modell bei voller Genauigkeit (FP16) etwa 2 GB pro Milliarde Parameter. Mit Quantisierung — das Modell wird mit gröberen Zahlen gespeichert, das spart Platz und kostet laut Anbieter-Angaben bei der gängigen Stufe Q4_K_M nur rund 1 % Qualität — sinkt das auf etwa 0,6 GB pro Milliarde. Konkret in 4-bit: ein 7B-Modell belegt rund 4–5 GB, ein 13B-Modell 8–9 GB, ein 70B-Modell 40–48 GB. Für das Kontextfenster (wie viel Text das Modell gleichzeitig im Blick hat) kommen 10–20 % obendrauf. Ergebnis: 8 GB Grafikspeicher reichen für 7–8B-Modelle bei 40+ Tokens/s — und für viele Aufgaben reicht ein solches kleines Modell.
| Weg | Speicher | Bandbreite | Realistisch nutzbar | Preisrahmen (USD, schwankt stark) |
|---|---|---|---|---|
| Gebrauchte RTX 3090 | 24 GB | hoch | Modelle deutlich über 13B flüssig | ~1.200–1.400 (Anfang 2026) |
| RTX 5090 | 32 GB | sehr hoch | Modelle deutlich über 13B sehr flüssig, mehr mit Abstrichen | 1.999 UVP, real oft 2.500–3.200+ |
| Mac Studio M3 Ultra | bis 512 GB | bis ~800 GB/s | bis hin zu DeepSeek R1 671B (4-bit) mit ~17–18 Tokens/s | 512-GB-Version ab ~10.000 |
| NVIDIA DGX Spark | 128 GB | 273 GB/s | große Modelle passen rein, 70B aber nur ~3–5 Tokens/s (schnelles Prefill, schwaches Decode) | 3.999–4.699 |
| Strix-Halo-Mini-PC (Ryzen AI Max+ 395) | bis 128 GB | ~256 GB/s | 70B-Klasse läuft, aber zäh | Framework Desktop ab 1.999 |
| Jetson Orin Nano Super | — | 102 GB/s | Modelle bis ~8B | 249 |
| Einstiegs-NAS / Copilot+-PC | — | niedrig | kein großes LLM | — |
Die USD-Zahlen stammen aus Quellen von 2025 bis Anfang 2026 und sind wegen der Speicherknappheit nur Momentaufnahmen — aktuelle Straßenpreise können deutlich abweichen.
BOSGAME M5 AI Mini PC AMD Ryzen AI Max+ 395
Ein Mini-PC auf Basis des Ryzen AI Max+ 395 mit 128 GB gemeinsamem Speicher — einer der wenigen bezahlbaren Wege, um größere Sprachmodelle lokal überhaupt komplett in den Speicher zu bekommen. Die Ausgabe-Geschwindigkeit bleibt dabei gemächlich, das steht in der Tabelle oben. Rund 3.700 € (Stand 08.09.2026), Preis kann sich ändern.
Software
Ollama ist der einfachste Weg im Homelab: ein Dienst mit Kommandozeile und lokaler HTTP-Schnittstelle. Das Projekt ist inzwischen mit Wagniskapital finanziert (Berichten zufolge eine 65-Millionen-Dollar-Runde 2026) und bietet eine optionale Cloud an; die anfangs ohne quelloffene Lizenz ausgelieferte Desktop-App brachte den Vorwurf der „Enshittification“ ein, die Lizenz wurde im November 2025 nachgereicht. LM Studio ist eine Desktop-Oberfläche zum Suchen und Ausführen von Modellen samt lokalem Server, für die lokale Nutzung kostenlos. llama.cpp ist die Engine, die unter den meisten dieser Werkzeuge steckt. Als Web-Oberfläche im ChatGPT-Stil dient meist Open WebUI. Weitere Runner sind GPT4All, Jan und LocalAI; vLLM ist eher etwas für Rechenzentrum und Mehr-GPU-Betrieb.
Die Lizenzfalle
„Offen“ heißt nicht automatisch „Open Source“ im klassischen Sinn. Die Llama Community License ist keine von der Open Source Initiative anerkannte Lizenz: Sie verlangt einen „Built with Llama“-Hinweis (Wortlaut vor dem Verlassen darauf prüfen) und hat eine Sonderklausel für Dienste ab 700 Millionen monatlich aktiven Nutzern. Wichtiger für hiesige Leser: Die multimodalen Llama-Modelle sind seit Llama 3.2 (September 2024) lizenzrechtlich nicht für in der EU ansässige Personen und Firmen freigegeben, bei Llama 4 betrifft das alle Modelle, da alle multimodal sind. Endnutzer von Produkten, die damit gebaut wurden, sind davon nicht betroffen. Auch Open WebUI hat seit April 2025 eine eigene Lizenz mit einer Branding-Klausel: Bei Installationen mit mehr als 50 Nutzern über 30 Tage darf das Open-WebUI-Branding nicht entfernt werden. Unkompliziert sind dagegen Apache 2.0 (Qwen 3, gpt-oss, Mistral Small 3.1 — dessen Anbieter Mistral in Frankreich sitzt) und MIT (DeepSeek R1).
Fazit
Der Kern des Themas ist echt: Modelle, die sich zu Hause selbst betreiben lassen und dabei brauchbar sind, gibt es erst seit Anfang 2025. Marketing ist der Rest drumherum — die TOPS-Zahlen, die „AI“-Aufkleber auf NAS und Mini-PCs, das Versprechen von Spitzen-Qualität und der Eindruck, das alles sei günstig. Pragmatisch anfangen: mit 8 GB Grafikspeicher oder einem Mac mit Apple Silicon, einem 7–8B-Modell über Ollama — und dann ehrlich prüfen, ob der eigene Anwendungsfall die Anschaffung und die Stromrechnung wert ist.