Wie viel RAM braucht lokale KI wirklich? Modellgrößen im Überblick

„Wie viel RAM braucht lokale KI wirklich?“ ist die erste Frage, wenn man Sprachmodelle auf dem eigenen Server statt in der Cloud betreiben will. Die kurze Antwort: meist weniger, als der Ruf vermuten lässt. Der genaue Wert hängt von drei Dingen ab, die oft durcheinandergehen – der Modellgröße, der Quantisierung und dem Kontext. Dieser Artikel geht sie der Reihe nach durch und ordnet am Ende gängige Hardware ein. RAM meint dabei den Arbeitsspeicher; VRAM ist der Speicher direkt auf der Grafikkarte.

Die Grundformel: Parameter mal Bits

Ein Sprachmodell (LLM, Large Language Model) besteht aus Parametern – den Zahlenwerten, die es beim Training lernt. „7B“ heißt sieben Milliarden davon. Wie viel Speicher die belegen, hängt davon ab, mit wie vielen Bits jeder Wert abgelegt wird: volle Präzision (FP32) sind 4 Byte pro Parameter, das gängige FP16/BF16 sind 2 Byte, eine 8-Bit-Quantisierung (Q8) etwa 1 Byte, eine 4-Bit-Quantisierung (Q4) rund 0,5 Byte. Die Rechnung lautet also: Parameterzahl × Bits ÷ 8, dazu 10–20 % Aufschlag für Metadaten des Dateiformats und die Laufzeit. Das verbreitete Format für lokale Modelle ist GGUF aus dem Projekt llama.cpp.

Für ein 7B-Modell bedeutet das: FP16 ≈ 14 GB, Q8 ≈ 7–8 GB, Q4_K_M ≈ 4,5 GB reine Gewichte – real eher 6–7 GB, sobald ein kurzer Kontext dazukommt. Der Irrtum „Dateigröße auf der Platte = benötigter RAM“ hält sich hartnäckig: Nötig sind Dateigröße plus Kontextspeicher plus 15–25 % Overhead für Aktivierungen und Runtime.

Quantisierung: kleiner rechnen, kaum Qualitätsverlust

Quantisierung heißt, die Gewichte mit weniger Nachkommastellen zu speichern. Q4_K_M ist der De-facto-Standard und kostet nur 1–3 % Qualität; Q8 ist praktisch verlustfrei. Erst unterhalb von Q4 (Q3, Q2) wird die Verschlechterung sichtbar. Der alte Satz „Q4 zerstört die Qualität“ stimmt für Q4_K_M also nicht.

Eine Sonderrolle spielen die Unsloth-„Dynamic“-GGUF-Quants von 2025: Sie wählen die Bitbreite pro Schicht einzeln. Damit schrumpfte DeepSeek R1 von rund 720 GB auf 131 GB (1,58-Bit) bei noch nutzbarer Ausgabe – mit minimal etwa 20 GB RAM lauffähig (sehr langsam), empfohlen sind VRAM plus RAM ab 80 GB.

Modellgrößen im Überblick

Modellgröße	Gewichte in Q4_K_M	Anmerkung
7B / 8B	≈ 4,5 GB	real ≈ 6–7 GB mit kurzem Kontext
13B / 14B	≈ 8–10 GB	reine Gewichte; mit Kontext und Overhead real darüber
27B / 32B	≈ 18–24 GB	läuft auf einer 24-GB-Karte
70B	≈ 40–42 GB	für nutzbaren Kontext real 48 GB+; auf einer 32-GB-Karte nur Q3_K_S (~28 GB) mit kurzem Kontext
120B-Klasse (gpt-oss-120b, MXFP4)	≈ 60–65 GB	Ollama nennt ≥ 60 GB VRAM oder Unified Memory als Minimum
671B (DeepSeek R1, Q4)	Datei ≈ 404 GB	belegt ≈ 448 GB auf einem Mac Studio M3 Ultra mit 512 GB, ≈ 17–18 Token pro Sekunde

Grob sortiert: Kleine Modelle wie Llama 3.2 1B/3B, Gemma 3 1B/4B oder Qwen3 0,6B–4B laufen auf 4–8 GB. Die Mittelklasse – Llama 3.1/3.3 8B, Qwen3 8B/14B, Gemma 3 12B/27B, Mistral 7B, Phi-4 – bewegt sich zwischen 8 und 24 GB. Alles darüber, also Llama 3.3 70B, Qwen3 32B, gpt-oss oder DeepSeek, reicht von der 24-GB-Karte bis zur Unified-Memory-Maschine.

Bemerkenswert: Llama 3.3 70B (Dezember 2024) erreicht auf mehreren Benchmarks das Niveau von Llama 3.1 405B – bei 5,78-fach kleinerer Größe. Damit ist 70B die neue erreichbare Oberklasse, und der Satz „für Top-Modelle mit offenen Gewichten braucht man 405B“ ist überholt. Bei gpt-oss-20b nennt OpenAI 16 GB Speicher als Ziel für Edge-Geräte; real sind es eher 13 GB, für komfortablen Betrieb mit Kontext eher 24–32 GB.

Der zweite Speicherfresser: der Kontext

Neben den Gewichten braucht das Modell den KV-Cache – einen Zwischenspeicher für den bisherigen Gesprächsverlauf. Er wächst linear mit der Kontextlänge und der Zahl paralleler Anfragen. Bei einem 7B-Modell und 4k Kontext sind das nur 1–2 GB extra. Bei Llama 3.1/3.3 70B mit 128k Kontext dagegen belegt der KV-Cache rund 40 GB (in fp16), sodass der Gesamtbedarf bei voller fp16-Präzision auf etwa 83 GB VRAM steigt. Bei langem Kontext kann der Kontextspeicher die Gewichte also erreichen oder übersteigen.

Die genauen GB hängen von der internen Modellkonfiguration und davon ab, ob der Cache selbst quantisiert wird (ein 8- oder 4-Bit-KV-Cache ist inzwischen üblich). Die genannten Zahlen sind fp16-Obergrenzen.

MoE: viel Speicher, wenig Rechenlast

2025 wurde MoE (Mixture of Experts, sinngemäß ein Expertengemisch) bei offenen Gewichten zum Standard – Llama 4, Qwen3 30B-A3B und 235B-A22B, gpt-oss, DeepSeek V3/R1. Bei MoE muss der gesamte Parametersatz im Speicher liegen, obwohl pro Token nur ein Teil rechnet. Qwen3 30B-A3B belegt also rund 30B-Speicher, rechnet aber wie ein 3B-Modell. Damit ist der Speicherbedarf von der Geschwindigkeit entkoppelt, und die alte Annahme „doppelte Parameterzahl = doppelter Speicher bei doppelter Fähigkeit“ trägt nicht mehr.

Konkret: Qwen3 235B-A22B in Q4 ≈ 140 GB+, also nur für Unified-Memory-Boxen oder Multi-GPU. Llama 4 Scout (17B aktiv, 109B gesamt) in Q4 ≈ 55 GB, mit Unsloth-Dynamik-GGUF ab ≈ 24 GB. Llama 4 Maverick (17B aktiv, 400B gesamt) in Q4 ≈ 200–224 GB – für Heimanwender praktisch außer Reichweite. Zu beachten: Die Llama-4-Lizenz schließt in der EU ansässige Privatpersonen und Firmen von der direkten Nutzung aus (die gesamte Llama-4-Familie); Llama 3.x ist nicht betroffen, Endnutzer fertiger Produkte sind ausgenommen.

Nicht nur Sprachmodelle: Bildgenerierung

„Lokale KI = nur Sprachmodelle“ ist ein Irrtum – oft ist die Bildgenerierung der größere VRAM-Posten. SDXL passt in 8 GB VRAM. Flux.1 Dev liegt bei FP16 ≈ 33 GB, FP8 ≈ 17 GB und als GGUF Q4 bei ≈ 7–12 GB. Der Bedarf skaliert etwa quadratisch mit der Auflösung. Whisper, Embedding- und kleine Klassifikationsmodelle bleiben dagegen unter 2 GB und sind selten der Engpass.

Hardware: Grafikkarte, Unified Memory oder CPU

Ollama, der verbreitetste lokale Runner, läuft auch ohne Grafikkarte: Minimum 8 GB RAM, 16 GB für 7–8B-Modelle komfortabel, 32 GB empfohlen für größere. Bei reinem CPU-Betrieb gilt als Faustregel Gewichtsgröße plus Reserve fürs Betriebssystem im RAM – nur eben deutlich langsamer als auf einer Grafikkarte oder Unified Memory. Oberflächen wie LM Studio oder Open WebUI setzen auf denselben Unterbau auf.

Der entscheidende Punkt für die Geschwindigkeit: Das Erzeugen von Text ist speicherbandbreiten- statt rechenlimitiert. Grob gilt Token pro Sekunde ≈ Bandbreite ÷ gelesene Byte pro Token, real 50–80 % davon. „Wie viele Daten pro Sekunde aus dem Speicher gelesen werden können“ schlägt also die reine Rechenleistung. Bei CPU-Inferenz zählt entsprechend die Zahl der Speicherkanäle mehr als der MHz-Takt der Module.

Hardware	Speicherbandbreite
RTX 5090	≈ 1,79 TB/s
Mac Studio M3 Ultra	≈ 800 GB/s
MacBook Pro M4 Max	≈ 400–546 GB/s (Quellen uneins)
NVIDIA DGX Spark	≈ 273 GB/s
AMD „Strix Halo“ (Ryzen AI Max+ 395)	≈ 256 GB/s
Desktop-DDR5, Dual-Channel	≈ 80–100 GB/s

In der 24-GB-Klasse (RTX 3090/4090) laufen 32B-Modelle in Q4 gut, 70B nur stark quantisiert. Die RTX 5090 (32 GB, Januar 2025, 1.999 USD Listenpreis) ist die schnellste Consumer-Karte und der erste VRAM-Sprung im Topsegment seit Jahren – für 70B in Q4 reicht sie trotzdem nicht, nur bis Q3. Zwei Karten koppeln geht (mit llama.cpp oder vLLM), aber mit Overhead und begrenzt durch die Verbindung zwischen den Karten – zwei 24-GB-Karten sind nicht dasselbe wie eine 48-GB-Karte.

Bei Unified Memory teilen sich CPU und Grafikeinheit denselben Speicher, sodass viel davon dem Modell zur Verfügung steht. Die NVIDIA DGX Spark (128 GB, ausgeliefert Oktober 2025, Startpreis 3.999 USD; laut Meldungen ab Februar 2026 teurer, das kann sich weiter ändern) macht große Modelle möglich, wird aber für ihre 273 GB/s als Flaschenhals kritisiert. Die Mini-PCs mit AMD Ryzen AI Max+ 395 („Strix Halo“, bis 128 GB Unified LPDDR5X, je nach Anbieter grob 1.500–2.200 USD) sind eine günstigere Alternative bei für einen Nutzer vergleichbarer Geschwindigkeit. Der Mac Studio M3 Ultra (bis 512 GB Unified Memory, März 2025) ist die einzige zu Consumer-Preisen erhältliche Maschine, die 600B-Modelle komplett im Speicher hält. Mac mini M4 (bis 64 GB) und MacBook Pro M4 Max (bis 128 GB) decken den Bereich 8–70B ab.

Ein verbreiteter Irrtum: „Auf dem Mac ist das gesamte Unified Memory fürs Modell nutzbar.“ Der Standard-Deckel liegt bei etwa 75 %. Über den macOS-Schlüssel iogpu.wired_limit_mb (er ersetzt den älteren debug.iogpu.wired_limit) lässt er sich anheben – die Einstellung wird aber bei jedem Neustart zurückgesetzt.

NAS und der RAM-Preis

Bei einem NAS (Network Attached Storage, ein Speicher, der am Netzwerk hängt) beschleunigen Modelle wie QNAP TS-AI642 / TS-AI1282Z oder Synology-Geräte mit AI-Engine vor allem die Foto-Erkennung. Kein Consumer-NAS hat eine dedizierte Grafikkarte, LLM-Betrieb ist dort nur für kleine Modelle vorgesehen.

Zur Planung gehört der Speicherpreis: Seit Herbst 2025 steigen die DDR5-Preise deutlich, weil Hersteller Kapazität auf HBM (High Bandwidth Memory, der schnelle Speicher für KI-Rechenzentren) umlenken. Einzelne Quellen nennen fast eine Vervierfachung des Preises pro GB innerhalb weniger Monate; belastbar ist aber nur der starke Aufwärtstrend, und laut Prognosen ist vor 2027 keine Entspannung zu erwarten. Wer viel RAM für lokale KI einplant, kauft ihn also eher früher als später.

Wie viel RAM braucht lokale KI wirklich?

• 8–16 GB: kleine bis mittlere Modelle bis etwa 8B in Q4, dazu Whisper und Embeddings.
• 24 GB (Grafikkarte oder Unified Memory): 13–14B bequem, 27–32B in Q4; 70B praktisch nicht mehr.
• 48–64 GB: 70B in Q4 mit brauchbarem Kontext.
• 128 GB Unified Memory: MoE-Modelle wie gpt-oss-120b (≈ 60–65 GB) oder Llama 4 Scout.
• 512 GB: die 600B-Klasse à la DeepSeek R1.

Und immer beides zusammen bedenken: den Kontext, der als KV-Cache mitwächst, und die Bandbreite. Sonst hat man zwar genug Platz – wartet aber auf jedes Token.