- Grobe Rechnung: Ein 4-bit-quantisiertes Modell belegt rund 0,5–0,6 GB Arbeitsspeicher pro Milliarde Parameter, plus etwa 20 % Aufschlag. Dazu kommen ~2 GB fürs Betriebssystem und 1–2 GB für den Gesprächskontext.
- Nach RAM sortiert: 8 GB reichen für 7–8B-Modelle, 16 GB für ~14B, 24 GB für 27–32B, 64 GB für 70B, 128 GB für 70B plus große MoE-Modelle bis ~120B.
- Tempo: Bei Rechnung ohne dedizierte Grafikkarte entscheidet die Speicherbandbreite, nicht die Rechenleistung. Für 7–14B genügt ein Prozessor mit schnellem Dual-Channel-RAM.
- Lizenz: „Offene Gewichte“ heißt nicht „frei nutzbar“. Uneingeschränkt sind nur Apache-2.0- und MIT-Modelle wie Qwen3, Mistral, DeepSeek und gpt-oss.
Ein lokales Sprachmodell (englisch Large Language Model, kurz LLM – ein Programm, das aus riesigen Textmengen gelernt hat und selbst Text erzeugt) auf dem eigenen Server statt in der Cloud: Das ist vor allem eine Frage des Arbeitsspeichers. Die entscheidende Größe heißt RAM (Random Access Memory, der schnelle Speicher, in dem laufende Programme stehen) – oder, wenn eine Grafikkarte rechnet, deren VRAM (der Speicher auf der Grafikkarte selbst). Dieser Artikel beantwortet die Frage „Welches Sprachmodell passt zu meiner Hardware?“ von unten nach oben: erst die Faustregel, dann eine Tabelle nach RAM, dann Tempo, Modelle und Lizenzen.
Wie viel RAM ein lokales Sprachmodell braucht
Die Größe eines Modells wird in Parametern angegeben – das sind die trainierten Stellschrauben im Inneren. „7B“ heißt sieben Milliarden davon, „70B“ siebzig Milliarden. In voller Rechengenauigkeit (FP16) belegt jede Milliarde Parameter etwa 2 GB. Damit die Modelle auf normale Hardware passen, werden sie quantisiert: Die Zahlenwerte werden gröber gespeichert. Q8 halbiert den Bedarf, Q4 viertelt ihn.
Verbreitet ist die 4-bit-Stufe Q4_K_M. Faustregel: rund 0,5–0,6 GB pro Milliarde Parameter nur für die Modellgewichte, dazu etwa 20 % Overhead. Der Qualitätsverlust gegenüber der vollen Genauigkeit liegt bei etwa 1–3 % und ist im Alltag meist nicht spürbar. Kritisch wird es erst unterhalb von Q4, also bei Q3 oder Q2.
Zwei Posten kommen obendrauf. Erstens rund 2 GB fürs Betriebssystem. Zweitens der Kontextspeicher (KV-Cache – hier merkt sich das Modell das laufende Gespräch), grob 1–2 GB bei 4.000 Token (Wortbausteinen) Kontext. Dieser Speicher wächst linear mit der Kontextlänge und kann die Gewichte sogar übersteigen: 32.000 Token Kontext bei einem 13B-Modell schlagen mit rund 8 GB extra zu Buche. Ollama, der verbreitetste Runner im Homelab, arbeitet standardmäßig mit 4.096 Token (ältere Anleitungen nennen noch 2.048); einstellen lässt sich das über die Variable OLLAMA_CONTEXT_LENGTH bzw. den Parameter num_ctx.
Grob gerechnet für ein 7B-Modell in Q4_K_M: ca. 7 × 0,55 GB ≈ 3,9 GB Gewichte, plus 20 % ≈ 4,6 GB, plus 2 GB System, plus ~1,5 GB Kontext – zusammen rund 8 GB. Genau deshalb gilt 8 GB als Untergrenze, und das ist auch Ollamas Mindestanforderung. Eine GPU ist nicht zwingend; reine Prozessor-Rechnung funktioniert.
Die Staffelung nach RAM auf einen Blick
Die folgenden Werte gelten für Q4_K_M und sind Faustwerte aus der Praxis, keine Herstellerangaben – je nach Kontextlänge und Backend verschiebt sich das:
| Arbeitsspeicher | Größtes sinnvolles Modell (4-bit) | Beispiele |
|---|---|---|
| 8 GB | bis ~7–8B | Llama 3.2 3B, Gemma 3 4B, Qwen3 8B |
| 16 GB | bis ~14B | Qwen3 14B, DeepSeek-R1-Distill 14B, gpt-oss-20b (nativ 4-bit, ~16 GB) |
| 24 GB | bis ~27–32B | Gemma 3 27B, Qwen3 32B, Mistral Small 3.1 24B |
| 32 GB | ~32B | Qwen3 32B, Mistral Small 3.1 24B mit Bildverständnis |
| 64 GB | ~70B | Llama 3.3 70B, DeepSeek-R1-Distill 70B, Qwen3-30B-A3B |
| 128 GB | 70B komfortabel + MoE bis ~120B | gpt-oss-120b, Qwen3-Next-80B-A3B, Llama 4 Scout (EU-Lizenz beachten) |
Ein Hinweis zu MoE (Mixture of Experts – das Modell besteht aus vielen Teilbereichen, aktiviert pro Anfrage aber nur wenige): Solche Modelle rechnen schneller, weil nur ein Bruchteil der Parameter aktiv ist – gpt-oss-120b etwa hat 117 Milliarden Parameter gesamt, aber nur rund 5 Milliarden aktiv. Im Arbeitsspeicher liegen müssen trotzdem alle. MoE spart Rechenzeit, keinen RAM. Und klein heißt nicht nutzlos: Qwen3 4B, Gemma 3 4B oder Llama 3.2 3B liefern für Alltagsaufgaben brauchbare Ergebnisse.
Warum die RAM-Menge nicht über das Tempo entscheidet
Ob ein Modell überhaupt läuft, hängt an der Speichermenge. Wie schnell es antwortet – gemessen in Token pro Sekunde, grob: wie zügig die Antwort auf den Bildschirm tröpfelt –, hängt bei Rechnung auf Prozessor oder Unified Memory an der Speicherbandbreite, also daran, wie viele Daten der Speicher pro Sekunde liefert. Die reine Rechenleistung ist dann zweitrangig.
Konkret: Dual-Channel-DDR5-5600 liefert etwa 90 GB/s (Faustformel: Datenrate in MT/s × 16 Byte). Der Sprung von DDR5-4800 auf DDR5-6000 bringt bei 7–8B-Modellen auf dem Prozessor rund 20–23 % mehr Token pro Sekunde. Zwei gleiche Speicherriegel statt eines einzelnen (Dual-Channel) machen real 30–50 % aus. Wer CPU-Inferenz plant, steckt das Geld also besser in schnellen, doppelt bestückten RAM als in Kapazität, die brachliegt.
Apple Silicon (die Chips in aktuellen Macs) hat hier einen Bauartvorteil: Prozessor und Grafikeinheit teilen sich denselben Speicher (Unified Memory), der komplett als „VRAM“ nutzbar ist – der M4 Max erreicht rund 400 GB/s. In der Praxis heißt das für einen Mac grob 8–15 Token/s bei einem 70B-Modell und 20–40 Token/s bei Modellen bis 34B. macOS gibt der Grafikeinheit standardmäßig nur etwa 75 % des Speichers frei; das lässt sich per sysctl iogpu.wired_limit_mb anheben.
Und das NAS (Network Attached Storage, der Speicher, der am Netzwerk hängt)? Ernüchterung: Die kleinen KI-Chips (NPU) vieler NAS-Geräte – etwa ein Rockchip mit 6 TOPS Rechenleistung – schaffen praktisch nur ~2B-Modelle, und Ollama im Docker-Container (Technik, die Programme abgeschottet verpackt) nutzt die NPU oft gar nicht, rechnet also doch auf dem Prozessor. Synology-Geräte haben gar keine NPU; dort läuft Ollama nur manuell per Docker. Wer ein NAS mit echtem LLM-Anspruch will, schaut auf Geräte mit stärkerer NPU und passendem Software-Stack – etwa UGREENs AI-NAS-Reihe oder QNAPs Container Station mit AI Hub.
Welches Modell – kurz sortiert
- Qwen3 (Alibaba, Apache 2.0): breiteste Größenpalette von 0,6B bis 235B plus MoE-Varianten, gute Allround-Wahl für lokal.
- Gemma 3 (Google): 1B bis 27B, versteht außer der 1B-Variante auch Bilder, 128K Kontext, sparsam im RAM (die 4B belegt ~4,2 GB). Lizenz mit Nutzungsbeschränkungen – dazu unten mehr.
- Mistral Small 3.1 24B (Apache 2.0): wissensdicht, mit Bildverständnis, 128K Kontext, passt in 32 GB RAM bzw. eine 24-GB-Grafikkarte.
- Llama 3.3 70B (Meta): starkes 70B für 64-GB-Maschinen, erreicht annähernd die Qualität der früheren 405B-Klasse.
- DeepSeek R1 (MIT): auf Logik und Mathe trainiert. „DeepSeek R1 lokal“ meint fast immer die kleineren Distill-Varianten (14B/32B, auf Basis von Qwen2.5 bzw. Llama 3); das echte 671B-MoE braucht 512-GB-Hardware.
- gpt-oss-20b (OpenAI, Apache 2.0): MoE, kommt schon fertig in 4-bit (Format MXFP4), läuft in ~16 GB – guter Einstieg für 16-GB-Systeme.
„Offene Gewichte“ ist nicht „frei nutzbar“
Herunterladen und lokal starten kann man alle genannten Modelle. Rechtlich unterscheiden sie sich aber deutlich:
- Wirklich uneingeschränkt (Apache 2.0 oder MIT): Qwen3, Mistral, DeepSeek, gpt-oss.
- Llama 3.x: Community License. Eine Sonderlizenz wird erst ab 700 Millionen monatlich aktiven Nutzern fällig – für ein Homelab belanglos. Schon Llama 3.2 mit Bildfunktion war für Firmen mit Sitz in der EU lizenzrechtlich eingeschränkt.
- Llama 4 Scout/Maverick: Unternehmen mit Sitz oder Hauptniederlassung in der EU dürfen die Modelle nicht nutzen oder hosten; die Bildfunktionen sind für EU-Lizenznehmer gesperrt. Ob diese Klausel seit ihrer Einführung im April 2025 gelockert wurde, ist nicht belegt.
- Gemma 1–3: liefen unter Googles eigenen „Gemma Terms of Use“ mit einer Prohibited Use Policy und einem einseitigen Widerrufsrecht – kein anerkanntes Open Source.
Für den privaten Betrieb zu Hause ist das meist unkritisch. Sobald etwas geschäftlich genutzt wird, lohnt der Blick in die Lizenz – und im Zweifel ein Apache- oder MIT-Modell.
Software zum Ausführen
Ollama ist der Standard: Kommandozeile plus Server, läuft im Docker, seit dem 30. Juli 2025 auch mit Desktop-App für macOS und Windows. Wer lieber klickt, nimmt LM Studio (grafische Oberfläche, seit Juli 2025 auch für die kommerzielle Nutzung kostenlos). Darunter arbeitet bei beiden llama.cpp, die eigentliche Inferenz-Engine samt GGUF-Dateiformat – interessant für Bastler, die einzelne Modellschichten gezielt auf die Grafikkarte auslagern wollen. Jan ist ein quelloffener Desktop-Client (MIT) ohne Telemetrie. GPT4All war ein Einsteiger-Client, hat aber seit Anfang 2025 keine Updates mehr bekommen und lädt viele neuere Modelle nicht.
Hardware, wenn es Richtung 70B gehen soll
- Gebrauchte RTX 3090 (24 GB): gilt weiter als bestes Verhältnis von Preis zu VRAM, mit ausgereifter Software-Unterstützung. Gut für 7B bis 32B.
- RTX 5090 (32 GB): die einzige aktuelle Consumer-Grafikkarte, die ein 70B-Modell in einem Steckplatz hält (UVP 1.999 USD) – wegen des angespannten Speichermarkts aber teuer und schlecht lieferbar.
- Intel Arc B580 (12 GB, ~249 USD) / Arc Pro B70 (32 GB, ~949 USD): günstiger VRAM, aber ohne CUDA (Nvidias KI-Software-Unterstützung); die Modelle laufen über Intels Stack aus IPEX-LLM und OpenVINO.
- Mac Studio / Mac mini (Apple Silicon): Unified Memory macht den RAM zum VRAM. Der Mac Studio mit M3 Ultra und 512 GB (ab ca. 10.000 USD) fährt sogar das volle DeepSeek R1 mit 671 Milliarden Parametern in Q4 mit rund 17–18 Token/s. Für den kleineren M4 Max hat Apple die Obergrenze inzwischen auf 64 GB gesenkt.
- Mini-PC mit AMD Ryzen AI Max+ 395 („Strix Halo“): 16 Kerne, integrierte Grafik, bis 128 GB gemeinsamer Speicher. Fährt 70B-Modelle und teils 120B-MoE; bei gpt-oss-120b wurden rund 34 Token/s gemessen, bei etwa 120–140 W Leistungsaufnahme. Nötig ist ein ROCm-Setup (das AMD-Gegenstück zu CUDA).
- NVIDIA DGX Spark: KI-Appliance mit 128 GB Unified-Speicher bei 273 GB/s, Modelle bis ~200B, CUDA-kompatibel – die Prompt-Verarbeitung ist aber langsamer als bei einer echten Grafikkarte. Startpreis 3.999 USD, seit Februar 2026 4.699 USD.
Ein Wort zu den Preisen: Seit 2025 sind Speicherpreise stark gestiegen – J.P. Morgan rechnet mit über 400 % Aufschlag bei DRAM von Anfang 2024 bis Ende 2026, und Micron zieht die Consumer-Marke Crucial bis Februar 2026 zurück. „RAM ist billig, einfach nachrüsten“ stimmt so nicht mehr, und wann sich das wieder entspannt, ist unter Fachleuten strittig. Wer die Wahl hat, kauft die gewünschte Speichermenge lieber gleich mit.
GMKtec EVO-X2 AI Mini-PC AMD Ryzen AI Max+ 395 (bis zu 5,1GHz) Mini Gaming PC, 128GB LPDDR5X 8000MHz (16GB*8), 2TB PCIe 4.0 SSD, 8K-Display für Vier Bildschirme, WiFi 7 & USB4, SD-Kartenleser 4.0
Steckt einen AMD Ryzen AI Max+ 395 mit 128 GB gemeinsamem Speicher in ein Mini-PC-Gehäuse – genug, um 70B-Modelle und mit Abstrichen MoE-Modelle bis rund 120B lokal auszuführen, ohne dedizierte Grafikkarte. Rund 3.799,96 € (Stand 09.09.2026).
Fazit
Der Weg ist immer derselbe: Modellgröße an den vorhandenen RAM koppeln (die Tabelle oben), bei CPU-Betrieb auf schnellen Dual-Channel-Speicher achten, im Zweifel ein Apache- oder MIT-Modell wählen und mit Ollama oder LM Studio anfangen. Für den Einstieg reicht ein Rechner mit 16 GB und einem Modell der 8–14B-Klasse – das deckt Zusammenfassen, Umformulieren und einfache Programmierhilfe schon ordentlich ab. Alles darüber ist eine Frage von Budget und Stromrechnung.