- Nein, zwingend braucht lokale KI keine Grafikkarte. Sprachmodelle bis etwa 8 Milliarden Parameter und sparsame „MoE“-Modelle laufen brauchbar auf einer modernen CPU (dem normalen Hauptprozessor) mit 16–32 GB Arbeitsspeicher.
- Fürs Tempo beim Antworten zählt nicht Rechenleistung, sondern Speicher: wie viel und wie schnell. Ausschlaggebend sind VRAM-Menge und Speicherbandbreite (Datendurchsatz in Gigabyte pro Sekunde), nicht die oft beworbenen TFLOPS.
- Eine Grafikkarte lohnt sich ab rund 13B aufwärts, für flüssige Antworten und für Bildgenerierung. Komfortabel wird es ab 24 GB VRAM.
- NVIDIA ist kein Muss mehr: AMD, Intel und Apple sind fürs reine Nutzen praxistauglich. Nur fürs eigene Training von Modellen führt kaum ein Weg an NVIDIA vorbei.
Die ehrliche Kurzfassung
„Lokale KI“ heißt: Ein KI-Modell läuft auf deiner eigenen Hardware statt in der Cloud — im Homelab also auf dem Server, dem NAS (Network Attached Storage, ein Speicher am Netzwerk) oder einem Mini-PC. Die verbreitete Annahme, dafür brauche es zwingend eine dicke Grafikkarte, stimmt so nicht. Kleine und mittlere Sprachmodelle laufen auf einer normalen CPU. Eine Grafikkarte macht sie schneller und öffnet die Tür zu größeren Modellen und zur Bildgenerierung — Pflicht ist sie nicht.
Warum die Grafikkarte oft überschätzt wird
Wenn ein Sprachmodell Text erzeugt, liest es für jedes einzelne Wortstück (Token) einmal seine kompletten Gewichte aus dem Speicher. Dieser Schritt — „Decode“ genannt — ist durch die Speicherbandbreite begrenzt, nicht durch Rechenleistung. Vereinfacht: Es kommt nicht darauf an, wie schnell der Chip rechnen kann, sondern wie schnell er die Daten nachgeliefert bekommt. Deshalb sagt die TFLOPS-Zahl auf dem Datenblatt wenig aus. Entscheidend sind zwei Dinge: Passt das Modell in den schnellen Speicher? Und wie viele Gigabyte pro Sekunde schaufelt dieser Speicher?
Die Größenordnungen: Arbeitsspeicher in einem Desktop-PC (DDR5, zwei Kanäle) liefert grob 64–100 GB/s. Ein Server mit acht bis zwölf Speicherkanälen schafft 200–500 GB/s. Eine gebrauchte RTX 3090 liegt bei rund 936 GB/s, eine RTX 5090 bei etwa 1792 GB/s. Genau dieser Faktor 10 bis 20 ist der Grund, warum dasselbe Modell auf der Grafikkarte so viel flotter antwortet.
Wie viel Speicher ein Modell wirklich braucht
Modelle werden „quantisiert“ ausgeliefert: Die Gewichte werden gröber gespeichert, meist mit rund 4 Bit statt 16 — das Format „Q4_K_M“ ist der übliche Kompromiss aus Größe und Qualität. Als Faustregel braucht ein Modell dann etwa 0,6 GB pro Milliarde Parameter. Dazu kommt der KV-Cache — ein Zwischenspeicher für das Kontextfenster, also den Text, den das Modell gerade „im Kopf“ behält. Ein sehr langer Kontext (etwa 128.000 Token) kann den Speicherbedarf deutlich nach oben treiben.
| Modell | Grob im Speicher (Q4) | Auf der CPU? | GPU-VRAM |
|---|---|---|---|
| 1–3B | ~1–2 GB | ja, flott (3B ≈ 40–70 tok/s) | 6 GB reichen |
| 7–8B | ~4–6 GB | ja, gemächlich (~5–15 tok/s) | 4–5 GB |
| 13–14B | ~8–10 GB | zäh | 8–10 GB |
| 30B (dicht) | ~16–20 GB | nur mit viel Geduld | 16–20 GB |
| 70B | ~38–48 GB | kaum sinnvoll | 40 GB+ oder zwei Karten |
„tok/s“ steht für Token pro Sekunde und entspricht ungefähr einer Tippgeschwindigkeit. Alles ab etwa 7–10 tok/s liest sich flüssig mit.
Was ohne dedizierte Grafikkarte geht
Auf einem modernen 8-Kerner (etwa Apple M2 oder Ryzen 7) erreichen 1B-Modelle über 100 tok/s, 3B-Modelle 40–70 tok/s, 7B-Modelle noch 5–15 tok/s. Eine konkrete Messung: Llama 3.1 8B in Q4_K_M lief mit rund 14 tok/s auf einer Server-CPU (AMD EPYC, 12 Threads). Für Chat, Zusammenfassungen, E-Mail-Entwürfe oder das Aufräumen von Notizen reicht das.
Besonders sparsam sind MoE-Modelle („Mixture of Experts“): Von den vielen Parametern rechnet pro Token nur ein kleiner Teil mit. gpt-oss-20b von OpenAI etwa hat 21 Milliarden Parameter gesamt, aber nur rund 3,6 Milliarden aktiv, belegt etwa 12–14 GB und läuft in 16 GB RAM oder VRAM. Solche Modelle machen den CPU-Betrieb deutlich brauchbarer als dichte Modelle gleicher Qualität.
Als Einstieg genügt laut mehreren aktuellen Leitfäden: 16 GB RAM, eine moderne CPU, optional eine GPU mit 6+ GB VRAM oder ein Apple-Silicon-Mac (reicht für 3–7B in Q4). Die passende Software ist schnell installiert: Ollama als einfachste Runtime, darunter die Kern-Engine llama.cpp, dazu LM Studio als grafische Oberfläche. Als Web-Bedienoberfläche auf dem Server läuft Open WebUI bequem in einem Container.
Wann sich eine Grafikkarte wirklich lohnt
Drei Fälle sprechen klar für dedizierten VRAM: Erstens Modelle ab etwa 13B, wenn sie flüssig antworten sollen. Zweitens viele Anfragen gleichzeitig oder sehr langer Kontext. Drittens Bildgenerierung — die ist faktisch GPU-Sache. Stable Diffusion XL läuft bequem auf 12–16 GB; Flux.1 braucht als FP8-Variante rund 16 GB, als GGUF-Q4 etwa 12 GB (die volle FP16-Fassung mit ~33 GB passt auf keine Consumer-Karte). Dafür nutzt man Oberflächen wie ComfyUI.
Passt ein Modell nicht komplett in den VRAM, verteilen Ollama und llama.cpp die Schichten auf GPU und CPU — es läuft dann weiter, aber das Tempo fällt Richtung CPU-Niveau. Eine Karte, die knapp zu klein ist, bringt also wenig.
| Karte | VRAM | Bandbreite | Einordnung (Preise ca., US-Dollar, stark schwankend) |
|---|---|---|---|
| RTX 3090 (gebraucht) | 24 GB | 936 GB/s | ~800–1000; bestes VRAM fürs Geld |
| RTX 5080 | 16 GB | — | real ~1300; ~132 tok/s bei 8B |
| RTX 5090 | 32 GB | 1792 GB/s | real ~2500–3800; ~213 tok/s bei 8B |
| AMD RX 7900 XTX | 24 GB | — | ROCm/Vulkan, ~96 tok/s bei 8B |
| Intel Arc Pro B60 | 24 GB | 456 GB/s | günstiges 24-GB-VRAM, Backends Vulkan/SYCL |
| Intel Arc B580 | 12 GB | — | ~249; ~38 tok/s bei 7B über Vulkan |
| Tesla P40 (gebraucht) | 24 GB | 347 GB/s | ~150–300; kein FP16, Bastelkühlung, CUDA-13-Aus |
Cutesliving GUNNIR Intel Arc Pro B60 BS 24 GB professionelle Grafikkarte
Mit 24 GB VRAM trifft diese Karte die Komfortschwelle für lokale Sprachmodelle bis in den 30B-Bereich, ohne dass es eine gebrauchte Oberklasse-Karte sein muss. Derzeit 880,99 € (Stand 10.09.2026).
Muss es NVIDIA sein?
Für reine Nutzung nicht mehr. NVIDIAs Software-Baukasten CUDA war lange praktisch alternativlos; inzwischen sind AMDs Gegenstück ROCm (mit Version 7.0 aus 2025 spürbar gereift) sowie Apples Metal/MLX praxistauglich. llama.cpp auf ROCm erreicht grob 70–80 % der CUDA-Geschwindigkeit; eine RX 7900 XTX schafft rund 96 tok/s bei 8B. Der herstellerübergreifende Weg ist das Vulkan-Backend von llama.cpp: Es läuft auf NVIDIA, AMD, Intel und eingebauten Grafikeinheiten ohne CUDA- oder ROCm-Installation. Intel ist über Vulkan und SYCL nutzbar, die Software steckt aber noch in der Reifung.
Eine wichtige Grenze: Das gilt für Inferenz — das Nutzen eines fertigen Modells. Feintuning oder Training braucht ein Vielfaches an VRAM und läuft faktisch auf NVIDIA mit CUDA.
Der dritte Weg: gemeinsamer Speicher
2025 ist eine eigene Geräteklasse entstanden: Mini-PCs mit „Unified Memory“, bei dem sich CPU und Grafik denselben großen Speicher teilen. Ein Apple-Mac (M4 Max) mit 128 GB führt Llama 3.3 70B in Q4 mit etwa 20–28 tok/s aus; schon 64 GB reichen, um ein 70B-Q4 (~37 GB) komplett zu laden. AMDs „Strix Halo“ (Ryzen AI Max+ 395) bringt 128 GB und kann ein 70B-Modell auf der eingebauten Grafik rechnen. NVIDIAs DGX Spark hat ebenfalls 128 GB.
Der Haken: Unified Memory liefert Kapazität, aber nicht das Tempo von echtem Grafikspeicher. Strix Halo kommt auf grob 256 GB/s (die theoretische Angabe, effektiv eher darunter), der DGX Spark auf rund 273 GB/s — ein Bruchteil einer RTX 3090. Große Modelle laden ist also möglich, flott antworten nur bei kleineren. Für den DGX Spark schwanken die berichteten Werte je nach Quelle stark, von wenigen tok/s bei 70B bis rund 38 tok/s bei kleineren Modellen.
Was sich 2025/26 verändert hat
Der Gebrauchtmarkt ist kein Selbstläufer mehr. Seit 2025 herrscht eine globale Speicher-Knappheit: DDR5 ist deutlich teurer geworden, KI-Rechenzentren binden einen Großteil der Produktion, Entspannung wird frühestens für 2027 erwartet. Preise für gebrauchte RTX 3090 sind dadurch wieder gestiegen, und ein angekündigter „Super“-Refresh der RTX-50-Reihe mit mehr VRAM wurde gestrichen — eine günstige High-VRAM-Consumer-Karte gibt es also weiterhin nicht.
Zwei frühere Geheimtipps sind fragwürdig geworden: CUDA 13.0 (August 2025) hat den Support für ältere NVIDIA-Architekturen (Maxwell, Pascal, Volta) beim Kompilieren entfernt; für die GeForce-900/10-Serie und Volta gibt es ab Oktober 2025 nur noch sicherheitskritische Treiber, geplant bis Oktober 2028. Das trifft die Homelab-Lieblinge GTX 1080 Ti und Tesla P40/P100. CUDA 12.x baut weiter für diese Karten, aber die Uhr tickt. Und die NPU (ein eigener KI-Beschleuniger im Prozessor) im neuen Laptop? Die gängigen Tools nutzen sie für Chat Stand 2026 nicht — es rechnen CPU und eingebaute Grafik.
Positiv: Kleine Modelle sind massiv besser geworden. Llama 3.2 (1B/3B), Phi-4, Gemma 3, Qwen3 — was 2023 ein 13B- bis 34B-Modell brauchte, leisten heute oft 3B bis 8B. Und Open-Weights-Modelle wie Qwen3, Llama 3.3 70B oder gpt-oss schließen für viele Aufgaben einen großen Teil des Abstands zur Cloud.
Und der NAS nebenbei?
Ein typisches Synology- oder QNAP-Gerät hat eine sparsame CPU ohne brauchbare Grafik. Kleine Modelle (1–3B) laufen darauf, aber langsam; für mehr fehlt schlicht die Bandbreite. Die NAS-Hersteller haben reagiert: QNAP bietet 2025 Modelle mit GPU-Steckplatz oder KI-Beschleuniger an. Das Mainstream-Consumer-NAS liefert aber weiterhin keine dedizierte Grafik. Wer sein NAS einbinden will, betreibt dort sinnvollerweise nur die Bedienoberfläche (Open WebUI im Container) und lässt das Modell auf einer stärkeren Maschine rechnen.
Fazit: die ehrliche Antwort
Braucht lokale KI eine Grafikkarte? Für den Einstieg nein: 16–32 GB RAM und eine moderne CPU genügen für Modelle bis 8B und für MoE-Modelle — damit deckst du einen Großteil der Alltagsaufgaben ab. Eine Grafikkarte ist ein Tempo- und Größen-Upgrade, kein Startkapital. Wenn du eine anschaffst, ziel auf 24 GB VRAM; alles darunter engt dich schnell ein. Und für Bildgenerierung oder eigenes Training führt an einer richtigen GPU — beim Training an NVIDIA — kein Weg vorbei.