- Entscheidend ist der Grafikspeicher (VRAM, der Speicher direkt auf der Karte): 24 GB reichen für Sprachmodelle bis rund 32 Milliarden Parameter in 4-Bit-Kompression, die 70-Milliarden-Klasse braucht real etwa 40–48 GB — also zwei 24-GB-Karten oder eine 48-GB-Karte.
- Lokale KI ist speicherbandbreiten-limitiert: Wie viele Gigabyte pro Sekunde die Karte aus ihrem Speicher liest und wie viel VRAM sie hat, zählt mehr als die Zahl der Rechenkerne.
- Die gebrauchte GeForce RTX 3090 mit 24 GB gilt als bestes Verhältnis von Preis zu Grafikspeicher im Consumer-Bereich. NVLink (eine schnelle Direktverbindung zwischen zwei NVIDIA-Karten) brauchst du für den Betrieb fertiger Modelle nicht.
- Beim Gebrauchtkauf zählen Wärmeleitpads (RTX 3090), der Zustand des 16-Pin-Stromsteckers (RTX 4090) und die Treiber-Zukunft: Das aktuelle CUDA-Toolkit 13 unterstützt die alten Tesla-Karten P40, P100 und V100 nicht mehr.
Ein Sprachmodell auf dem eigenen Server laufen zu lassen — ohne Cloud, ohne Abo — scheitert selten an der Rechenleistung und fast immer am Grafikspeicher. Wer dafür nicht den Neupreis einer Workstation-Karte zahlen will, landet schnell auf dem Gebrauchtmarkt. Dieser Artikel erklärt, worauf es bei gebrauchten Grafikkarten für lokale KI ankommt: welche Karte wie viel Modell fasst, warum Bandbreite wichtiger ist als Kerne und welche Fallstricke beim Kauf lauern.
Warum der Grafikspeicher (VRAM) alles entscheidet
Ein großes Sprachmodell muss beim Antworten komplett in den Speicher der Grafikkarte passen. Passt es nicht, wird es auf den langsameren Arbeitsspeicher des Rechners ausgelagert, und die Geschwindigkeit bricht ein. Deshalb ist die erste Frage beim Kartenkauf immer: Wie viel VRAM?
Wie viel ein Modell braucht, hängt von seiner Größe (Zahl der Parameter, also der einstellbaren Gewichte, meist in Milliarden angegeben — „7B“ heißt 7 Milliarden) und von der Quantisierung ab. Quantisierung bedeutet, das Modell auf gröbere Zahlen einzudampfen, damit es weniger Speicher braucht; „Q4″ steht für rund 4 Bit pro Wert. Als Faustregel für 4-Bit-Modelle gilt: Parameter in Milliarden × etwa 0,5–0,7 GB, plus 1–3 GB für den KV-Cache (einen Zwischenspeicher für den bisherigen Gesprächsverlauf) und den Kontext, also wie viel Text das Modell gleichzeitig im Blick hat.
Praktisch heißt das: Eine 24-GB-Karte fasst Modelle bis rund 32B in Q4. Die beliebte 70B-Klasse braucht real eher 40–48 GB — das bekommst du entweder mit zwei 24-GB-Karten oder einer einzelnen 48-GB-Karte hin. Die oft gehörte Aussage „24 GB reichen für 70B“ stimmt nur mit sehr aggressiver Kompression (Q2/Q3) und kurzem Kontext und macht in der Praxis wenig Freude.
Bandbreite schlägt Rechenkerne
Für jedes einzelne Token — ein Token ist ein Wortbaustein — muss die Karte einmal das komplette Modell durch ihren Speicher schaufeln. Wie schnell das geht, hängt an der Speicherbandbreite, gemessen in Gigabyte pro Sekunde, nicht an der Zahl der CUDA-Kerne. „Mehr Kerne = mehr Token pro Sekunde“ ist deshalb ein Irrtum. Beim Betrieb fertiger Modelle (der Fachbegriff ist Inferenz) sind Bandbreite und VRAM-Menge die beiden Zahlen, auf die es ankommt.
Das erklärt auch, warum ältere Server-Karten mit sehr schnellem Speicher überraschend gut mithalten können — und warum eine Karte mit vielen Kernen, aber schmaler Speicheranbindung enttäuscht.
Die Kandidaten auf dem Gebrauchtmarkt
GeForce RTX 3090 (24 GB) — die Referenz
24 GB GDDR6X, 936 GB/s Bandbreite, 350 Watt, erschienen im September 2020. Die Produktion der großen 30er-Modelle lief schon Mitte 2022 aus, im Handel wurden sie bis 2023 abverkauft. Die RTX 3090 gilt als bestes Verhältnis von Preis zu Gigabyte VRAM im Consumer-Bereich; zwei davon ergeben 48 GB für die 70B-Klasse. Wichtig: Der GDDR6X-Speicher wird heiß — unter Dauerlast oder früherem Mining-Einsatz sind 100–110 °C an den Speicherchips dokumentiert, obwohl der Hersteller 95 °C angibt. Alte Karten haben oft ausgehärtete Wärmeleitpads; ein Pad-Tausch senkt die Speichertemperatur laut Messungen um etwa 20–25 °C. Eine Ex-Mining-Karte ist übrigens nicht automatisch Schrott: Die Chips altern moderat, die Schwachstellen sind Lüfterlager und eben die Pads.
ASUS TUF Gaming GeForce RTX 3090 OC Edition (erneuert)
Die RTX 3090 mit 24 GB ist in diesem Artikel die Referenz für das beste Verhältnis von Preis zu Grafikspeicher und damit der naheliegende Einstieg in lokale KI im Homelab.
Preis prüfen * — 1.915,86 € (Stand 11.09.2026)
GeForce RTX 4090 (24 GB) — schneller, teurer
24 GB GDDR6X, rund 1008 GB/s, 450 Watt, erschienen im Oktober 2022 zum Listenpreis von 1599 US-Dollar. Sie hat die neueren Ada-Tensor-Kerne und beherrscht FP8, ein besonders sparsames Zahlenformat für KI-Berechnungen. Bei Inferenz liegt sie dadurch etwa 15–25 % vor der 3090, bei Training oder FP8-Last deutlich mehr. „3090 und 4090 sind bei KI gleich schnell“ stimmt also nicht — gleicher Speicher, aber spürbar unterschiedliches Tempo. Preislich liegt die gebrauchte 4090 klar über der 3090.
Tesla P40, P100, V100 — die Server-Route
Die Tesla-P40 (24 GB GDDR5, rund 347 GB/s, Pascal-Architektur von 2016) wird oft als „bester Budget-Deal“ genannt. Sie hat aber Haken: keine Tensor-Kerne, keine Displayausgänge, keinen eigenen Lüfter (passiv, auf Server-Zwangskühlung ausgelegt), und ihre FP16-Rate liegt nur bei 1:64 zu FP32 — FP16 (ein Rechenformat mit halber Genauigkeit) ist damit praktisch unbrauchbar, gerechnet wird in FP32 oder INT8. Ab rund 90 °C drosselt sie. Die Tesla-P100 (16 GB HBM2, ein besonders breit angebundener Speichertyp, 732 GB/s) hat natives FP16 und ist bei Modellen, die in 16 GB passen, rund doppelt so schnell wie die P40 — „P100 ist langsamer, weil älter benannt“ ist falsch. Die V100 (Volta, 16 oder 32 GB HBM2) hat erste Tensor-Kerne; die 32-GB-Variante ist meist SXM2 und braucht ein Adapterboard.
Der größere Haken für alle drei: Der NVIDIA-Treiberzweig R580 ist der letzte, der Maxwell, Pascal und Volta unterstützt. Der letzte „Game Ready“-Treiber kam im Oktober 2025, danach gibt es bis Oktober 2028 nur noch vierteljährliche Sicherheitsupdates. Und das aktuelle CUDA-Toolkit 13 (NVIDIAs Entwickler-Baukasten, erschienen im August 2025) unterstützt nur noch Turing und neuer — P40, P100 und V100 fallen raus. Nutzbar bleiben sie über das ältere CUDA 12, gegen das llama.cpp und PyTorch weiter bauen, praktisch also noch ein bis drei Jahre, aber ohne neue Optimierungen. „Pascal ist sofort tot“ stimmt nicht, „Pascal hat eine enge Software-Zukunft“ schon.
AMD und Intel
AMDs Software-Stack ROCm unterstützt unter Linux offiziell die Radeon RX 7900 XTX/XT, 7800 XT, 7700 XT und die RX-9070-Reihe. Die RX 7900 XTX hat 24 GB, ist bei Sprachmodellen aber langsamer und fummeliger als eine 3090. Die AMD Instinct MI50 mit 32 GB HBM2 (rund 1 TB/s, passiv) war lange der Budget-Tipp, doch der offizielle ROCm-Support endete im zweiten Quartal 2024 — jetzt nur noch etwas für Bastler mit Community-Builds. Intels Arc B580 (12 GB, rund 456 GB/s) läuft über IPEX-LLM oder Vulkan, unter Linux schneller als unter Windows; die Software ist unreifer als NVIDIAs CUDA.
| Karte | VRAM | Speicherbandbreite | Anmerkung |
|---|---|---|---|
| RTX 3090 | 24 GB GDDR6X | 936 GB/s | 350 W; bestes Preis/VRAM; Wärmeleitpads oft fällig |
| RTX 4090 | 24 GB GDDR6X | ~1008 GB/s | 450 W; Ada-Tensor-Kerne + FP8, ~15–25 % schneller; 16-Pin-Stecker prüfen |
| RTX 5090 | 32 GB GDDR7 | k. A. | Januar 2025; einzige neue Consumer-Karte über 24 GB; teuer und knapp |
| RTX 5060 Ti 16 GB | 16 GB GDDR7 | ~448 GB/s | 180 W; günstigste neue 16-GB-Karte; eher für Modelle bis ~14B |
| Tesla P40 | 24 GB GDDR5 | ~347 GB/s | kein FP16, kein Display, passiv; Sackgasse ab CUDA 13 |
| Tesla P100 | 16 GB HBM2 | 732 GB/s | natives FP16, ~2× P40 bei passender Modellgröße; gleiche Support-Grenzen |
| RX 7900 XTX | 24 GB | k. A. | offizielles ROCm; bei LLM langsamer/fummeliger als 3090 |
| Instinct MI50 32 GB | 32 GB HBM2 | ~1 TB/s | ROCm-Support 2024 ausgelaufen; passiv; nur für Bastler |
| Arc B580 | 12 GB GDDR6 | ~456 GB/s | Inferenz über IPEX-LLM/Vulkan; Software unreifer als CUDA |
Worauf du beim Gebrauchtkauf achten musst
Der 16-Pin-Stecker der RTX 4090
Der 12VHPWR- bzw. 16-Pin-Stromstecker (ab RTX 4090, auch RTX 5090) hat seit Ende 2022 dokumentierte Schmelz- und Brandfälle, teils erst nach ein bis zwei Jahren Nutzung. Beim Gebrauchtkauf den Stecker auf Verfärbung, Verformung und Schmorgeruch prüfen — an der Karte wie am Netzteilkabel.
Kühlung bei passiven Server-Karten
Tesla- und Instinct-Karten haben keinen eigenen Lüfter. Im normalen Desktop-Gehäuse brauchst du eine selbstgebaute Kühlung, in der Praxis eine 3D-gedruckte Luftführung („Blower-Shroud“) mit einem 40-mm-Lüfter. Das ist Pflicht, kein Nice-to-have.
Der EULA-Mythos
„Die GeForce-Lizenz verbietet KI- oder Homelab-Nutzung“ hört man oft. Verboten ist seit 2017/2018 nur das „Datacenter Deployment“, also der Rechenzentrums-Einsatz — und zwar nur der Treibersoftware, nicht der Hardware. Heim- und Forschungsnutzung außerhalb von Rechenzentrumsskala ist ausdrücklich erlaubt. Den exakten Wortlaut des Standes 2025 haben wir nicht sicher verifiziert; am Grundprinzip ändert das nichts.
Stromkosten nicht vergessen
Im Dauerbetrieb ist der Idle-Verbrauch der versteckte Kostentreiber: Die Karte zieht eine Grundlast, egal ob gerade ein Modell rechnet oder nicht. Die Rechnung ist simpel: Stromkosten = (durchschnittliche Watt × Stunden ÷ 1000) × Strompreis pro kWh. Bei einer Karte, die rund um die Uhr im Server steckt, summiert sich schon eine moderate Grundlast über das Jahr spürbar. Workstation-Karten wie die RTX A4000/A5000 oder RTX 4000/5000 Ada sind hier oft die ruhigere Wahl: Blower-Kühler, teils Single-Slot, leiser Einbau, kein EULA-Thema — dafür teurer pro Gigabyte.
Wenn Basteln nicht dein Ding ist
Aus China kommen umgebaute Karten mit nachgelöteten Speicherchips: RTX 4090 mit 48 GB, RTX 4080 mit 32 GB, RTX 2080 Ti mit 22 GB. 48 GB in einem Slot klingen verlockend, aber es sind Grauimporte ohne Garantie, mit möglichen BIOS- und Treiber-Fallstricken; die Langzeitzuverlässigkeit ist unklar.
Ganz ohne GPU-Frickelei geht es mit den neuen APU-Mini-PCs: AMDs „Strix Halo“ (Ryzen AI Max+ 395) fasst bis zu 128 GB gemeinsamen Speicher bei rund 256 GB/s — große Modelle laufen langsam, aber sie laufen, und das sparsam. Ähnlich Apples Mac mini und Mac Studio (M-Serie) mit 64 bis 512 GB gemeinsamem Speicher, beim M-Max mit rund 400–546 GB/s. NVIDIAs DGX Spark (GB10) mit 128 GB gehört in dieselbe Klasse, ist aber teuer und Nische.
Software-seitig deckt llama.cpp zusammen mit Ollama die breiteste Palette alter Hardware ab (CUDA, ROCm, Vulkan, Metal). vLLM ist schneller und verteilt Modelle sauber über mehrere Karten, verlangt aber neuere CUDA-Versionen. Für den Einstieg mit grafischer Oberfläche gibt es LM Studio.
Fazit
Für die meisten Homelab-Nutzer ist die gebrauchte RTX 3090 nach wie vor die vernünftigste Wahl: 24 GB, viel Bandbreite, bester Preis pro Gigabyte — mit eingeplantem Wärmeleitpad-Tausch. Wer Tempo braucht und das Budget hat, greift zur RTX 4090 und prüft den Stecker. Zwei 3090 ergeben die 48 GB für die 70B-Klasse, ganz ohne NVLink. Die Tesla-Karten sind nur bei sehr engem Budget und Lust auf Kühl- und Software-Basteln sinnvoll — und mit dem Wissen, dass ihre Software-Zukunft eng ist. Konkrete Gebrauchtpreise ändern sich ständig und sind online oft widersprüchlich; als grobe Orientierung liegt eine RTX 3090 im oberen dreistelligen Euro-Bereich, eine gebrauchte RTX 4090 deutlich höher. Vor dem Kauf frisch prüfen.