- Die alte Regel „erst ein 70B-Modell ist brauchbar“ ist überholt: Modelle mit 24–32 Milliarden Parametern von 2025 (Qwen3-32B, Mistral Small 3.2, Gemma 3 27B) liegen etwa auf dem Niveau von GPT-4 aus dem Jahr 2023.
- Für den Einstieg reicht eine gebrauchte Grafikkarte: eine RTX 3060 mit 12 GB oder eine RTX 3090 mit 24 GB. Das Rechenzentrums-Verbot in NVIDIAs Lizenzbedingungen betrifft die Heimnutzung nicht.
- Als Software haben sich Ollama, LM Studio oder llama.cpp als „Motor“ und Open WebUI als Weboberfläche eingebürgert.
- Viel KI steckt längst in gängigen Homelab-Diensten: Frigate erkennt Objekte auf Kamerabildern, Home Assistant versteht Sprachbefehle, Immich durchsucht Fotos per Texteingabe.
Was „lokale KI im Homelab“ heute bedeutet
Mit „lokaler KI“ ist vor allem gemeint, ein großes Sprachmodell (englisch Large Language Model, kurz LLM – die Technik hinter Chatbots wie ChatGPT) auf eigener Hardware laufen zu lassen, statt es bei einem Anbieter im Netz zu nutzen. Zwei Entwicklungen haben das aus der Bastelecke geholt: Die kleinen, frei herunterladbaren Modelle sind deutlich besser geworden, und es gibt neue Hardware-Klassen, die genug Speicher für sie mitbringen. Dazu kommen Bild- und Spracherzeugung – auch die läuft heute auf einem Rechner, der im Schrank stehen darf.
Die Software: womit man Modelle startet
Der verbreitetste Weg ist Ollama, ein Hintergrunddienst mit eigener Modell-Sammlung und einer Schnittstelle, die sich wie die von OpenAI ansprechen lässt. Darunter arbeitet llama.cpp, die eigentliche Rechen-Engine; sie nutzt das Dateiformat GGUF und unterstützt Grafikkarten von NVIDIA, AMD, Intel und Apple. Wer lieber ein Fenster mit Knöpfen hat, nimmt LM Studio – seit Juli 2025 auch für berufliche Nutzung kostenlos, die frühere Lizenzpflicht ist gestrichen. Einsteigerfreundlich sind außerdem Jan und GPT4All. Als Web-Chatoberfläche für den Heimserver hat sich Open WebUI durchgesetzt; seit April 2025 enthält dessen Lizenz eine Klausel, die das Entfernen des „Open WebUI“-Brandings untersagt – außer bei weniger als 50 Nutzern in 30 Tagen, für offizielle Mitwirkende oder mit Enterprise-Lizenz. Wer viele Nutzer parallel bedienen will, greift zu vLLM.
Ein Wort zu Ollama: Das Projekt ist inzwischen ein Unternehmen mit Risikokapital (Mitte 2026 eine Finanzierungsrunde über 65 Mio. USD), einer geschlossenen Desktop-App seit Juli 2025 und einem Cloud-Angebot. An der Telemetrie gibt es Kritik. Für rein lokalen Betrieb bleibt es nutzbar, aber es ist kein reines Community-Projekt mehr.
Welche Modelle wirklich laufen
Modelle werden „quantisiert“, damit sie in den Speicher passen: Die Zahlen im Modell werden gröber abgelegt, was Platz spart und die Qualität nur wenig kostet. Die Stufe Q4_K_M (rund 4,5 Bit) gilt als bester Kompromiss. Wie viel Grafikspeicher (VRAM) eine Größe grob braucht:
| Modellgröße | VRAM bei Q4 (Faustregel) | Beispiele |
|---|---|---|
| 7–8 Mrd. Parameter | ca. 5–6 GB | Qwen3 8B |
| 13–14 Mrd. | ca. 9–10 GB | Gemma 3 12B, Qwen3 14B |
| ca. 32 Mrd. | ca. 18–20 GB | Qwen3 32B |
| ca. 70 Mrd. | ca. 42–43 GB | Llama 3.3 70B |
Empfehlenswerte offene Modelle Stand 2026: Qwen3 (Apache-2.0-Lizenz, guter Allrounder, dichte Varianten von 0,6B bis 32B plus sparsame „Mixture-of-Experts“-Modelle), Mistral Small 3.2 24B (Apache 2.0, versteht auch Bilder, langer Kontext), Gemma 3 von Google (eigene, freizügige Lizenz; ab der 4B-Größe mit Bildverständnis), Llama 3.3 70B (Meta-Lizenz, rund 43 GB in Q4), gpt-oss 20b/120b von OpenAI (Apache 2.0 – die 20b-Variante passt in eine 16-GB-Karte), DeepSeek-R1 und seine kleineren Ableger (MIT-Lizenz, auf schrittweises „Nachdenken“ ausgelegt) sowie Phi-4 von Microsoft (MIT, klein und stark).
Zwei Dinge sind neu. Erstens der Qualitätssprung: Die genannten 24–32B-Modelle reichen für die meisten Homelab-Aufgaben – Zusammenfassen, Umformulieren, Fragen zu eigenen Notizen. Zweitens die „Mixture-of-Experts“-Bauweise (viele Gesamtparameter, aber pro Anfrage nur ein kleiner Teil aktiv). So hat Qwen3-30B-A3B zwar 30 Milliarden Parameter, rechnet aber nur mit etwa 3 Milliarden – das macht solche Modelle auf Geräten mit viel, aber langsamem Speicher schnell.
Zur kommerziellen Nutzung: pauschal verboten ist nichts, es hängt am Modell. Qwen3, Mistral, gpt-oss und DeepSeek stehen unter Apache 2.0 bzw. MIT und sind voll offen. Llama und Gemma haben Sonderklauseln – die bildverstehende Nutzung von Llama 4 ist für in der EU ansässige Firmen und Personen sogar untersagt. Und das Bildmodell Flux.1 gibt es in einer freien Variante ([schnell], Apache 2.0) und einer nur für nicht-kommerzielle Zwecke ([dev]).
Nicht nur Text: Bilder und Sprache lokal erzeugen
Für Bildgenerierung hat die Flux.1-Familie Stable Diffusion als Qualitätsreferenz abgelöst. Als Oberfläche dient meist ComfyUI. Flux.1 braucht in voller Genauigkeit rund 24 GB VRAM, als Q4-GGUF etwa 12 GB, mit noch stärkerer Quantisierung läuft es auf 8 GB. Für Spracherkennung gibt es Whisper (MIT-Lizenz) in den schnellen lokalen Fassungen faster-whisper und whisper.cpp; die Variante large-v3-turbo vom Oktober 2024 arbeitet etwa achtmal schneller bei geringem Qualitätsverlust. Für Sprachausgabe ist Piper Standard.
Die Hardware-Frage
Wichtig zu verstehen: Beim Erzeugen von Text ist nicht die Rechenleistung der Flaschenhals, sondern die Speicherbandbreite – wie schnell die Hardware die Modelldaten durchschaufeln kann. Das erklärt die Empfehlungen:
- RTX 3060 12 GB – günstigster sinnvoller Einstieg, taugt auch für Bildgenerierung.
- RTX 3090 24 GB (gebraucht) – bestes Verhältnis von Preis zu VRAM in der 24-GB-Klasse.
- RTX 4090 24 GB / RTX 5090 32 GB – Enthusiasten-Einzelkarten. Die 5090 kam am 30.01.2025 mit einer UVP von 1.999 USD, die 4090 wird nicht mehr produziert und geht gebraucht über ihrem früheren Listenpreis weg. Straßenpreise schwanken 2025/26 wegen Speicherknappheit stark.
- Intel Arc B580 12 GB (rund 249 USD) – Budget-Alternative, per Vulkan-Backend etwa auf RTX-3060-Niveau.
- Tesla P40 24 GB (gebraucht, ca. 150–250 USD) – billige 24 GB, aber rund dreimal langsamer als eine RTX 3090, ohne moderne Recheneinheiten, und die Kühlung muss man selbst bauen.
Eine neue Geräteklasse sind KI-Mini-PCs mit großem gemeinsamem Speicher. Rechner mit AMDs „Strix Halo“-Chip (Ryzen AI Max+ 395) bieten bis zu 128 GB, von denen ein großer Teil als Grafikspeicher nutzbar ist – laut Community rund 100 Token pro Sekunde auf Qwen3-30B-A3B. NVIDIAs DGX Spark bringt 128 GB zusammenhängenden Speicher für etwa 4.700 USD (Anfang 2026, gestiegene Speicherpreise), ein Mac Studio mit M3 Ultra fasst bis zu 512 GB. Der Haken: Die Kapazität ist groß, die Bandbreite aber viel niedriger als bei einer eigenständigen Grafikkarte (Strix Halo real um die 215 GB/s gegenüber knapp 1.800 GB/s bei einer RTX 5090). Lange Eingaben und große Kontexte werden dadurch spürbar langsam.
Zwei oft unterschätzte Punkte. Erstens der Leerlaufverbrauch: Eine RTX 3090 oder 4090 zieht im Ruhezustand 15–40 W – eine Dauerbetrieb-Box kostet also merklich mehr Standby-Strom als ein sparsamer Mini-Beschleuniger. Zweitens die NPU (der KI-Beschleuniger in „Copilot+“-Notebooks und Ryzen-AI-Chips): Die gängigen LLM-Programme nutzen sie nicht, und die beworbenen TOPS-Zahlen sagen für das speicherlimitierte Erzeugen von Text wenig aus. Ein 8B-Modell läuft auf einem Snapdragon X Elite mit etwa 5–10 Token/s, auf einer gebrauchten Desktop-GPU mit rund 100.
Nebenbei: DDR5-Arbeitsspeicher ist seit Herbst 2025 stark teurer geworden – ein 32-GB-Kit lag Anfang 2025 bei etwa 75–125 USD und Anfang 2026 bei über 300 USD. Das erhöhte Niveau dürfte laut Marktbeobachtern noch eine Weile bleiben.
BOSGAME M5 AI Mini PC AMD Ryzen AI Max+ 395, 128GB LPDDR5X RAM, 2TB PCIe 4.0 SSD, Radeon 8060S Graphics
Ein Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB gemeinsamem Speicher deckt genau den Fall ab, für den im Artikel die Unified-Memory-Geräte stehen: große Sprachmodelle lokal betreiben, ohne ein Rig mit mehreren Grafikkarten aufzubauen.
Preis prüfen * – 3.699,00 € (Stand 07.09.2026)
KI, die schon in deinen Diensten steckt
Frigate ist ein lokaler Videorekorder (NVR, Network Video Recorder) mit Echtzeit-Objekterkennung. Lange war die Google Coral Edge TPU (ein winziger, rund 2 W sparsamer Beschleuniger) der Standardkauf – für neue Installationen wird sie nicht mehr empfohlen. Aktuell bevorzugt sind Hailo-8/8L-Module (etwa auf dem Raspberry Pi AI HAT+ mit 13 bzw. 26 TOPS) oder Intel-GPUs/NPUs. Neuere Frigate-Versionen bringen semantische Suche und Gesichts- bzw. Kennzeichen-Auswertung – diese Funktionen brauchen eine GPU, keine reine Detektions-TPU.
Home Assistant hat mit „Assist“ eine lokale Sprachkette: Weckwort, Spracherkennung (Whisper/faster-whisper oder das schlanke Speech-to-Phrase), optional ein LLM über Ollama und Sprachausgabe per Piper, verbunden über das Wyoming-Protokoll. Die Ollama-Anbindung ist seit Version 2025.6 fest eingebaut (Versionsnummer ungefähr). Speech-to-Phrase arbeitet mit festem Wortschatz und schafft unter einer Sekunde auf einem Raspberry Pi 4; das offene Whisper braucht dafür einen Intel N100 oder besser. Die Home Assistant Voice Preview Edition (59 USD bzw. 59 €, seit Dezember 2024) ist ein offener Sprach-Satellit; für rein lokale Verarbeitung wird ein Server ab Intel N100 empfohlen.
Immich, die selbstgehostete Foto-Bibliothek, bringt einen eigenen ML-Container mit: Textsuche über Fotos (per CLIP – ein Modell, das Bilder und Text im selben „Raum“ vergleicht, sodass man mit normalen Wörtern suchen kann) und Gesichtserkennung. Der Container darf auch auf einer separaten Maschine laufen, eine GPU ist optional.
Ein verbreitetes Aufbau-Muster: die GPU steckt im Proxmox-Host, wird per Bind-Mount in einen Container gereicht und dort mit dem NVIDIA Container Toolkit für Ollama, Frigate oder Immich nutzbar gemacht.
Häufige Irrtümer
- „Lokale KI braucht eine NVIDIA-Rechenzentrumskarte.“ – Consumer-Grafikkarten, Apple Silicon und AMD-APUs reichen; das EULA-Verbot betrifft nur Rechenzentren, nicht Zuhause.
- „Erst ein 70B-Modell ist brauchbar.“ – 24–32B-Modelle von 2025 genügen für die meisten Aufgaben.
- „NPUs beschleunigen LLMs.“ – Die üblichen Programme nutzen sie nicht; hohe TOPS-Werte helfen dem speicherlimitierten Textgenerieren nicht.
- „Unified Memory ist wie VRAM.“ – In der Kapazität ja, in der Bandbreite nicht; lange Kontexte werden langsam.
- „Das lokal laufende DeepSeek-R1 ist das 671B-Modell.“ – Fast alle fahren die kleineren Ableger von 7B bis 70B; das Vollmodell braucht in Q4 rund 400 GB Speicher.
Wie man anfängt
Der pragmatische Einstieg: Ollama und Open WebUI auf der Grafikkarte, die schon im Homelab steckt, dazu ein Modell wie Qwen3 8B oder Gemma 3 12B. Merkt man, dass Speicher oder Tempo nicht reichen, weiß man danach genau, wofür sich die nächste Karte – oder ein Mini-PC mit viel gemeinsamem Speicher – lohnt. Erst messen, dann kaufen.