- Ollama läuft offiziell auch mit reiner CPU – eine eigene Grafikkarte ist nicht nötig. Für Sprachmodelle der 3B- bis 8B-Klasse reicht das im Alltag.
- Empfehlenswert sind rund 16 GB Arbeitsspeicher und eine schnelle SSD. 8 GB sind das offizielle Minimum, tragen aber nur die kleinsten Modelle.
- Im Homelab richtet man Ollama meist als Docker-Container ein, oft zusammen mit Open WebUI als Bedienoberfläche.
- Ollama hat keine eingebaute Passwortabfrage. Der Dienst gehört ins Heimnetz – nicht offen ins Internet.
Warum Ollama ohne Grafikkarte funktioniert
Ollama ist ein quelloffener Runner für große Sprachmodelle (LLM, „Large Language Model“ – die Technik hinter Chatbots wie ChatGPT), den du lokal auf deiner eigenen Hardware betreibst. Das Projekt wurde 2023 von Jeffrey Morgan und Michael Chiang gestartet; die Kommandozeilen-Version und die offiziellen Client-Bibliotheken stehen unter der freien MIT-Lizenz (die Lizenz der neuen grafischen App ist nicht MIT und wurde öffentlich diskutiert). Ollama bringt eine Kommandozeile, eine REST-Schnittstelle (API, über die andere Programme Anfragen schicken) und seit Juli 2025 auch eine grafische App mit.
Hartnäckig hält sich die Annahme, ohne dedizierte Grafikkarte – also ohne separate Grafikkarte im Rechner – laufe so etwas gar nicht. Das stimmt nicht: Der reine CPU-Betrieb ist offiziell unterstützt. Die in vielen Mini-PCs eingebaute Grafikeinheit, etwa im Intel N100, wird für die Berechnung übrigens nicht genutzt; die Arbeit macht allein der Hauptprozessor.
Ehrlich bleiben sollte man trotzdem: Flüssiger Chat wie bei den großen Cloud-Diensten ist auf der CPU nicht drin. Reine Prozessor-Nutzung lohnt für „einmal fragen, kurz warten“-Aufgaben – Code-Schnipsel erklären lassen, Texte zusammenfassen, kleinere Stapelverarbeitung. Für zügigen Dialog mit großen Modellen braucht es weiterhin eine GPU.
Nebenbei: Seit Mai 2025 setzt Ollama nicht mehr ausschließlich auf llama.cpp als Unterbau, sondern hat eine eigene, in Go geschriebene Inferenz-Engine auf Basis der GGML-Tensor-Bibliothek. Für die CPU-Kompatibilität bleibt GGML weiterhin im Spiel.
Was die Hardware können muss
Die offizielle Minimalanforderung: eine 64-Bit-CPU mit AVX2-Befehlssatz (eine Erweiterung des Prozessors für schnellere Rechenoperationen), 8 GB RAM und rund 10 GB freier Speicherplatz. Ob zwingend AVX2 nötig ist oder älteres AVX genügt, hängt von der Ollama-Version ab und war zuletzt uneinheitlich. Praxistauglicher ist eher: 16 GB RAM, eine NVMe-SSD (schneller Flash-Speicher, damit das Modell rasch geladen wird) und ein Prozessor ab etwa Baujahr 2020.
Wichtig für die Erwartung: Mehr RAM macht die Ausgabe nicht schneller. Das Tempo hängt an der Speicherbandbreite und der Kernzahl des Prozessors; der Arbeitsspeicher begrenzt nur, wie groß das Modell überhaupt sein darf. Als grobe Faustregel:
| Modellgröße | RAM (Faustregel) | Grobe Tokenrate auf CPU | Praxis |
|---|---|---|---|
| 1–3 Mrd. Parameter | 4–8 GB | ~10–12 Token/s (3B) | gut nutzbar |
| 7–8 Mrd. | 8–16 GB | ~3–8 Token/s | läuft, spürbar zäher |
| 13–14 Mrd. | 16–32 GB | – | sehr langsam |
| 30 Mrd. und mehr | 32–64 GB+ | – | Geduldsprobe, praktisch unbrauchbar |
„Parameter“ sind die trainierten Stellschrauben des Modells, „B“ steht für Milliarden. Ein Token ist grob eine Silbe oder ein kurzes Wort. Die Zahlen sind Richtwerte – sie schwanken stark je nach Prozessor, Modell und Kompressionsstufe.
Beim NAS (Network Attached Storage, ein Speicher, der am Netzwerk hängt) gilt: Nur Geräte mit Intel- oder AMD-Prozessor kommen infrage. ARM-NAS mit Realtek-Chips wie RTD1296 oder RTD1619B können Ollama mangels passender Rechenerweiterungen nicht ausführen. Ein Raspberry Pi 5 läuft, schafft aber nur sehr kleine Modelle (1–3B) mit wenigen Token pro Sekunde. Ein Mini-PC mit Intel N100 nutzt 3B-Modelle in der Q4-Stufe brauchbar bei rund 12–18 Watt; ein 7B-Modell kriecht dann nur noch oder passt nicht mehr in den Speicher.
GEEKOM A6 Business Mini PC, mit AMD Ryzen 7 6800H, 32GB DDR5 1TB SSD
Mit AMD-Ryzen-Prozessor und 32 GB Arbeitsspeicher hat dieser Mini-PC genug Reserve, um auch Modelle der 7B- bis 14B-Klasse ohne Grafikkarte auf der CPU laufen zu lassen. Preis: 649,00 € (Stand 09.09.2026).
Ollama installieren
Direkt auf Linux
Auf einem Linux-Server genügt ein Einzeiler:
curl -fsSL https://ollama.com/install.sh | shDas Skript richtet einen systemd-Dienst (startet Ollama automatisch im Hintergrund) und einen eigenen Systembenutzer ein. Danach lauscht die API auf Port 11434, standardmäßig nur auf 127.0.0.1 – also nur für das Gerät selbst erreichbar. Ollama läuft nativ auch auf macOS (ab Version 12) und Windows. Eine native grafische App gibt es für Linux nicht – nur die Kommandozeile oder Community-Oberflächen wie Alpaca, Ollie oder OllaMan.
Per Docker – der übliche Homelab-Weg
Es gibt ein offizielles Docker-Image namens ollama/ollama. Im Homelab kombiniert man es meist per docker compose mit Open WebUI, einer ChatGPT-artigen Weboberfläche. Ollama bleibt auf Port 11434, Open WebUI wird üblicherweise über Port 3000 oder 8080 erreichbar. Open WebUI ist ein eigenständiges Projekt und bringt unter anderem RAG (das Modell zieht Antworten aus deinen eigenen Dokumenten), eine Websuche über SearXNG und eine Nutzerverwaltung mit Rollen (RBAC, rollenbasierte Zugriffsrechte) mit. Aktualisiert wird der Stapel mit docker compose pull && docker compose up -d, ohne dass die gespeicherten Daten verloren gehen.
Auf dem NAS
Für Unraid gibt es Ollama als fertiges Template in den Community Apps. Auf Synology-NAS existiert kein Paket im Paketzentrum; dort installiert man Ollama über den Container Manager, Docker oder Portainer. ARM-Modelle bleiben wie erwähnt außen vor.
Das erste Modell laden
Modelle liegen im GGUF-Format (ein Dateiformat, das Modellgewichte plus Metadaten bündelt) und werden mit ollama pull oder direkt beim Start mit ollama run aus der Registry unter ollama.com/library geholt.
Für die CPU entscheidend ist die Quantisierung – das Speichern der Modellgewichte mit weniger Bits, was Modell und Speicherbedarf schrumpfen lässt. Als Sweetspot aus Größe und Qualität gilt Q4_K_M; laut den Quellen behalten die Stufen Q4_K_M und Q5_K_M rund 95–98 % der Qualität der unkomprimierten FP16-Variante. Der verbreitete Glaube, man brauche Q8 oder FP16 für brauchbare Ergebnisse, trifft für den Hausgebrauch also nicht zu.
Gute CPU-Kandidaten laut Recherche:
- Qwen3 (Alibaba, 2025) in 1.7B/4B/8B – mehrere Quellen nennen es den besten Allrounder für normale Hardware; die 1.7B-Variante schafft grob 25–40 Token/s auf der CPU.
- Gemma 3 (Google, März 2025) – die Varianten 1B bis 4B sind gute CPU-Kandidaten; 1B ist reiner Text mit 32k Kontext, die größeren können auch Bilder verarbeiten.
- Llama 3.2 (Meta, September 2024) in 1B/3B – der Klassiker für schwache Hardware.
- Phi-4-mini (Microsoft, Februar 2025) – 3B-Klasse, stark bei Logik und Code.
- gpt-oss:20b (OpenAI, August 2025) – ein 21B-Modell mit „Mixture of Experts“-Aufbau, nativ auf rund 4,25 Bit pro Gewicht quantisiert, ca. 12–13 GB auf der Platte, läuft ab 16 GB RAM, Apache-2.0-Lizenz.
Zwei Stolperfallen: ollama run deepseek-r1 lädt nicht das „echte“ 671B-DeepSeek-R1, sondern ein kleines, aus Qwen destilliertes ~8B-Modell – das große R1 läuft nur auf Servern. Und die bild-fähigen Llama-3.2-Modelle dürfen laut Meta-Lizenz von Firmen oder Personen mit Sitz in der EU nicht genutzt werden – für deutschsprachige Leser also heikel.
Auch der Reiz von „Mixture of Experts“-Modellen wie Llama 4 oder gpt-oss:120b relativiert sich auf der CPU: Zwar sind pro Anfrage nur wenige Parameter aktiv, aber sämtliche Gewichte müssen trotzdem in den Speicher. Für einen CPU-Homeserver sind die ganz großen davon nicht gedacht.
Der Punkt, den viele übersehen: Sicherheit
Ollama hat bewusst keine Authentifizierung eingebaut – es war als Werkzeug für den lokalen Rechner gedacht. Solange der Dienst nur an 127.0.0.1 hängt, ist das kein Problem. Setzt man aber OLLAMA_HOST=0.0.0.0 (damit andere Geräte zugreifen können) und öffnet zusätzlich die Firewall, steht die API ungeschützt offen – jeder im Netz kann Modelle laden, löschen und abfragen. Anfang 2026 wurden rund 175.000 öffentlich erreichbare Ollama-Server gezählt, fast alle schlicht falsch konfiguriert nach Tutorial-Anleitungen.
Dazu kommen mehrere Sicherheitslücken aus 2025/2026, darunter CVE-2026-7482 (ein Speicherzugriffsfehler mit hoher Bewertung) sowie Lücken bei der Modellverwaltung ohne Rechteprüfung. Praktische Konsequenz: Ollama im Heimnetz halten, Port 11434 nicht ins Internet weiterleiten und Zugriffe über Open WebUI mit seinen Nutzerkonten leiten statt direkt auf die offene API. Und aktuell halten – Updates schließen genau solche Lücken.
Ein paar Stellschrauben für mehr Tempo
Das Kontextfenster – wie viel Text (Frage plus bisheriger Verlauf) das Modell auf einmal berücksichtigt – lag früher bei 2048 Token, die FAQ nennt 4096; neuere Versionen wählen es nach verfügbarem Speicher (4k unter 24 GiB, 32k bei 24–48 GiB, mehr darüber). Ändern lässt es sich über die Umgebungsvariable OLLAMA_CONTEXT_LENGTH oder den Parameter num_ctx. Ein kleineres Fenster spart Speicher und Rechenzeit.
Der sogenannte KV-Cache (Zwischenspeicher für den bereits verarbeiteten Text) lässt sich ebenfalls quantisieren: q8_0 halbiert seinen Speicherbedarf bei nur minimalem Qualitätsverlust, q4_0 viertelt ihn. Voraussetzung ist aktiviertes Flash Attention – ein Rechenverfahren, das bei langem Kontext Speicher spart – sowie eine unterstützte Modellarchitektur; sonst fällt Ollama still auf das speicherhungrige f16 zurück. Seit Oktober 2025 schaltet sich Flash Attention automatisch ein, wo Hard- und Software es hergeben.
Auf der Hardware-Seite bringen Prozessoren mit AVX-512 (AMD Ryzen der Zen-4-Reihe, Intel ab der 12. Generation) laut Recherche etwa 10–20 % mehr Tempo. Wer noch feiner justieren will, kann llama.cpp direkt verwenden.
Wenn die CPU wirklich nicht reicht
Seit August 2025 gibt es „Ollama Turbo“ als kostenpflichtige Vorschau (laut Anbieter 20 US-Dollar im Monat), seit September 2025 zusätzlich „Ollama Cloud“: Sehr große Modelle wie gpt-oss:120b lassen sich mit dem Zusatz :cloud über dieselbe Kommandozeile und API nutzen, ohne lokale GPU. Diese Modelle laufen aber nicht auf deinem Server, sondern auf Ollamas Rechnern, und brauchen ein Ollama-Konto; laut Anbieter werden keine Daten gespeichert. Die lokale Nutzung bleibt kostenlos und ohne Konto. Insgesamt bewegt sich Ollama sichtbar in Richtung kommerzieller Cloud-Angebote – für den reinen Heimbetrieb ändert das vorerst nichts.
Fazit
Ollama ohne Grafikkarte ist kein Notbehelf, sondern für kleine bis mittlere Modelle ein solider Einstieg. Mit 16 GB RAM, einer SSD und einem halbwegs aktuellen Intel- oder AMD-Prozessor bekommst du Modelle der 3B- bis 8B-Klasse lokal zum Laufen – datensparsam und ohne laufende Kosten. Zwei Dinge nicht vergessen: realistische Erwartungen an das Tempo und den Dienst sauber im Heimnetz einsperren.