- Whisper ist die quelloffene Spracherkennung von OpenAI (MIT-Lizenz). Sie läuft komplett offline auf eigener Hardware – ohne Anmeldung, ohne Mengenlimit, ohne dass Audio das Haus verlässt.
- Für Deutsch ist Whisper gut brauchbar: Deutsch gehört zu den gut abgedeckten Sprachen, bei sauber gesprochenem Text liegt die Wortfehlerrate unter 10 %.
- Eine teure Grafikkarte ist kein Muss. Die kleinen Modelle laufen in Echtzeit auf einem Raspberry Pi 5, das schnelle large-v3-turbo passt auf Karten mit 6–8 GB Speicher.
- Das Original ist die langsamste Variante. faster-whisper und whisper.cpp erledigen dieselbe Arbeit deutlich schneller; large-v3-turbo hat medium als Standard-Empfehlung abgelöst.
Whisper im Homelab: Was es ist – und warum lokal
Whisper wandelt gesprochene Sprache in Text um – im Fachjargon STT (Speech-to-Text, also Spracherkennung). OpenAI hat es am 21. September 2022 veröffentlicht, samt Programmcode und trainierten Modelldateien unter der MIT-Lizenz. Das heißt: Du darfst es kostenlos herunterladen, auf deinem eigenen Server betreiben und brauchst weder einen Account noch eine Internetverbindung.
Es gibt Whisper auch als Cloud-Dienst (die OpenAI-Audio-API, rund 0,006 US-Dollar je Audiominute). Der Betrieb von Whisper im Homelab hat aber zwei handfeste Vorteile: Aufnahmen – Diktate, Interviews, Sprachbefehle – bleiben auf der eigenen Maschine, und es fallen weder ein Minutenlimit noch laufende Kosten an. Whisper deckt rund 99 Sprachen ab, etwa zehn davon in sehr guter Qualität. Deutsch zählt dazu.
Die Modellgrößen
Whisper kommt in mehreren Größen. Je größer das Modell, desto genauer – und desto mehr Arbeitsspeicher und Rechenzeit braucht es.
| Modell | Parameter | Hinweis |
|---|---|---|
| tiny | 39 Mio. | läuft auf schwacher Hardware, wenig genau |
| base | 74 Mio. | etwa Echtzeit auf Raspberry Pi 5 (4 Threads) |
| small | 244 Mio. | |
| medium | 769 Mio. | lange Zeit der „Sweet Spot“ |
| large-v3 | 1,55 Mrd. | höchste Genauigkeit, langsam |
| large-v3-turbo | 809 Mio. | neuer Schnell-Standard |
Das große Modell hat eine Historie: large-v2 kam im Dezember 2022, large-v3 im November 2023, large-v3-turbo am 1. Oktober 2024. turbo nutzt nur 4 statt 32 Decoder-Schichten (den Teil des Modells, der aus dem Gehörten Text formt). Laut OpenAI arbeitet es dadurch rund achtmal schneller als large-v3, braucht etwa 6 statt 10 GB Grafikspeicher und lädt rund 1,6 GB herunter.
Zwei Einschränkungen: turbo kann nur transkribieren, nicht übersetzen – die Übersetzungsdaten wurden beim Training weggelassen. Und large-v3 ist nicht in jedem Fall besser als large-v2; bei manchem Audio erfindet v3 mehr Text. turbo liegt bei der Genauigkeit näher an v2.
Welche Hardware brauchst du?
Ohne Grafikkarte: Die Modelle tiny und base laufen auf einem Raspberry Pi 5 in Echtzeit (base etwa in Echtzeit mit vier Rechenkernen). Die passenden Modelldateien im GGML-Format sind klein – tiny rund 75 MB, base rund 142 MB – und beide bleiben unter 1 GB Arbeitsspeicher.
Mit Grafikkarte: large-v3 belegt bei FP16 (einer platzsparenden Zahlendarstellung) nur etwa 3 bis 3,5 GB Grafikspeicher, mit stärkerer Quantisierung (weiteres Verkleinern der Modellzahlen) rund 1,6 GB (FP8) oder 0,8 GB (INT4). Erst wenn Zusatzfunktionen dazukommen – VAD (Voice Activity Detection, erkennt, wo überhaupt gesprochen wird), Stapelverarbeitung und Sprecher-Trennung – steigt der Bedarf auf 8 bis 10 GB. Im Homelab sind dafür gebrauchte NVIDIA-Karten wie die RTX 3060 mit 12 GB oder die RTX 3090 mit 24 GB üblich.
Was nicht hilft: ein Coral-USB-TPU (ein kleiner KI-Beschleuniger zum Anstecken) – dafür gibt es keine Unterstützung. Beschleunigung über eine NPU (einen dedizierten KI-Chip) geht nur über Apples Neural Engine (per Core ML) oder Intels OpenVINO.
Die wichtigsten Varianten
„Whisper“ ist nicht ein Programm, sondern ein Modell, das mehrere Projekte nutzbar machen. Die Wahl entscheidet über Tempo und Funktionsumfang.
| Variante | Wofür |
|---|---|
| openai/whisper (Python) | Referenz, am einfachsten einzurichten, am langsamsten |
| whisper.cpp | in C/C++ geschrieben, kaum Abhängigkeiten; CPU, Metal, CUDA, Vulkan, Core ML – ideal für NAS, Raspberry Pi, Mac |
| faster-whisper | bis ~4x schneller als das Original bei gleicher Genauigkeit, geringerer Speicherbedarf; Basis der meisten fertigen Server |
| WhisperX | ergänzt wortgenaue Zeitstempel und Sprecher-Trennung – für Untertitel und Interview-Mitschriften |
| Distil-Whisper | halbe Parameterzahl, noch schneller bei langen Aufnahmen; primär Englisch, es gibt aber deutsche Community-Modelle |
Ein paar Details: whisper.cpp liegt inzwischen in der Projektgruppe ggml-org; sein Core-ML-Encoder läuft auf Apples Neural Engine rund dreimal schneller als nur auf der CPU. faster-whisper (von SYSTRAN, Version 1.2.1 vom 31. Oktober 2025) setzt auf die Bibliothek CTranslate2 und beherrscht INT8-Quantisierung. WhisperX hat mit Version 3.8.6 (25. Mai 2025) das Modell für die Sprecher-Trennung gewechselt – ältere Anleitungen, die auf pyannote/speaker-diarization-3.1 verweisen, liefern jetzt leere Sprecher-Labels. Bei Distil-Whisper ist distil-large-v3.5 (2025) etwa 1,5-mal schneller als turbo bei langen Aufnahmen; für Deutsch gibt es zum Beispiel primeline distil-whisper-large-v3-german (756 Mio. Parameter).
Fertige Lösungen für den Alltag
- whisper-asr-webservice – eine REST-Schnittstelle (Programme sprechen sich per Web-Aufruf ab), gibt Untertitel als SRT/VTT/JSON aus, Engine wählbar, Docker-Image für CPU und GPU.
- Speaches (früher faster-whisper-server) – OpenAI-kompatibler Server, kann zusätzlich Text-zu-Sprache und Streaming, läuft im Docker-Container.
- Subgen – erzeugt automatisch Untertitel für Plex, Jellyfin und Co., als Docker-Container (Backend faster-whisper).
- Bazarr – Untertitel-Verwalter mit eingebautem Whisper-Anschluss, ruft dafür üblicherweise whisper-asr-webservice auf.
- Nextcloud – die App „Local Whisper Speech-To-Text“ (stt_whisper2) bringt Spracherkennung in Nextcloud Assistant und Talk, GPU optional.
- Home Assistant – lokale Sprachsteuerung über das Wyoming-Protokoll: das Add-on „Whisper“ (technisch wyoming-faster-whisper) übernimmt die Spracherkennung, Piper die Sprachausgabe. Standardmäßig läuft es auf der CPU; für die GPU gibt es Community-Images. Ob das offizielle Add-on large-v3-turbo zur Auswahl anbietet, ist unklar – Community-Images tun es.
Für Sprachsteuerung im Raum braucht es Mikrofonhardware. Offiziell gibt es seit Dezember 2024 die Home Assistant Voice Preview Edition (rund 59 US-Dollar bzw. Euro). Als Selbstbau-Satelliten haben sich der ReSpeaker Lite (ESP32-S3 mit XMOS-Mikrofonarray, mit Rausch- und Echounterdrückung) und die günstigere ESP32-S3-BOX-3 etabliert.
APBVIHL ReSpeaker XVF3800 4-Mikrofon Array mit Gehäuse
Ein Mikrofon-Array im fertigen Gehäuse nimmt Sprache im Raum auf – passend, wenn Whisper nicht fertige Audiodateien, sondern gesprochene Kommandos verarbeiten soll.
106,00 € (Stand 09.09.2026)
Auf dem Mac erledigt MacWhisper die Datei-Transkription per Fenster-Oberfläche (Pro-Version rund 64 Euro einmalig, die Preisangaben schwanken je nach Quelle); seit Version 13 auch mit NVIDIA Parakeet als Engine. Für Windows und Linux gibt es mit Purfview whisper-standalone („Faster-Whisper-XXL“) fertige Programmdateien ganz ohne Python-Installation.
Stolperfallen
- Halluzinationen: Bei Stille oder Rauschen erfindet Whisper mitunter ganze Sätze. Gegenmittel ist eine VAD-Vorfilterung, die stille Passagen aussortiert. 2024 gab es Presseberichte (AP) über solche erfundenen Passagen in medizinischen Mitschriften.
- Kein echtes Streaming: Whisper arbeitet intern in 30-Sekunden-Blöcken. Live-Mitschrift braucht Zusatzlogik (etwa whisper.cpp stream oder WhisperLive).
- Keine Sprecher-Trennung ab Werk: „Wer hat was gesagt“ liefert erst WhisperX beziehungsweise pyannote nach.
Alternativen zu Whisper
Whisper ist nicht mehr konkurrenzlos. Das Original-Repo wird zwar weiter gepflegt (letzte Veröffentlichung Juni 2025), ein neues Basismodell gab es seit turbo im Oktober 2024 aber nicht.
- OpenAI gpt-4o-transcribe / gpt-4o-mini-transcribe (März 2025) – laut OpenAI niedrigere Fehlerrate als Whisper, aber reine API-Modelle ohne offene Gewichte (rund 0,006 bzw. 0,003 US-Dollar je Minute).
- Mistral Voxtral (seit 15. Juli 2025, Apache-2.0-Lizenz) – offenes Modell in zwei Größen (Small 24 Mrd., Mini 4,7 Mrd. Parameter) mit ausdrücklichem Deutsch-Support, kann zusätzlich Rückfragen zum Audio beantworten.
- NVIDIA Parakeet – steht 2025 an der Spitze des Open ASR Leaderboards (ein laufender Vergleich von über 60 Modellen). Die Variante Parakeet TDT 0.6B v3 beherrscht 25 europäische Sprachen inklusive Deutsch – früher galt Parakeet als reines Englisch-Modell. Es braucht eine NVIDIA-GPU, erfindet bei Stille aber prinzipbedingt nichts. In einer Leaderboard-Momentaufnahme lag Parakeet bei rund 6,3 % Wortfehlerrate, large-v3 bei rund 7,4 % – solche Zahlen ändern sich laufend.
Womit anfangen?
- Nur ausprobieren / schwache Hardware: whisper.cpp mit dem base-Modell.
- NAS ohne Grafikkarte, Dateien transkribieren: whisper-asr-webservice oder Speaches mit faster-whisper und large-v3-turbo.
- Untertitel für die Mediensammlung: Subgen oder Bazarr plus whisper-asr-webservice.
- Interview-Mitschriften mit Sprechernamen: WhisperX – unbedingt eine aktuelle Anleitung nutzen, sonst bleiben die Sprecher-Labels leer.
- Sprachsteuerung: Home Assistant mit dem Wyoming-Add-on und passender Mikrofonhardware.