Google DeepMinds multimodales Embedding-Modell EmbeddingGemma 2 wurde erfolgreich zu einem Speech-to-Text-Modell (STT) umfunktioniert, indem ein kompakter, trainierter Reader kurze Audio-Slices in den gemeinsamen Textvektorraum abbildet. Das System gleicht Audiosegmente mit ca. 229.000 englischen Wörtern ab und erreicht Transkriptionsgeschwindigkeiten von rund 13 Sekunden für eine Stunde Audio lokal auf Apple Silicon. Obwohl die aktuelle Word Error Rate (WER) bei etwa 5 Prozent liegt, demonstriert das Experiment die effiziente Nutzung gemeinsamer multimodaler Einbettungsräume für ultraschnelle, datenschutzfreundliche Spracherkennung.
Wichtigste Punkte
Architektur & Funktionsweise: EmbeddingGemma 2 behält den originalen Audio-Encoder unverändert bei; ein zusätzlicher, kompakter Reader mappt Audio-Slices direkt in den Textraum, wo das semantisch nächstgelegene Wort aus einem Vokabular von ca. 229.000 englischen Begriffen ausgewählt wird. Ein winziges Post-Processing-Modell fügt Interpunktion und Großschreibung hinzu.
Trainingsaufwand: Ausschließlich der Reader wurde in unter zwei Stunden auf 8× H100-GPUs mit offen lizenziertem englischem Sprachmaterial trainiert. Das Basismodell war ursprünglich nicht für Spracherkennung optimiert.
Inferenz-Performance: Läuft vollständig lokal auf der Apple Neural Engine (getestet auf M3 MacBook Air) und verarbeitet eine Stunde Audio in 12,6 Sekunden, was der 288-fachen Echtzeitgeschwindigkeit entspricht.
Genauigkeit: Die Word Error Rate (WER) liegt bei ca. 5 %, verglichen mit 2–3 % bei marktführenden spezialisierten Modellen. Zukünftige Iterationen zielen auf eine Qualitätssteigerung durch erweitertes Reader-Training ab.
Datenschutz & Anwendung: Verarbeitet Audiodateien lokal und unterstützt Systemdiktat über die rechte Option-Taste, wodurch Audiodaten zu keinem Zeitpunkt das lokale Gerät verlassen.
Diskussions-Highlights
Feedback des Autors: Der Ersteller des Experiments (Shahir/Shershah1024) bestätigte die Ergebnisse in der Diskussion, kündigte eine Open-Source-Freigabe sowie Text-to-Speech-Varianten (TTS) an und erklärte, dass neue Vokabeln flexibel durch Einbettung in den Vektorraum ergänzt werden können.
Vergleich mit alternativen Modellen: Teilnehmer hoben konkurrierende, extrem schnelle Open-Source-Modelle wie IBM Granite Speech 5.0 Turbo CTC, NVIDIA Parakeet TDT 0.6B v3 und Whisper hervor. Apple-eigene On-Device-Lösungen wurden teilweise als langsamer oder fehleranfälliger beschrieben.
Technische Restriktionen: Diskutiert wurden Einschränkungen wie das feste Vokabularlimit (~229k Wörter), potenzielle Probleme bei Out-of-Vocabulary-Begriffen, die Beschränkung auf die englische Sprache sowie die Qualitätseinbußen bei komplexen Akzenten oder nicht-englischen Audioquellen.
Optimierungsmethoden: Kommentatoren empfahlen die Konvertierung von ML-Modellen zu CoreML für maximale Hardware-Auslastung auf Apple Silicon und verwiesen auf Tools wie MacWhisper, mlx-audio und yapsnap.
Glossar
EmbeddingGemma 2: Ein von Google DeepMind entwickeltes multimodales Basismodell, das Text, Bilder, Audio und Video in einem gemeinsamen Vektorraum abbildet.
Word Error Rate (WER): Ein Standardmaß zur Evaluierung von Spracherkennungssystemen, das das prozentuale Verhältnis von eingefügten, gelöschten oder vertauschten Wörtern zur Gesamtzahl der Wörter beschreibt.
Neural Engine: Apples dedizierte Hardware-Einheit (NPU) zur beschleunigten Ausführung von Workloads im Bereich des maschinellen Lernens auf Apple Silicon.
CoreML: Ein von Apple bereitgestelltes Software-Framework zur optimierten Ausführung von Modellen für maschinelles Lernen auf iOS- und macOS-Geräten.
CTC (Connectionist Temporal Classification): Eine Loss-Funktion und Decoder-Architektur, die das Training neuronaler Netze für Sequenzdaten (wie Sprache oder Handschrift) ohne explizite zeitliche Ausrichtung (Alignment) ermöglicht.
Vektorraum: Ein mathematischer Raum, in dem komplexe Daten (wie Wörter oder Audio-Slices) als hochdimensionale Vektoren repräsentiert werden, sodass semantische Ähnlichkeiten über geometrische Distanzen messbar sind.
Multimodales Modell: Ein künstliches neuronales Netz, das verschiedene Datentypen (z. B. Text, Audio, Bild) in einer gemeinsamen Architektur verarbeiten und interpretieren kann.
Out-of-Vocabulary (OOV): Fachbegriff für Wörter oder Einheiten, die außerhalb des vordefinierten Trainingsvokabulars eines Modells liegen und daher zu Erkennungsfehlern oder Fehlzuordnungen führen können.