Dieser Vortrag präsentiert ein KI-gestütztes System zur Echtzeitübersetzung der indonesischen Gebärdensprache (Bisindo) mithilfe von Motion-Grids und On-Device-Kameras. Das System kombiniert ein multimodales Visions-Sprachmodell mit einem 3-Milliarden-Parameter-Backbone, LoRA-Adaptern und Gemma-Modellen zur grammatikalischen Nachbearbeitung. Durch die Umwandlung von Videosequenzen in 3x3-Motion-Grids werden dynamische Handzeichen als Bild-zu-Text-Aufgabe verarbeitet. Das System ist für eine plattformübergreifende Bereitstellung auf Mobilgeräten, Web-Anwendungen und Cloud-Endpunkten ausgelegt.
Wichtigste Punkte & Zeitstempel
0:00 Forschungsprojekt zur Gebärdensprachübersetzung: Vorstellung der Initiative zur Echtzeitübersetzung der indonesischen Gebärdensprache (Bisindo) für gehörlose Menschen in Indonesien.
2:19 Linguistische Struktur der Bisindo: Die Grammatik verwendet eine Thema-Kommentar-Struktur, zeitliche Indikatoren am Anfang und Fragewörter am Ende, ergänzt durch mimische Ausdrücke (z. B. Augenbrauen).
5:14 Bisindo versus SIBI: Vergleich zwischen der offiziellen, akademischen, einhändigen SIBI-Gebärdensprache und der in der Community weit verbreiteten, intuitiveren Bisindo-Gebärdensprache.
8:50 Datenerfassung & Motion Grids: Nutzung von 154 Videoclips eines staatlich anerkannten Experten, umgewandelt in 3x3-Montagen (1.848 Trainingsbeispiele), um temporäre Bewegungen in statische Rasterbilder für das Visionsmodell zu überführen.
10:31 Modellarchitektur & Training: Einsatz eines 3-Milliarden-Parameter-Modells mit LoRA-Adaptern (Rang 16, Ziel: Attention und MLP, ca. 0,3 % trainierbare Parameter) auf Google Cloud Vertex AI mit Nvidia L4 GPUs, konvergiert in rund 2 Stunden.
13:08 Ingestierung durch CLIP Encoder: Verwendung eines multimodalen generativen Visions-Sprachmodells anstelle eines einfachen Klassifizifiers zur Erzielung starker Prä-trainierter Priors.
15:48 Validierungsergebnisse: Erreichung einer Genauigkeit von 99,4 % (153 von 154 gehaltenen Grids) bei internen Validierungstests mit demselben Unterzeichner.
16:54 Multi-Plattform-Export: Komprimierung des multimodalen Modells zu einer ca. 3 GB großen Datei zur Ausführung auf lokalen Laptops, Web-GPUs (via Worker), Cloud-Endpunkten und nativen Mobilgeräten.
17:51 Flutter-Integration: Verwendung einer Flutter-Codebasis mit bedingten Importen, um plattformspezifische Runtimes (LiteRT für Mobile, Web-GPU für Browser) anzusprechen.
21:19 Live-Demonstration & Syntaxkorrektur: Echtzeit-Demo der Gebärdenerkennung, bei der das multimodale Modell die Rohzeichen liefert und nachfolgende Gemma-Modelle die Grammatik in korrekte indonesische Sätze umwandeln.
Glossar
Bisindo (Bahasa Isyarat Indonesia): Die von der Gehörlosengemeinschaft in Indonesien entwickelte, auf visueller Logik basierende Gebärdensprache.
SIBI (Sistem Isyarat Bahasa Indonesia): Das offizielle, akademische, einhändige System der indonesischen Gebärdensprache, das sich eng am gesprochenen Indonesisch orientiert.
Motion Grid: Eine Rasterdarstellung (hier 3x3), die mehrere sequenzielle Einzelbilder eines Videos zu einem einzigen kombinierten Bild zusammenfasst, um zeitliche Dynamiken für Bildmodelle darstellbar zu machen.
PaliGemma: Ein offenes, multimodales Visions-Sprachmodell (Vision-Language Model), das Bild- und Text-Inputs verarbeitet (im Transkript phonetisch als „Pal Jig 2“ oder „Bali Jema“ erfasst).
LoRA (Low-Rank Adaptation): Eine Methode zum effizienten Fine-Tuning großer neuronaler Netzwerke, bei der nur eine kleine Untermenge an Parametern über Rang-Adapter trainiert wird.
MLP (Multi-Layer Perceptron): Ein klassischer Typ eines Feedforward-künstlichen neuronalen Netzwerks mit mehreren Schichten.
Vertex AI: Die verwaltete Machine-Learning-Plattform von Google Cloud zum Trainieren, Evaluieren und Bereitstellen von Modellen.
Nvidia L4: Eine für Deep-Learning-Inferenz, Grafik und Video-Workloads optimierte Rechen-GPU.
CLIP Encoder: Ein Encoder-Modell, das visuelle und textuelle Daten in einen gemeinsamen Vektorraum abbildet.
LiteRT: Ein leichtgewichtogenes Framework zur Ausführung von Modellen auf mobilen und Edge-Geräten (früher TensorFlow Lite).
Flutter: Ein von Google entwickeltes UI-Toolkit zur Erstellung plattformübergreifender nativer Anwendungen aus einer einzigen Codebasis.