Diese Präsentation zeigt ein KI-gestütztes System zur Echtzeit-Übersetzung der indonesischen Gebärdensprache (Bisindo) in Text und Sprache direkt auf Endgeräten. Der Ansatz kombiniert ein leichtes Vision-Language-Modell (PaliGemma 2 mit 3 Milliarden Parametern) für die Gestenerkennung mit dem Sprachmodell Gemma zur grammatikalischen Satzrekonstruktion. Um dynamische Hand- und Gesichtsbewegungen in statischen Bildern zu erfassen, nutzt das System 3x3-„Motion Grids“ (9 zeitlich gleichmäßig verteilte Videobilder), wodurch Bild-zu-Text-Inferenzen ohne Informationsverlust ermöglicht werden. Das Feintuning erfolgte auf Google Vertex AI über eine NVIDIA L4-GPU mittels LoRA-Adaptern (Rang 16 auf Attention- und MLP-Schichten), was nur 0,3 % der Parameter trainierbar machte und eine Trefferquote von 99,4 % (153 von 154 Testrastern) innerhalb desselben Signers erzielte. Die Deployment-Architektur nutzt ein Cross-Plattform-Framework (Flutter), das flexible Laufzeiten über LiteRT auf Mobilgeräten, WebGPU im Browser sowie Cloud-Endpoints unterstützt.
Wichtigste Punkte & Zeitstempel
0:00 Projektkontext & Initiative: Vorstellung des Forschungsprojekts „AI for Good“ zur Echtzeit-Übersetzung indonesischer Gebärdensprache durch Esther Irawati Setiawan in Zusammenarbeit mit dem Gehörlosen-Experten Zulfi Bachter und lokalen Entwickler-Communitys.
2:19 Linguistische Struktur von Bisindo: Die indonesische Gebärdensprache folgt einer Topic-Comment-Grammatik (z. B. „Reis ich gegessen bereits“) mit Zeitangaben zu Beginn und Fragewörtern sowie Mimik (z. B. Stirnrunzeln) am Satzende.
5:16 Gegenüberstellung SIBI vs. Bisindo: Das offizielle Regierungssystem SIBI nutzt einhändige Buchstabierungen mit komplexen Affixen und wird kaum genutzt, während das von der Community entwickelte Bisindo zweihändig, visuell-räumlich und praxistauglich ist.
8:50 Datenaufbereitung & Motion Grids: Transformation von 154 Videos (1.848 Trainingsbeispiele) in 3x3-Rastermontagen aus 9 Videobildern. Das horizontale Spiegeln von Bildern wurde strikt ausgeschlossen, da die Händigkeit semantisch entscheidend ist.
10:31 Modellarchitektur & LoRA-Finetuning: Einsatz von PaliGemma 2 (3B Parameter) mit LoRA-Rang 16 auf Attention- und MLP-Ebenen (~0,3 % trainierbare Parameter), was Kapazitätsengpässe früherer Rang-8-Ansätze behob.
13:49 Trainingseinstellungen & Performance: Das Modell konvergierte in ca. 2 Stunden auf einer einzelnen NVIDIA L4-GPU unter Nutzung von 12 Epochen, Cosine-Learning-Rate-Schedule mit Warmup, Mixed-Precision und einer effektiven Batch-Größe von 16.
15:48 Evaluationsergebnisse & Grenzen: Erreichung einer In-Distribution-Genauigkeit von 99.4 % (153/154 exakte Treffer). Festgestellte Limitation: Die Evaluierung misst die Unterscheidungsfähigkeit innerhalb desselben Signers, was künftige Datenerfassungen über mehrere Signer hinweg erforderlich macht.
16:54 On-Device-Deployment & Multi-Plattform: Konvertierung des Modells in eine 3 GB große Datei mit Text- und Vision-Signaturen; die Software-Architektur nutzt Flutter mit LiteRT für Mobilgeräte und WebGPU für Browser-Worker.
20:47 Satzrekonstruktion mittels Gemma: Verknüpfung der PaliGemma-2-Gesten-Erkennung mit dem Gemma-Sprachmodell zur Umwandlung von Bisindo-Syntax (z. B. „Markt Mutter Morgen“) in grammatikalisch korrekte indonesische Schriftsätze.
Glossar
Bisindo (Bahasa Isyarat Indonesia): Die inoffizielle, aber in der indonesischen Gehörlosen-Community weit verbreitete Gebärdensprache, die auf natürlicher visuell-räumlicher Logik, beiden Händen und Mimik basiert.
SIBI (Sistem Isyarat Bahasa Indonesia): Das offizielle, von der indonesischen Regierung entwickelte Gebärdensystem, das sich eng an die gesprochene Grammatik inklusive Präfixe/Suffixe hält, aber aufgrund seiner Komplexität im Alltag selten genutzt wird.
Motion Grid (Bewegungsraster): Eine Bildverarbeitungsmethode, bei der mehrere chronologische Einzelbilder eines Videos (hier 9 Bilder als 3x3-Matrix) in einem einzigen Bild kombiniert werden, um zeitliche Abläufe für Vision-Modelle darstellbar zu machen.
PaliGemma 2: Ein von Google entwickeltes, multimodales Vision-Language-Modell (VLM) mit 3 Milliarden Parametern, das visuelle Eingaben direkt in Textrepräsentationen übersetzen kann.
Gemma: Eine Familie von leichtgewichtigen Open-Source-Sprachmodellen (LLMs) von Google, die hier zur grammatikalischen Nachbereitung und Satzkonstruktion eingesetzt wird.
LoRA (Low-Rank Adaptation): Eine Parameter-effiziente Feintuning-Methode für große KI-Modelle, bei der der Großteil des Ursprungsmodells eingefroren bleibt und nur kleine Adapter-Matrizen trainiert werden.
Vertex AI: Googles verwaltete Cloud-Plattform zur Entwicklung, zum Training und zum Deployment von Machine-Learning-Modellen.
LiteRT (ehemals TensorFlow Lite): Eine optimierte Runtime-Umgebung von Google zur schnellen Ausführung von Machine-Learning-Modellen direkt auf mobilen und Edge-Geräten.
WebGPU: Eine moderne Web-Schnittstelle, die Webbrowsern den direkten Zugriff auf die Grafikkarte (GPU) des Endgeräts ermöglicht, um komplexe KI-Berechnungen lokal auszuführen.
Flutter: Ein Open-Source-UI-Software-Development-Kit von Google zur Erstellung plattformübergreifender Anwendungen für Mobile, Web und Desktop aus einer einzigen Codebasis.