Hilfe beim Lippenlesen

„Jugend forscht“-Sonderpreis für KI-Projekt von Dessauer Abiturienten

Nam Pham Dinh (20) hat ein system entwickelt, das von den Lippen liest.
Nam Pham Dinh (20) hat ein system entwickelt, das von den Lippen liest. (Foto: Yannick Pochner)

Bernsheim/Dessau/MZ - Einen Sonderpreis „Innovationen für Menschen mit Behinderungen“ erhält Nam Pham Dihn aus Dessau von der Christoffel-Blindenmission (CBM). Der 20-jährige Gymnasiast vom Philanthropinum hat ein System entwickelt, das mit Künstlicher Intelligenz von den Lippen liest. Der Preis wird im Rahmen des Landeswettbewerbs Sachsen-Anhalt der Stiftung „Jugend forscht“ vergeben. Nam Pham Dihn hat nun auch die Chance, den von der CBM ausgeschriebenen Bundespreis zu gewinnen.

Lippenlesen ist extrem schwierig. Schwerhörige oder gehörlose Menschen sind aber alltäglich darauf angewiesen, die Lippenbewegungen ihrer Mitmenschen zu interpretieren, die keine Gebärdensprache beherrschen. Nam Pham Dinh (20) hat für das Problem einen Lösungsansatz gefunden - mithilfe Künstlicher Intelligenz (KI), würdigt die CBM.

Professionelle Lippenleser erfassen tatsächlich nur einen Bruchteil der Worte

Das „Mundbild“ von Sprechenden zu deuten, ist deshalb kompliziert, weil ganz verschiedene Lautkombinationen ein fast identisches Bild abgeben. So unterschiedlich etwa die Lautbilder von „Mutter“, „Bruder“ und „Montag“ sind, so wenig unterscheidet sich ihr Mundbild. Professionelle Lippenleser erfassen tatsächlich nur einen Bruchteil der Worte.

Nam Pham Dinh hat sein System der KI mit Mundausschnitten Deutsch Sprechender aus Hunderten von Youtube-Videos trainiert. Die Lernfähigkeit der Maschine ermöglicht, von bekanntem, antrainiertem Wissen auf unbekanntes Wissen zu schließen. Die Codes, mit denen der Schüler diese Prozesse steuert, entstammen frei zugänglichen Programmbibliotheken.

CBM-Vorstand Rainer Brockhaus sagt: „Mit seiner Forschungsarbeit schafft Nam Pham Dinh eine Grundlage, die Kommunikation vieler Menschen mit Hörbehinderung im deutschsprachigen Raum zu erleichtern. Das ist eine großartige Leistung“. Jeder Beitrag zählt, der hörgeschädigten Menschen hilft, ihr Gegenüber zu verstehen, so der Geschäftsführer. „Erst recht, wenn die Nutzung leicht verfügbar und kostengünstig ist.“

Damit das KI-Modell im Alltag nutzbar wird, braucht es noch eine Benutzeroberfläche

Zurzeit steckt Dinhs System in den digitalen Kinderschuhen. Damit das KI-Modell im Alltag nutzbar wird, braucht es noch eine Benutzeroberfläche, zum Beispiel in Form einer Handy-Anwendung.

Mit der kreativen Erfindung hat der Abiturient durchaus Chancen auf den von der CBM ausgeschriebenen Bundessonderpreis. Der ist mit 300 Euro dotiert.