Schreiben am Smartphone:
Fuchteln statt tippen

Informatiker des Karlsruher Instituts für Technologie (KIT) haben ein System entwickelt, mit dem Smartphone-Nutzer nicht mehr auf kleine virtuelle Tasten tippen müssen, sondern mit dem Finger in die Luft schreiben können. An einem Handschuh befestigte Sensoren zeichnen dabei die Handbewegungen auf, ein Computersystem erfasst die wesentlichen Signale und übersetzt sie in Texte. Für diese Erforschung mobiler gestenbasierter Schnittstellen erhalten der Diplom-Informatiker Christoph Amma und Professorin Tanja Schultz nun den mit 81.000 Dollar dotierten "Google Faculty Research Award".

Das System bietet eine neue Schnittstelle für Wearable Computing-Anwendungen, also für Computersysteme, die sich wie Kleidung am Körper tragen und so nahtlos in den Alltag des Nutzers integrieren lassen. "Informationstechnologie nutzen wir jederzeit und überall, derzeitige Eingabe-geräte wie Smartphones erfordern bislang noch das manuelle Tippen auf virtuellen Mini-Tastaturen und konzentrierte Aufmerksamkeit auf kleine Bildschirme. Dagegen ermöglichen Gesten neue, innovative Eingabeformen - insbesondere für mobile oder in die Kleidung integrierte Geräte. Die Interaktion fügt sich somit nahtlos in alltägliche Handlungen ein", sagte Amma.

Der Airwriting-Handschuh erlaubt es dabei, in die Luft zu schreiben wie auf eine unsichtbare Tafel. Möglich machen das Beschleunigungs- und Gyroskope, die an einem dünnen Handschuh befestigt sind. Für diese Sensoren sprechen laut Amma vor allem die geringe Größe sowie ihre Mobilität und Robustheit - im Gegensatz zu Systemen, die mit Kameras arbeiten.

Die Sensoren erfassen die Bewegungen der Hand und übertragen sie über eine drahtlose Verbindung an ein Computersystem. Dieses prüft zunächst, ob der Nutzer überhaupt schreibt. "Alle nicht schriftähnlichen Bewegungen, wenn ich also beispielsweise koche, Wäsche wasche oder jemandem zuwinke, ignoriert es. Das System kann auf diese Weise ständig im Hintergrund laufen, ohne jede Bewegung als Eingabe für den Computer zu interpretieren", führte Amma aus.

Einen möglichen Einsatzbereich für sein System sieht der Informatiker in zukünftigen Mixed-Reality-Anwendungen: Etwa in Brillen mit integrierten Miniaturbildschirmen, über die Nachrichten in das Sichtfeld des Nutzers eingeblendet werden. "Kombiniert man ein solches System mit der Möglichkeit, Kommandos und Texte durch Gesten einzugeben, ist es überhaupt nicht mehr notwendig, ein Gerät in der Hand zu halten", erklärte der Informatiker.

Schreibt der Nutzer dann, entschlüsselt das System die Schrift über Verfahren der Mustererkennung. Bisherige Forschungsansätze konzentrierten sich vor allem auf das Erkennen einzelner, bestimmten Kommandos zugeordneter Gesten. Hier geht man aber darüber hinaus: Für jeden Buchstaben des Alphabets ist in seinem System ein statistisches Modell des charakteristischen Signalverlaufs hinterlegt, das auch individuelle Unterschiede in der Schrift berücksichtigt. Allerdings gibt es noch einiges am Feintuning zu tun, bevor das System reif für den Praxiseinsatz ist.