Smartwatches gelten als Revolution am Handgelenk. Allerdings lassen sie sich bisher nur umständlich bedienen, da die Eingabefläche zu klein ist. Forscher des Max-Planck-Instituts für Informatik an der Uni Saarland haben daher nun eine neuartige Eingabemethode entwickelt: Die Bewegungen von Daumen und Zeigefinger werden auch im Luftraum über dem Handrücken erfasst.
Sie heißen LG Watch, Samsung GEAR S3 oder Polar M600 und haben alle das gleiche Manko: „Jede neue Produkt-Generation stellt bessere Bildschirme, schnellere Prozessoren und präzisere Kameras vor, in punkto Eingabe bleibt es jedoch bei den Beschränkungen“, erklärt Srinath Sridhar, der an der Universität des Saarlandes promoviert hat und am Max-Planck-Institut für Informatik forscht. Sridhar hat daher zusammen mit Professor Christian Theobalt am Max-Planck-Institut für Informatik sowie Forschern in Dänemark und Finnland eine Eingabemethode entwickelt, die die Fingerspitzen von Daumen und Zeigefinger sowohl im dreidimensionalen Luftraum über dem Handrücken als auch ihre Position und ihren Druck auf dem Handrücken selber erfasst.
An Hardware setzt der Prototyp, den die Forscher auf den Namen „WatchSense“ getauft haben, lediglich einen Tiefensensor voraus, der eine kleinere Version des Sensors ist, wie man ihn von der Spielesteuerung „Kinect“ für die Videospielkonsole Xbox 360 kennt. Bei WatchSense sitzt der Tiefensensor am Unterarm des Anwenders, knapp 20 Zentimeter von der Uhr entfernt. Als eine Art 3D-Kamera filmt er Bewegungen von Daumen und Zeigefinger, sowohl auf dem Handrücken als auch im Luftraum darüber. Die von den Forschern entwickelte Software erkennt im 3D-Bild Position und Bewegung der Finger, so dass der Nutzer damit Anwendungen auf Smartwatch usw. steuern kann. „Die aktuell erhältlichen Tiefensensoren passen noch nicht in eine Smartwatch, aber der Trend geht dahin, dass bald kleinere Tiefensensoren integriert werden“, sagt Sridhar.
Mit Mobilgeräten gestestet
Doch damit ist es noch nicht getan. Laut Sridhar hätten die Wissenschaftler mit ihrem Softwaresystem sowohl die Herausforderung lösen müssen, mit dem unebenen Handrücken zurechtzukommen und mit dem Umstand, dass sich die Finger gegenseitig verdecken können. „Das Wichtigste ist, dass wir die Finger nicht nur erkennen, sondern auch unterscheiden können“, erklärt Sridhar, „das hat zuvor kein tragbarer Prototyp gekonnt. Wir schaffen es nun sogar in Echtzeit“. Die Software erkennt exakt die Position von Daumen und Zeigefinger im vom Tiefensensor gelieferten 3D-Bild, weil die Forscher sie mit „Maschinellem Lernen“ darauf trainiert haben. Zusätzlich haben die Forscher den Prototypen schon in Kombination mit Mobilgeräten getestet.
Für Produktivität unterwegs
„Smartphones können zwar mit einem oder mehreren Fingern auf dem Display bedient werden, sie nutzen aber nicht den Raum darüber. Kombiniert man beides, kann man bisher unmögliche Interaktionsformen erschaffen”, erläutert Sridhar. Gemeinsam mit seinen Kollegen konnte er nachweisen, dass man mit WatchSense die Lautstärke in einem Musik-Programm schneller ändern und ein neues Lied auswählen kann als mit einer herkömmlichen App. Die Forscher erprobten WatchSense ebenfalls für Tätigkeiten in der erweiterten und virtuellen Realität sowie eine Landkarten-Anwendung und steuerten damit auch einen großen, externen Bildschirm. Ihre Nutzerstudien zeigten, dass WatchSense im Vergleich zu herkömmlichen berührungsempfindlichen Displays benutzerfreundlicher ist. Sridath gibt sich zuversichtlich: „Wir brauchen WatchSense, wenn wir unterwegs produktiv sein wollen, also etwa auf dem Fußweg zur Arbeit schnell eine Nachricht versenden möchten. WatchSense ermöglicht erstmals echte ‚interaction on the move‘.“
An dem Forschungsprojekt sind neben den Saarbrücker Wissenschaftlern Anders Markussen und Sebastian Boring von der Universität Kopenhagen sowie Antti Oulasvirta von der finnischen Aalto Universität beteiligt. Im Mai 2017 präsentieren die Forscher WatchSense auf der renommierten Konferenz „Conference on Human Factors in Computing“, die in Denver stattfindet.
