Apple Vision Pro: So funktioniert die Bedienung ohne Controller

In der gestrigen Vorstellung des VR-Systems Apple Vision Pro hat es sich bereits angedeutet: Der eigentliche große Fortschritt ist nicht so sehr die Technik des Headsets, sondern Apples Umsetzung der Benutzerschnittstellen. Bei Apple hat man die Vision Pro als "neue Art des Computers" definiert, der entsprechend eine eigene Bedienung benötigt. Waren es beim klassischen Rechner noch Tastatur und Maus, brachte man beim iPhone dann Multi Touch voran. Und auch bei der Datenbrille geht man einen eigenen Weg und verzichtet komplett auf Controller und die meisten anderen Bedienelemente.

Die einzige nennenswerte physische Eingabe-Komponente ist die Digital Crown, die man im Grunde der Apple Watch entliehen hat. Ein kurzer Druck auf das Drehrad bringt den Nutzer jeweils zurück zum Homescreen. Drehungen sorgen für eine Feinabstimmung, wie weit sich die digitalen Inhalte und die Realität außerhalb der Datenbrille überlagern. Digital Crown

Sprechen und zeigen

Die gesamte weitergehende Bedienung erfolgt über eine Kombination von Sprache und Gesten. Die Spracheingabe ist hier letztlich auch nichts Neues, sondern stellt lediglich eine Integration des altbekannten Assistenten Siri dar. Über diesen lassen sich unter anderem Texteingaben tätigen, Apps öffnen oder Kontakte aufrufen.

Eine echte Neuentwicklung ist hingegen die Gestensteuerung. Diese beruht nun nicht mehr darauf, dass die Finger des Nutzers in Kontakt mit einer berührungsempfindlichen Oberfläche stehen. Stattdessen werden Gesten wahrgenommen, die der Nutzer mit der Hand im freien Raum durchführt. Hierbei ist es nicht einmal notwendig, auffällig mit Armen oder Händen zu wedeln - es genügen teils kleine Bewegungen der Finger, um passende Aktionen auszulösen.
Sensoren schauen nach außen ... ... und auf die Augen

Fokussieren mit dem Auge

Damit dies gelingt, muss das System in der Datenbrille die Umgebung sehr genau wahrnehmen. Dafür sorgt eine ganze Phalanx von einem Dutzend Kameras und fünf anderen Sensoren, darunter ein LiDAR-System, die in der Vision Pro verbaut sind. Infrarotkameras richten sich außerdem nach innen und verfolgen die Bewegung der Augen, um feststellen zu können, auf welchen Bildschirm-Bereich diese sich gerade fokussieren.
Diesen Blick-Fokus nutzt die Benutzeroberfläche des VisionOS-Betriebssystems in der Datenbrille, um etwa ein anvisiertes Icon oder ein anderes Bedienelement dreidimensional aus der Oberfläche heraustreten zu lassen. Dieses lässt sich dann mit einer Finger-Geste öffnen, verschieben oder auf verschiedene andere Arten nutzen.


Weitere Neuheiten der Apple WWDC 2023: