Was ist Handtracking?
In den letzten Jahren hat sich Hand-Tracking zu einer integralen Funktion von Virtual-Reality (VR)-Geräten entwickelt. Es ermöglicht Benutzern, ihre Hände als Eingabemethode zu verwenden, anstatt die herkömmlichen VR Controller zu verwenden. Diese Funktion eröffnet Entwicklern eine Vielzahl von Möglichkeiten und Herausforderungen, insbesondere im Hinblick auf die Benutzerfreundlichkeit. In diesem Artikel werden wir uns genauer mit dem Konzept des Hand-Trackings befassen und die unterstützenden VR-Brillen sowie deren Vor- und Nachteile untersuchen.
Für Unternehmen: Handtracking macht Anwendungen ohne Controller möglich. Beispiele finden Sie unter Handtracking in VR-Anwendungen.
Wie funktioniert Hand-Tracking
Hand-Tracking ermöglicht es Benutzern von VR-Geräten, Aufgaben und Aktionen in der virtuellen Umgebung durch einfache Handgesten auszuführen, wie z.B. das Zusammendrücken, Ziehen, Drücken oder Ziehen. Die präzise Verfolgung der Hände in der virtuellen Welt ist entscheidend für ein realistisches VR-Erlebnis. Ein vollständig artikuliertes Tracking-System und Hardware sind erforderlich, um die Position der Hände des Benutzers im virtuellen Raum in Bezug auf die reale Welt zu bestimmen und die Bewegungen der Finger und Gelenke so schnell und genau wie möglich zu erfassen. Dies ermöglicht natürliche Interaktionen und ein immersiveres Erlebnis.
Stand: Oktober 2026. Hand-Tracking ist auf Meta Quest 3/3S und unterstützten PICO-4-Modellen verfügbar. PICO nennt in seiner Entwicklerdokumentation auch die PICO-4-Ultra-Serie. Die HoloLens 2 wird nicht mehr hergestellt und ist als Legacy-Plattform einzuordnen. Hand-Tracking ist für kurze, direkte Interaktionen praktisch; Controller bleiben bei schnellen Eingaben und längerer Nutzung oft die verlässlichere Wahl. Meta-Gerätevergleich · PICO-Entwicklerdokumentation · Microsoft-Hinweise zur HoloLens 2
VR-Brillen mit Hand-Tracking-Funktionen
Magic Leap 2
Magic Leap 2 verfügt über ein beeindruckendes diagonales Sichtfeld von 70°, eine dynamische Dimmfunktion und eine herausragende Leistung von 16 GB RAM
HoloLens 2 (Legacy-Plattform)
Die HoloLens 2 war Microsofts zweite Generation einer Mixed-Reality-Brille. Microsoft stellte die Produktion im Dezember 2024 ein; sie ist vor allem für bestehende Installationen relevant, aber keine aktuelle Neuanschaffung. Das Gerät wurde 2019 eingeführt und bietet mehr Rechenleistung, bessere Sensoren, eine längere Akkulaufzeit und ein größeres Sichtfeld im Vergleich zum Vorgängermodell. Die HoloLens 2 verfügt über eine Eye-Tracking-Funktion, die es ermöglicht, die Augenbewegungen des Benutzers zu verfolgen. Anstelle von dedizierten Controllern wird die HoloLens 2 durch Gestensteuerung und Sprachbefehle bedient. Neue und intuitivere Handgesten ermöglichen eine einfache Bedienung von Inhalten.
Meta Quest 2
Die Meta Quest 2 ist eine sehr beliebte eigenständige VR-Brille. Die Meta Quest 2 unterstützt auch Controller-freies Hand-Tracking. Mithilfe von maschinellem Lernen erkennt die Brille die Position der Finger und ermöglicht so die Steuerung von Objekten und Aktionen in der virtuellen Umgebung.
Pico 4
Die Pico 4 verfügt ähnlich wie die Meta Quest über die optionale Handtracking-Steuerung neben der Steuerung durch VR Controller.
Ultraleap
Leap Motion ist ein kleines Gerät, das über USB an einen Computer angeschlossen oder vorne an VR Headsets montiert werden kann und es Benutzern ermöglicht, digitale Objekte mit Handgesten und Bewegungen zu manipulieren. Mit Ultraleap und der mitgelieferten SDK kann man VR Brillen ohne eingebautes Handtracking auf Handtracking aufrüsten.
Varjo XR-3 Mixed-Reality-Headset
Das Premium Headset von Varjo XR-3 hat Ultraleap bereits eingebaut um bestes Haqndtracking zu ermöglichen.
Meta Quest 3
Die Quest 3 verfügt über ein verbessertes Handtracking-System. Das System verwendet Tiefensensoren, um die Position und Bewegung der Hände in 3D zu verfolgen. Das Handtracking bei der Quest 3 ist genauer und zuverlässiger als das der Vorgängermodelle. Es kann nun auch komplexere Handgesten erkennen, z. B. das Greifen und Loslassen von Objekten.
Interaktion mit Hand-Tracking
Es gibt drei Möglichkeiten, wie Benutzer mit der virtuellen Umgebung interagieren können: direkte Manipulation, Handstrahlen und Gestenerkennung.
Direkte Manipulation: Benutzer können mit ihren Händen auf Objekte in der VR-Umgebung zugreifen und mit ihnen interagieren. Diese Methode ermöglicht eine intuitive Steuerung, bei der Objekte realitätsgetreu reagieren. Benutzer können Objekte aufheben, Knöpfe drücken und Benutzeroberflächenkomponenten aktivieren, als ob sie mit einem Touchscreen interagieren würden.
Handstrahlen (lasern): Diese Methode ermöglicht es Benutzern, einen Strahl aus ihrer Hand zu erzeugen, um auf entfernte Objekte zuzugreifen. Durch Gesten können Benutzer Objekte in der Ferne greifen, drehen oder drücken. Möglicherweise spüren Benutzer zu Beginn oder während der Interaktion mit dem Objekt sogar haptisches Feedback.
Gestenerkennung: Bei dieser Methode analysiert das VR-Gerät die Hand- und Fingerhaltungen des Benutzers und löst entsprechende Reaktionen aus. Ein Beispiel dafür ist ein System, das es einem Benutzer ermöglicht, einen Screenshot zu machen, indem er die Spitzen seiner Daumen zu seinem Zeigefinger bringt, um eine quadratische Form zu erstellen, die das Durchsehen des Rahmens einer Kamera imitiert.
Es ist ratsam, Gesten in das Design einzubeziehen, wenn die inhärente Bedeutung einer Geste mit dem gewünschten Ergebnis übereinstimmt.
Vorteile und Nachteile von Hand-Tracking
Vorteile
Intuitive Interaktion: Hand-Tracking ermöglicht es Benutzern, natürliche und intuitive Handgesten zur Steuerung von Objekten in der virtuellen Umgebung zu verwenden.
Erhöhte Immersion: Durch die Möglichkeit, die eigenen Hände in Echtzeit in der VR-Umgebung zu sehen, wird ein höheres Maß an Immersion erreicht.
Keine zusätzlichen Controller erforderlich: Mit Hand-Tracking entfällt die Notwendigkeit zusätzlicher Controller, was den Komfort und die Benutzerfreundlichkeit verbessert.
Nachteile
Begrenzte Funktionalität: Die Möglichkeiten der Interaktion sind beim Hand-Tracking im Vergleich zu herkömmlichen Controllern begrenzt. Komplexere Aktionen und Spiele erfordern möglicherweise weiterhin den Einsatz von Controllern.
Begrenzter Erfassungsbereich: Der Erfassungsbereich der Kameras für das Hand-Tracking ist kleiner als der Bereich, in dem die Controller erkannt werden. Benutzer müssen daher vorsichtiger sein, wie sie sich bewegen.
Häufig gestellte Fragen (FAQ)
Beim Handtracking erfassen die Kameras des Headsets Hände und Fingergelenke in Echtzeit und bilden sie in der virtuellen Szene ab. Die Hand selbst wird zum Eingabegerät – Controller sind nicht mehr nötig.
Unter anderem Meta Quest 2, Quest 3 und Quest Pro, Pico 4 Enterprise, Microsoft HoloLens 2, Magic Leap 2 und Apple Vision Pro. Ältere Headsets ohne eigene Handerkennung lassen sich mit einem Ultraleap-Modul nachrüsten.
Für Greifen, Zeigen, Drücken und einfache Gesten ist es zuverlässig genug. Bei schnellen, sehr präzisen oder kraftbezogenen Aufgaben sind Controller weiterhin überlegen – auch weil sie haptisches Feedback geben, das beim Handtracking vollständig fehlt.
Drei Muster haben sich durchgesetzt: direkte Manipulation, bei der Objekte in Reichweite angefasst werden, Handstrahlen für entfernte Objekte und Menüs, sowie Gestenerkennung wie Pinch oder Daumen hoch für Befehle.
Die Hände müssen im Sichtfeld der Kameras bleiben, sonst bricht die Erfassung ab. Schlechte Lichtverhältnisse, Handschuhe und gegenseitige Verdeckung der Finger stören die Erkennung. Dazu kommt das fehlende haptische Feedback, weshalb Nutzer schlechter einschätzen, ob sie ein Objekt wirklich gegriffen haben.
Für Anwendungen mit vielen kurzen Sitzungen und wechselnden Nutzern: Messeauftritte, Museen, Showrooms, Produktpräsentationen und kurze Einführungstrainings. Dort wiegt die sofortige Bedienbarkeit ohne Einweisung die geringere Präzision deutlich auf.
