Augmented und Virtual Reality erklärt: Das plant Apple, das bieten AR-Brillen

Glaubt man Gerüchten, wird Apple noch 2022 eine AR/VR-Brille vorstellen. Das Konzept ist aber erklärungsbedürftig, so soll etwa viel später eine reine AR-Brille erscheinen. Wir versuchen, die wichtigsten Fragen zu Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality (MR) zu beantworten.

Was sind Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality (MR)?

Um das Thema Augmented Reality ist es im letzten Jahr etwas ruhiger geworden. Noch vor einigen Jahren galt die Technologie zusammen mit Virtual Reality als nächster großer technischer Entwicklungssprung und zahlreiche Apps und Anwendungen wurden vorgestellt. Was viele beim Thema VR und AR noch immer irritiert, ist die große Nähe der beiden Begriffe, so sind bei der praktischen Anwendung die Grenzen manchmal fließend. Übergreifend spricht man deshalb bei diesem Thema oft von „Mixed Reality“. Bei Augmented Reality wird die Realität erweitert – man sieht bei einer Routenplanungs-App beispielsweise auf das Live-Bild der Smartphone-Kamera einen Richtungspfeil eingeblendet. Oder die Wander-App erklärt einem per Kamera, welche Berggipfel man gerade vor sich sieht. Bei Virtual Reality in reiner Form setzt man sich dagegen eine Datenbrille bzw. „Visor“ auf und taucht in eine Kunstwelt ein – wandert etwa durch die Uffizien, kämpft gegen Zombies oder lernt die Bedienung einer komplizierten Maschine.

Bei AR geht es also eher darum, mit der Umwelt zu interagieren, bei VR um die sogenannte Immersion. Es gibt aber auch Mischformen, etwa wenn eine VR-Brille die reale Umwelt einblenden kann.

Warum gibt es noch keine VR-Brille von Apple wie Facebook Horizon?

Dabei wird es wohl nicht bleiben: Öffentlich hat Apple bisher immer auf AR statt VR gesetzt, deshalb erwarteten viele eine AR-Lösung von Apple wie die Google Glasses – also ein völlig anderes Konzept als VR-Brillen wie die Facebook Oculus oder HTC Vive . Auch die hohe erforderliche Grafikleistung kann bisher ein Problem gewesen sein. Laut Gerüchten scheint Apple aber nun an Lösungen für beide Technologien arbeiten: Einer AR-Brille, die zusätzliche Informationen einblendet und eine kombinierte AR/VR-Brille, die komplette künstliche Welten erzeugen kann.

Was ist der Stand der Dinge bei der Entwicklung der Apple-Brille?

Eine AR-Brille, womöglich Apple Glass genannt, taucht immer wieder als Gerücht auf. Laut dem gut informierten Leaker Jon Prosser soll es von Apple zwei Geräte geben: Ein AR/VR-Headset und eine wie eine herkömmliche Brille nutzbare Version mit ungeschliffenen Gläsern – und angeblich für 499 Euro. Ähnliches berichtete der Analyst Ming Chi Kuo  – auch er erzählte von einem Mixed-Reality-Headset Mitte 2022 und einer AR-Brille ab 2025 – letztere also noch später. In den Jahren von 2030 bis 2040 sollen dann AR-Kontaktlinsen geplant sein. Beim Preis für das Headset tippt er allerdings auf einen Preis von knapp 1000 US-Dollar. Dank zweier OLED-Displays von Sony soll man es sowohl als VR-Headset aber auch als AR-Brille nutzen können – die Außenwelt soll dabei als Videobild übertragen werden. Erst die AR-Brille soll aber ein echtes Mobilgerät sein.

Auf einen höheren Preis tippt The Information , laut der Webseite soll die Brille rund 3000 Euro kosten und Augentracking sowie zwei 8K-Displays bieten. Wie in den von Prosser kolportierten Nachrichten soll dieses VR-Headset schon 2022 erscheinen, die AR-Brille ebenfalls bereits 2023.

Ist eine AR-Brille nicht ein Nerd-Produkt für Spinner?

Das ist die Meinung vieler Apple-Fans, auch unsere Redaktion ist da geteilter Meinung . Dass es keine Zielgruppe dafür gibt, haben viele allerdings auch über das iPhone gedacht. Vielleicht wird die Brille tatsächlich zum Flop, möglicherweise ersetzt die AR-Brille aber nicht die VR-Brille, sondern die Brille vom Optiker – so wie das iPhone das Handy ersetzt hat. Und hier ist die Zielgruppe riesig. So sind etwa allein in Ostasien 80 bis 90 Prozent der technikaffinen Schulabgänger Brillenträger und damit potenzielle Käufer.

Was kann man damit anfangen, löst es etwa ein Problem, von dem ich noch gar nicht weiß, dass ich es habe?

Es ist weniger die eine „Killerfunktion“, die AR liefern soll. Ähnlich wie die Ortungsfunktion des Handys wird AR die Grundlage für zahlreiche neue Funktionen bieten. Wie etwa Apples AR-Chip-Entwickler Mike Rockwell in einem Interview mit CNET erklärt hat , soll AR eher eine Funktion sein, die man mehrmals am Tag für alltägliche Aufgaben nutzt.

Warum gilt eine AR-Brille als so wichtig?

Viele Apps basieren aktuell noch auf dem Kamerabild eines iPhone oder iPads: Nutzer platzieren etwas in einem Raum und können es sich dann anschauen. Das Kamerabild ist aber auf Dauer eine Einschränkung. Gerade wenn etwa jemand eine Anwendung über Stunden nutzen soll – etwa eine Navigationsapp oder eine Lagerverwaltung-Lösung, ist eine Datenbrille sinnvoller. Man kann aber davon ausgehen, dass das iPhone vorerst das typische AR-Gerät bleiben wird. Schließlich gibt es hunderte Millionen an iPhones und iPads, die AR-tauglich sind. Dank Lidar, das Apple heute in iPhone 12 Pro (Max) und iPad Pro einbaut, werden AR-Anwendungen auch immer genauer, bald sollen alle neuen iPhones mit Lidar ausgestattet sein .

Bisher ist außerdem noch nicht geklärt, ob eine kommende Apple-Brille unabhängig von einem iPhone funktionieren wird. Auch die Apple Watch ist nur begrenzt eigenständig.

Welche Apps bieten bereits AR?

Eine typische Anwendung für AR ist eine Einblendung von Daten in das Kamerabild. Das beherrscht Google Maps schon seit 2019 sehr eindrucksvoll: Man ist in einer fremden Stadt unterwegs und die App blendet in das Kamerabild Weginformationen ein – um zu seinem Ziel zu gelangen, muss man nach rechts  – und die App zeigt im richtigen Moment einen Pfeil im Kamerabild. Auch Hausnummern oder sogenannte POIs können eingeblendet werden. Es gibt noch zahlreiche weitere Anwendungen.

Hier eine Übersicht interessanter Apps.

Welche sinnvollen Einsatzmöglichkeiten für AR gibt es?

Es gibt nicht nur spielerische Anwendungsmöglichkeiten, wie bei Pokemon und Navigations-Apps. Man kann AR etwa gut für Produkt-Präsentationen nutzen. Besonders erfolgreich ist AR etwa beim Verkauf von Möbeln : Eine der erfolgreichsten AR-Anwendungen ist die IKEA-App, aber auch Otto bietet eine App mit AR-Funktion. Der Mehrwert: Per Kamerabild kann man sich ansehen, wie ein bestimmter Tisch oder ein Sofa in der eigenen Wohnung aussehen würde. Auch Apple präsentiert neue Produkte mittlerweile oft als AR-Objekt. Verwendet wird AR bereits in Firmen, etwa im Facility Management .

Weniger erfolgreich waren andere AR-Einsätze: Die Immobilien-App von Immonet bot etwa 2010 das Einblenden von nahen Mietobjekten im Kamerabild an. Allerdings wurde die Funktion bald wieder eingestellt – der Aufwand war vermutlich zu hoch. Vielversprechend war auch die Anwendung von AR für Bedienungsanleitungen, etwa bei Autoreparaturen. Aber auch davon hörte man zuletzt nur noch wenig.

Welche Art von AR-Brille plant Facebook?

Auch Facebook ist im Bereich AR aktiv. Mitte März hatte Facebook ein Konzept für eine AR Brille vorgestellt , die per Armband gesteuert wird und noch im Laufe des Jahres erscheint. Gedacht ist sie als Ersatz von Computer und Smartphone.

Kann AR Maus und Tastatur als Eingabeform ablösen?

Bisher werden AR-Funktionen meist herkömmlich bedient, etwa per Touchscreen. Bei einer AR-Brille sind aber noch weit innovativere Bedienmöglichkeiten denkbar. Bei VR-Brillen kann man Bedieneingaben etwa per Bewegungs- oder Augentracking auslösen, möglich wäre ebenso die Integration von Siri für die Sprachsteuerung. Für VR-Anwendungen gibt es außerdem bereits Armbänder, die Fingerbewegungen erfassen und so Touch-Interaktionen ermöglichen . Apple hat  erst kürzlich erst ein Patent für einen VR-Handschuh erhalten.

Wie hilft Apple App-Entwicklern, die AR nutzen wollen?

Apple sieht die eigene Aufgabe bisher vor allem darin, die Entwicklung von AR auf der eigenen Plattform einfach möglich zu machen. Dazu dient eine vollständige Entwicklungsumgebung, die eine Entwicklung von AR-Lösungen vereinfachen soll. Dazu gehören Frameworks wie ARKit und RealityKit. Weitere Tools sind etwa der Reality Composer für die Umwandlung von 3D-Modellen. Das ARKit 4 ermöglicht Entwicklern erstmals auf die Tiefeninformationen des Lidar-Sensors zuzugreifen und Face-Tracking zu nutzen. Dabei bleiben die Entwickler allerdings an die iOS-Plattform gebunden, Googles konkurrierende Plattform ARCore bietet APIs für Android und iOS.

Ist die Maßband-App Apples einzige AR-Anwendung?

Hat man die vielen Ankündigungen der letzten Jahre verfolgt, ist Apples App Maßband fast etwas enttäuschend. Mit der App kann man allein per Kamerabild Objekte vermessen , etwa die Länge eines Tisches bestimmen oder die Entfernung zwischen zwei Wänden. Das virtuelle Maßband funktioniert schließlich auch ohne die Lidar-Sensoren, mit ihnen kann man aber nun wesentlich genauer die Gegenstände vor der Linse vermessen. Auch die Größen von Personen lassen sich präziser bestimmen. Apple sieht sich aber offenbar eher als Lieferant von Entwicklungsumgebungen und Hardware-Unterstützung. AR-Anwendungen zu entwickeln soll eher die Aufgabe von App-Entwicklern sein. Dass Apples Karten-App bisher nicht AR unterstützt, ist allerdings schon schade.

Was hat es mit Sensoren wie Lidar und Face-ID auf sich?

Das iPad Pro von 2020 und alle iPhones ab dem iPhone 12 bekamen Lidar-Sensoren. Lidar (oder auch LiDAR) steht für „Light Detection and Ranging“ also etwa „Lichterkennung und Raumvermessung“. Dabei kommt anders als etwa beim Radar infrarotes Laserlicht zum Einsatz. Wesentlich präziser als mit den Funkwellen des Radars kann man mit Lidar die Entfernung und die Bewegung von Objekten erfassen. Mittlerweile kommt Lidar beispielsweise bei Geschwindigkeitskontrollen zum Einsatz. Lidar sendet Licht aus, das von Objekten zurückgestreut und vom System detektiert wird. Lidar ist auch die Technik der Wahl für autonome Fahrzeuge, die ja genau vermessen müssen, welche Objekte mit welcher Relativgeschwindigkeit und Entfernung vom Fahrzeug vor ihm auf und neben der Straße sind. Aus Apples Produktbeschreibung geht hervor, das Lidar innerhalb einer Reichweite von fünf Metern in Innenräumen und im Freien Raumtiefen vermessen kann.

Und was bringt Lidar?

iOS 14 bietet Systemfunktionen, die ermöglichen, dass der Prozessor A14 aus den gewonnenen Daten ein genaues räumliches Abbild der Umgebung berechnen kann. Vor allem aber stellt Lidar die AR-Fähigkeiten des iPhone 12 Pro auf eine neue Stufe: Virtuelle Gegenstände finden sich weit präziser in reale Umgebungen eingebaut und umgekehrt: „Jede bestehende ARKit-App erhält automatisch eine sofortige AR-Platzierung, verbesserte Bewegungserfassung und Personenverdeckung. Dank des neuesten Updates von ARKit mit einer neuen Szenengeometrie-API können Entwickler die Leistungsfähigkeit des neuen LiDAR Scanners nutzen, um nie zuvor mögliche Anwendungsszenarien zu ermöglichen.“

Was hat das mit Face-ID zu tun?

Aufgabe von Face-ID ist eigentlich das sichere und schnelle Entsperren eines Apple-Gerätes. Ein in das Front-Kamerasystem integriertes Modul aus Infrarotprojektor und Infrarotkamera erstellt dazu ein 3D-Modell des Gesichtes. Diese Daten kann man für AR-Anwendungen wie Memojis verwenden – auch diese gehören schließlich in den Bereich Mixed Reality bzw. Augmented Reality. Der Sensor könnte nebenbei für Augentracking verwendet werden, was man bereits ausprobier t hat. Es gibt also jetzt bereits einen AR-Sensor auf der Frontseite und LIDAR auf der Rückseite.

Was hat das mit Fotografie zu tun?

Mit AR eigentlich nichts, die für AR verwendeten Lidar-Sensoren helfen aber auch beim Fotografieren – so wie die IR-Sensoren von Face-ID: Man denke nur an die Fotografie und die Herausforderung, Hintergrund vom Vordergrund zu trennen, per LIDAR kann man auch bei Fotos mit der Hauptkamera eine Person vom Hintergrund trennen. Die Dual- und Triple-Systeme der Kameras der letzten iPhone-Generationen machen zusammen mit der CPU schon einen guten Job, aber mit Lidar geht es noch besser. In einem iPhone dient der Lidar-Scanner außerdem für genaueren Autofokus, damit sind schärfere und schnellere Porträt-Fotos im Nachtmodus möglich. Dafür ist ein solcher Sensor aber eigentlich „Overkill“ – gedacht ist der Lidar-Sensor wohl auch für zukünftige Anwendungen.