Apple unternimmt mehr als viele andere Firmen, um sich für die Idee der Augmented Reality (AR) einzusetzen, aber es muss seinen Job noch besser erledigen und aufzeigen, warum wir diese Vision teilen sollten. Zuletzt hat Google etwas von seinem Rückstand aufgeholt und uns unter anderem gezeigt, wie man AR in Google Maps einsetzt, um eine klare Vorstellung davon zu bekommen, welchen Weg wir einschlagen müssen. Wir sehen in der erweiterten Realität auch, ob ein bestimmtes Kleidungsstück zu unserer Garderobe passt, und wir können mit Hilfe der Kameras in unseren Smartphones sogar in uns unbekannten Sprachen geschriebene Schilder lesen.
Und was treibt Apple so? Cupertinos AR-Ankündigungen konzentrieren sich in der Regel auf Neuheiten- und Bildungsanwendungen von Drittanbietern, wie z.B. eine kürzlich veröffentlichte, mit der Sie virtuelle Rundgänge durch die Freiheitsstatue unternehmen können . Das unterstützt gewissermaßen die Faulheit am Sonntag, Sofa statt (Museums-)Ausflug. Im Gegensatz zu Google hat uns Apple bisher nicht gezeigt, wie AR etwas sein kann, was uns im hektischen Alltag hilft. Das hat mich schon im letzten Jahr besorgt und mich überzeugt bisher nichts, dass die Situation sich geändert haben könnte – es gibt nur ein paar vage Gerüchte.
Apple hat aber immer noch das Potenzial, Markt- und Technologieführer in Sachen AR zu sein, und ich vermute, dass Apples Ansatz ganz anders aussehen wird als der Daten-gesteuerte von Google. Google ist in dieser Hinsicht unantastbar. Apple kann uns jedoch besser zeigen, wie AR unser Leben ohne invasives Eingreifen in unsere Daten verbessern kann. Es kann uns zeigen, wie AR nützlich sein kann: sowohl als ein Werkzeug als auch ein Spielzeug. Wenn jemand AR cool aussehen lassen kann, dann ist das Apple. Das sind die besten Ideen, um diese Vision zu verwirklichen.
TrueDepth-3D-Sensoren für die iPhone-Kamera auf der Rückseite
Wenn Apple es richtig machen will, sollte es so etwas wie den TrueDepth-Sensor mit der rückwärtigen iPhone-Kamera integrieren. Das ML-Modell, welches das ARKit von Apple auf modernen iPhones verwendet, ist einfach nicht genau genug, um die Tiefe des Raumes zu vermessen. Google versuchte 2014 mit seinem Projekt Tango etwas Ähnliches zu tun, aber wegen der fragmentierten Android-Landschaft konnte sich das in der Zeit vor Googles eigenen Pixel-Geräten nicht richtig durchsetzen. Bis 2017 prognostizierte der zuverlässige Analyst Ming-Chi Kuo jedoch, dass wir in diesem Jahr ein iPhone mit einem solchen 3D-Sensor sehen könnten. (An dieser Stelle ist es sicher anzunehmen, dass wir es wahrscheinlich erst später sehen werden – wenn überhaupt).
©Leif Johnson / IDG
Die bisher kursierenden Gerüchte über das iPhone von 2019 deuten darauf hin, dass ein solcher Sensor nicht genau wie TrueDepth funktionieren würde, aber das Endergebnis wäre ähnlich. TrueDepth beleuchtet Ihr Gesicht mit 30.000 Laserpunkten (Infrarot) und misst so die Entfernung, die neue Methode, die Zeit messen würde, die vergeht, bis das von den Objekten reflektierte Laserlicht zurückkommt. Wenn das wie vorgesehen funktioniert, wird es die Genauigkeit deutlich erhöhen, was wiederum die Beliebtheit steigern sollte. Entwickler hätten mehr Grund zum Experimentieren, da sie sich durch schlechte Lichtverhältnisse eingeschränkte Funktionalität nicht so begrenzt fühlen würden. Bei Dunkelheit wird es schwierig, zwei unterschiedlich gefärbte Objekte voneinander zu unterscheiden.
TrueDepth funktioniert so gut, dass einige Entwickler es für rudimentäre 3D-Scanner verwenden , und ich würde auf Lösungen freuen, wenn es ähnliche Technologien auf die Rückseite schaffen.
Weitere Integration von AR in FaceTime und kleinere Funktionen
Die Leute sagen oft, dass AR nicht abeheben wird, bis Apple gute AR-Brillen herstellt, aber diese Leute übersehen die Bedeutung hilfreicher kleinerer Funktionen auf unseren Handys. So viele Anwendungen scheinen für Brillen gemacht zu sein, weil die Kamera und die App, wenn gleichzeitig im Betrieb, den Akku ziemlich beanspruchen, sei es das Freiheitsstatuenmodell oder ein Spiel wie Smash Tanks .
Wir brauchen mehr Apps, die “kleiner” denken, um nützlich zu werden. Apples App “Maßband” ist ein großartiges Beispiel für eine hilfreiche AR-App, die nicht länger als ein paar Sekunden offen bleiben muss, und sie und andere Apps werden erst dann genauer und nützlicher, wenn das iPhone einen geeigneten 3D-Sensor wie den oben beschriebenen besitzt. Heute ist das alles noch neu, aber eines Tages aus dem Alltag nicht mehr weg zu denken.
Im besten Fall müssten wir nicht einmal zusätzliche Apps öffnen, um die Wunder von AR zu erleben, die Technologie wäre direkt in die Kamera integriert. (Tatsächlich macht Google dies bereits mit Google Lens auf Pixel-Handys.) Auch hier hat Apple nicht die Datenkompetenz von Google, aber es könnte sich dadurch auszeichnen, dass es uns erlaubt, AR tiefer in FaceTime-Gespräche zu integrieren. Apple deutet dies bereits an, indem er uns die Verwendung von Memoji und Animoji in FaceTime mit den vorderen TrueDepth-Sensoren erlaubt, aber interessanter ist die Art der Interaktivität zwischen Rückkamera und Apps wie Vuforia Chalk .
©Leif Johnson / IDG
In dieser App können zwei Personen in einem Gespräch die Aufnahmen der rückwärtigen Kamera des anderen sehen und dann bestimmte Objekte auf dem Bildschirm zeichnen. Die Linien jeder Person erscheinen in verschiedenen Farben, so dass es ziemlich praktisch ist, einem Verwandten zu helfen, den HDMI-Anschluss oder die richtige Box in einem Regal eines Lebensmittelgeschäfts aus Tausenden von Kilometern Entfernung zu finden, da die Kreise und Pfeile an ihrem Platz bleiben, selbst wenn sich die Kamera bewegt. Das ist im Moment noch etwas wackelig, aber das würde sich mit einem richtigen 3D-Sensor hinten ändern.
Es ist eine so scheinbar kleine Funktion, die vielleicht nicht einmal bei den meisten FaceTime-Anrufen verwendet wird, aber die Leute wären dankbar, wenn sie die Option hätten, wenn sie sie brauchen. Mit der Zeit, wie Tim Cook im Jahr 2016 sagte , könnten wir uns fragen, “wie wir jemals ohne sie gelebt haben”.
Stylische aber erschwingliche AR-Brille
Gute AR muss auf dem iPhone beginnen, aber Apple braucht über kurz oder lang ein Headset für komplexere AR-Erlebnisse. Wenn es Apple gelingt, eine solche AR-Brille herzustellen, die tragbar, stilvoll und (relativ) erschwinglich ist, könnte es sich um den ersten echten “Game-Changer” seit Jahren handeln.
Gerüchten zufolge hat Apple solche Geräte bereits in Arbeit. Das erste, wie von Cnet letztes Jahr berichtete , ist ein AR/VR-Headset mit dem Codenamen T288, das angeblich im nächsten Jahr herauskommen wird. Das scheint jedoch sehr optimistisch, auch weil dieses Gerät im Zeitalter des Weltraums eine satte Auflösung von 8K in jedem Auge und einen megastarken 5nm-Apple-Prozessor unterstützt.
Das andere spekulierte Gerät ist eine reine AR-Brille, wie der Analyst Ming-Chu Kuo im vergangenen März vorausgesagt hat . Ähnlich wie bei der originalen Apple Watch würde das iPhone den Großteil der Berechnungen übernehmen, was in diesem Fall die Internetanbindung und die Positionierung einschließt. Die Gläser selbst würden nur die Orientierung und Darstellung übernehmen. Kuo behauptet, dass Apple im nächsten Jahr mit der Herstellung dieser Geräte beginnen und sie irgendwann im Jahr 2020 liefern wird.
Ein AR/VR-Headset, das klingt cool, aber ich würde eher darauf wetten, dass die Brille das revolutionäre “One More Thing”-Gerät wird. Bevor man ein AR-Headset cool aussehen lassen kann, sollte die Öffentlichkeit das Konzept überhaupt erst begriffen und angenommen haben und Tethering könnte die Art sein, wie Apple das löst. Das würde bei Akkulaufzeit und dem Gewicht helfen, aber vor allem würde es Apple ermöglichen, solche Brillen ein wenig anders aussehen zu lassen als normale Sonnenbrillen, besonders wenn es gelingt, die Sensoren in den Gläsern oder den Bügeln zu verstecken. Das wäre eine große Verbesserung gegenüber Geräten wie dem Google Glass, das die Leute wie irre Nerds aussehen ließ.
©USPTO
Im Vergleich zu “echten” AR-Headsets könnte dieses Konzept revolutionär sein. Apples Hauptkonkurrent wäre das Microsoft Hololens 2, ein klobiges Teil für 3.500 US-Dollar, das Sie wie einen der Rebellen-Pilioten aus Star Wars aussehen lässt. Der Akku hält nur zweieinhalb Stunden. Auf dem Markt gibt es auch noch den weniger etablierten Magic Leap, der Sie wie einen riesigen Käfer aussehen lässt. Beide Geräte richten sich sowohl an Handelsunternehmen als auch an Entwickler und nicht an Verbraucher.
Dennoch fällt es schwer, den “Traum” hinter Geräten wie der HoloLens nicht zu lieben. Dessen Kameras scannen den Raum vor Ihnen und so ist das Gerät in der Lage, Gesten ohne zusätzliche Controller zu interpretieren. Es könnte gut geeignet sein, jemandem den Betrieb von technischen Anlagen beizubringen, wie es etwa Astronaut Scott Kelly mit der HoloLens auf der Internationalen Raumstation ISS vorführte. Architekten nutzen es bereits, um zu sehen, wie ihre Strukturen “in echt” aussehen.
Die Nutzen eines Apple-Geräts wäre für Endverbraucher schier grenzenlos. Sie können ein solches Gerät verwenden, um mehr Informationen beim Betrachten von Kunstwerken in Museen zu bekommen, oder Sie können es verwenden, um Blumen auf einer Wochenendwanderung zu identifizieren. Sie könnten sogar ein KI-Haustier haben. Das würde uns wieder von der Technologie begeistern (und aus Datenschutzgründen würde es wahrscheinlich nicht schaden, wenn Apple die richtige Kamera von ihr fernhalten und 3D-Sensoren den größten Teil der Bildgebung übernehmen lassen würde). Und die Zeit ist reif für Apple, seine Magie zu entfalten und diese Technologie zu verfeinern, so wie mit dem iPhone, als BlackBerry und Palm noch die Könige waren.
Ein Wort der Vorsicht: Wenn Sie dachten, dass die Leute Sie dafür hassen, dass Sie Airpods auf dem Bürgersteig tragen, warten Sie einfach, bis die Leute anfangen, Apple-Brillen zu tragen …
Spiele mit AR
Ich bin fest davon überzeugt, dass AR erst dann abheben wird, wenn Apple uns zeigt, wie wir es für alltägliche Aufgaben nutzen können, aber auch Spiele sind ein wichtiges Thema. Im Moment ist AR-Gaming jedoch ein Witz. Es ist schwer, zehn AR-Spiele zu finden, die es wirklich wert sind, gespielt zu werden. Viele Spiele haben ordentliche AR-Optionen, aber sie sind in der Regel die Art von Dingen, über die man für ein paar Sekunden lächelt, bevor man wieder auf die normale (und schnellere) Art und Weise spielt.
Apple ist in der Lage, all das zu ändern, aber das wird wahrscheinlich nicht passieren, bis Apple eine Brille wie die oben beschriebene herausgibt. Sie ist der Schlüssel, der in so vielen vielversprechenden AR-Anwendungen fehlt. Im AR Runner zum Beispiel müssen Sie das Smartphone beim Joggen halten, damit Sie den “Kurs” vor sich sehen können. Meh. In Pokémon Go müssen Sie Ihr Handy ungeschickt bewegen, wenn Sie im digitalen Gras nach Pokémon suchen wollen. Gähn. Diese Aktivitäten sind in der Regel anstrengend, besonders wenn man in einem Spiel wie AR Dragon sein Handy für mehrere Minuten hochhält.
©Leif Johnson / IDG
Die beschriebene AR-Brille könnte diese Apps so magisch erscheinen lassen, wie ihre Entwickler es sich wünschen, und Apple selbst kann helfen, diese anderen Apps zum Erfolg zu führen. Es ist bereits bewiesen, dass es bereit ist, kreative “normale” Spiele teilweise über Apple Arcade zu finanzieren, so dass es keinen Grund zu der Annahme gibt, dass es nicht dasselbe mit Augmented Reality tun würde. Wenn es diesen exklusiven Ansatz mit guter Hardware kombiniert, könnte es Jahre dauern, bis die Konkurrenz aufholt. Die Apple-Konkurrenten haben es schwer, etwas so Wunderbares wie Face ID zu produzieren.
AR für längere Akkulaufzeit optimieren
All dies führt uns zu dem, was wahrscheinlich gleichzeitig die langweiligste und wichtigste Zutat für Apples Dominanz ist: Es muss AR optimieren. So wie heute Augmented Reality vor allem auf dem iPhone läuft, ist sie in der Regel nicht der Mühe wert. Läuft langsam an, ist ungenau und eher verspielt. Es besteht kaum Grund zur Verwendung, wenn Nicht-AR-Methoden sowohl genauer als auch schneller bleiben.
Noch schlimmer: AR leert den Akku des iPhones im Nu, wie jeder bestätigen kann, der Pokémon Go spielt. Nur wenige andere Aktivitäten – wenn überhaupt – belasten ein Smartphone so stark, denn robuste AR-Anwendungen jonglieren mit der Kamera, den Bewegungssensoren, dem GPS, der CPU, der GPU und den Netzwerktools auf einmal. Spiele wie “The Machines” sehen toll aus, wenn Apple sie auf der Bühne zeigt, aber all diese Spezialeffekte lassen Sie am Ende einiger Spiele zu einer Powerbank greifen. Das ist auch nicht nur ein Problem mit dem iPhone. Wie ich bereits sagte, schafft das Microsoft Hololens 2 nur zwei Stunden Akkulaufzeit, und das Magic Leap erreicht auch nur drei.
Wenn Apple einen Großteil der Berechnungen für seine AR-Brille auf das iPhone übertragen kann, wird daraus ein Schuh, weil das bedeutet, dass das Headset nicht wie Müll aussehen wird. Aber ich bezweifle, dass es viel dazu beitragen wird, die Belastung des Akkus zu verringern. Andererseits, wenn Apple in naher Zukunft relativ kurze und kleinere iPhone-basierte Aufgaben wie die für Maßband oder “interactive FaceTime” in den Vordergrund stellt, muss es sich vielleicht nicht viel um diese Probleme kümmern, bis es bereit ist, sie anzugehen.
Die harte Realität
Aber es gibt einen starken Vorbehalt für all das: Tim Cook hat wiederholt gesagt, dass AR nicht bereit ist für den Massenmarkt: “Das Sichtfeld, die Qualität des Displays selbst, alles noch nicht da”, erklärte er im Jahr 2017 gegenüber ” The Independent ” und vieles davon gilt auch heute noch. Auch wenn es aufregend ist, über all dieses Zeug zu spekulieren, ist die Wahrheit, dass wir vielleicht eine Weile warten müssen, bis Tim Cooks Traum unsere Realität erweitert.
Ich glaube auch, dass es länger dauern wird, bis wir dort ankommen, wenn wir eine AR-basierte Zukunft als eine Art Wettstreit zwischen den Ansätzen von Apple und Google betrachten. Das beste Ergebnis wäre wahrscheinlich, dass ihre Bemühungen parallel dazu verlaufen. Apple könnte uns mit präziser und attraktiver Hardware begeistern, sei es mit der Brille oder zumindest mit beeindruckenden 3D-Sensoren auf der Rückseite des iPhone. Google könnte seine datengesteuerten Goodies über Google Maps oder Google Translate liefern, die wir auf Apples Hardware über die Google-eigene App nutzen könnten. Wir würden alle gewinnen. Aber natürlich weiß ich, dass es nicht so einfach sein wird.