2524192

ARKit 4: Wie Apple Augmented Reality vorantreibt

30.07.2020 | 13:30 Uhr | Mark Zimmermann

Das Thema Augmented Reality (AR) ist stetiger Begleiter jeder Entwicklerkonferenz von Apple. Auch wenn es ARKit 4 nicht in eine Keynote auf der WWDC 2020 geschafft hat, gibt es doch einige spannende Weiterentwicklungen.

Eines der Highlights von ARKit 4 ist die neue Depth API. Sie ermöglicht es dem Entwickler, sehr prÀzise Tiefeninformationen zu dem aktuellen Videosignal zu erhalten. In Kombination mit der seit ARKit 3.5 angebotenen Szenengeometrie- API ermöglicht ARKit 4 eine 3D-Matrix von Messwerten der unmittelbaren Umgebung. Jeder Punkt ist dabei mit einem Wert versehen, der bewertet, wie sicher ARKit diesen einsortieren kann.

Alle diese Messwerte zusammen liefern detaillierte Tiefeninformationen, die das VerstĂ€ndnis einer Szene und die Überlagerung realer Objekte durch virtuelle verbessern sollen. Entwickler können diese verwenden, um einen Raum besser zu erkennen, Körpermaße auszuwerten und vieles mehr. Voraussetzung ist dafĂŒr jedoch ein GerĂ€t mit LiDAR-Sensor wie das iPad Pro 2020 – es ist also nicht ganz unwahrscheinlich, dass auch das nĂ€chste iPhone damit ausgestattet sein wird.

Augmented Reality bei Apple: Das ist neu

Mit ARKit 4 fĂŒhrt Apple außerdem einen neuen Anchor-Typ ein. Hierbei handelt es sich um Marker-Punkte, um die virtuelle mit der realen Welt zu verbinden. Mit den ARKit Location Anchors können App-Entwickler virtuelle Inhalte in der realen Welt verankern, beispielsweise bei Points of Interest in einer Stadt. Auf diese Weise wird das Augmented-Reality-Erlebnis in die freie Natur gebracht und fĂŒr eine Vielzahl von Nutzern gleichzeitig verfĂŒgbar gemacht. Dazu werden auf Basis der Geodaten (Breiten- und LĂ€ngengrad sowie Höhe) und Daten aus Apple Maps AR-Erlebnisse erstellt, die mit einem bestimmten Standort auf der Welt verknĂŒpft sind.

Apple bezeichnet diesen Prozess, bei dem ein iPhone oder iPad in Relation zu seiner (optischen) Umgebung mit einem höheren Grad an Genauigkeit lokalisiert wird, als "visual localization". Leider ist dieses Feature (noch) nicht in Deutschland verfĂŒgbar. Bislang werden nur die von Apples KamerawĂ€gen erfassten StĂ€dte San Francisco, New York, Los Angeles, Chicago und Miami unterstĂŒtzt.

Auch das Face Tracking wurde in ARKit 4 erweitert und unterstĂŒtzt nun die Frontkamera jedes Apple-Device mit dem A12 Bionic-Chip und spĂ€ter, einschließlich des neuen iPhone SE. Um bis zu drei Gesichter gleichzeitig zu tracken, etwa fĂŒr Memojis oder Snapchat-Features, wird jedoch ein GerĂ€t mit TrueDepth-Kamera benötigt.

Auch das Erkennen von Handknochen (Vision API, 21 Datenpunkte) und mehrerer Menschen in einer Szene als Ganzes ist mit iOS 14 in Echtzeit möglich. Hier sind ein paar Feinheiten versteckt. Das Vision Framework kann nĂ€mlich – genau wie ARKit – insgesamt 19 Messpunkte an einem menschlichen Körper identifizieren. Im Gegensatz zu ARKit liefert das Vision Framework allerdings einen Genauigkeitswert (wie sicher ist sich das Framework) und lĂ€sst sich auch auf Bilder und Videos, die sich zum Beispiel in der Kamera-Bibliothek befinden, anwenden.

ARKit 4: Nicht nur fĂŒr iPad-Pro-Nutzer

Mag sein, dass ARKit 4 erst in Verbindung mit dem im neuen iPad Pro verbauen LiDAR-Sensor so richtig Performance auf die Straße bringt. Aber in wenigen Monaten werden vermutlich auch iPhones auf den Markt kommen, die mit diesem Sensor ausgestattet sind. Auch andere GerĂ€te stehen zur Diskussion, so könnte eine ominöse AR Brille ( Apple Glass ) statt einer herkömmlichen Kamera nur einen LiDAR-Sensor besitzen. Der Vorteil liegt auf der Hand: Der TrĂ€ger – sofern es diese Brille je geben wird – könnte keine Videoaufnahmen von seiner Umgebung machen. Das alles ist natĂŒrlich Zukunftsmusik, zunĂ€chst bleibt ARKit 4 eine tolle Neuigkeit fĂŒr iPads und vielleicht bald fĂŒr iPhones. (mb)

Macwelt Marktplatz

2524192