2524192

ARKit 4: Wie Apple Augmented Reality vorantreibt

30.07.2020 | 13:30 Uhr | Mark Zimmermann

Das Thema Augmented Reality (AR) ist stetiger Begleiter jeder Entwicklerkonferenz von Apple. Auch wenn es ARKit 4 nicht in eine Keynote auf der WWDC 2020 geschafft hat, gibt es doch einige spannende Weiterentwicklungen.

Eines der Highlights von ARKit 4 ist die neue Depth API. Sie erm├Âglicht es dem Entwickler, sehr pr├Ązise Tiefeninformationen zu dem aktuellen Videosignal zu erhalten. In Kombination mit der seit ARKit 3.5 angebotenen Szenengeometrie- API erm├Âglicht ARKit 4 eine 3D-Matrix von Messwerten der unmittelbaren Umgebung. Jeder Punkt ist dabei mit einem Wert versehen, der bewertet, wie sicher ARKit diesen einsortieren kann.

Alle diese Messwerte zusammen liefern detaillierte Tiefeninformationen, die das Verst├Ąndnis einer Szene und die ├ťberlagerung realer Objekte durch virtuelle verbessern sollen. Entwickler k├Ânnen diese verwenden, um einen Raum besser zu erkennen, K├Ârperma├če auszuwerten und vieles mehr. Voraussetzung ist daf├╝r jedoch ein Ger├Ąt mit LiDAR-Sensor wie das iPad Pro 2020 ÔÇô es ist also nicht ganz unwahrscheinlich, dass auch das n├Ąchste iPhone damit ausgestattet sein wird.

Augmented Reality bei Apple: Das ist neu

Mit ARKit 4 f├╝hrt Apple au├čerdem einen neuen Anchor-Typ ein. Hierbei handelt es sich um Marker-Punkte, um die virtuelle mit der realen Welt zu verbinden. Mit den ARKit Location Anchors k├Ânnen App-Entwickler virtuelle Inhalte in der realen Welt verankern, beispielsweise bei Points of Interest in einer Stadt. Auf diese Weise wird das Augmented-Reality-Erlebnis in die freie Natur gebracht und f├╝r eine Vielzahl von Nutzern gleichzeitig verf├╝gbar gemacht. Dazu werden auf Basis der Geodaten (Breiten- und L├Ąngengrad sowie H├Âhe) und Daten aus Apple Maps AR-Erlebnisse erstellt, die mit einem bestimmten Standort auf der Welt verkn├╝pft sind.

Apple bezeichnet diesen Prozess, bei dem ein iPhone oder iPad in Relation zu seiner (optischen) Umgebung mit einem h├Âheren Grad an Genauigkeit lokalisiert wird, als "visual localization". Leider ist dieses Feature (noch) nicht in Deutschland verf├╝gbar. Bislang werden nur die von Apples Kameraw├Ągen erfassten St├Ądte San Francisco, New York, Los Angeles, Chicago und Miami unterst├╝tzt.

Auch das Face Tracking wurde in ARKit 4 erweitert und unterst├╝tzt nun die Frontkamera jedes Apple-Device mit dem A12 Bionic-Chip und sp├Ąter, einschlie├člich des neuen iPhone SE. Um bis zu drei Gesichter gleichzeitig zu tracken, etwa f├╝r Memojis oder Snapchat-Features, wird jedoch ein Ger├Ąt mit TrueDepth-Kamera ben├Âtigt.

Auch das Erkennen von Handknochen (Vision API, 21 Datenpunkte) und mehrerer Menschen in einer Szene als Ganzes ist mit iOS 14 in Echtzeit m├Âglich. Hier sind ein paar Feinheiten versteckt. Das Vision Framework kann n├Ąmlich ÔÇô genau wie ARKit ÔÇô insgesamt 19 Messpunkte an einem menschlichen K├Ârper identifizieren. Im Gegensatz zu ARKit liefert das Vision Framework allerdings einen Genauigkeitswert (wie sicher ist sich das Framework) und l├Ąsst sich auch auf Bilder und Videos, die sich zum Beispiel in der Kamera-Bibliothek befinden, anwenden.

ARKit 4: Nicht nur f├╝r iPad-Pro-Nutzer

Mag sein, dass ARKit 4 erst in Verbindung mit dem im neuen iPad Pro verbauen LiDAR-Sensor so richtig Performance auf die Stra├če bringt. Aber in wenigen Monaten werden vermutlich auch iPhones auf den Markt kommen, die mit diesem Sensor ausgestattet sind. Auch andere Ger├Ąte stehen zur Diskussion, so k├Ânnte eine omin├Âse AR Brille ( Apple Glass ) statt einer herk├Âmmlichen Kamera nur einen LiDAR-Sensor besitzen. Der Vorteil liegt auf der Hand: Der Tr├Ąger ÔÇô sofern es diese Brille je geben wird ÔÇô k├Ânnte keine Videoaufnahmen von seiner Umgebung machen. Das alles ist nat├╝rlich Zukunftsmusik, zun├Ąchst bleibt ARKit 4 eine tolle Neuigkeit f├╝r iPads und vielleicht bald f├╝r iPhones. (mb)

Macwelt Marktplatz

2524192