Augen-, Blick- und Zungenerkennung
ARKit 2: Apple baut Gesichts-Tracking massiv aus
Schon zu seinem Debüt in iOS 11 verfügte Apples Augmented Reality-Framework ARKit über umfangreiche Gesichts-Tracking-Funktionen. Sind die iPhone-Sensoren beim Einsatz entsprechender Apps scharf geschaltet, erkennt ARKit schon jetzt ganze 50 Gesichtseigenschaften, aus denen sich Gesichtsausdrücke extrapolieren lassen. Ist das linke Auge geöffnet? Ist der rechte Mundwinkel angezogen?
Funktionen die Apple zuletzt Kritik von Snowden eingehandelt und dafür gesorgt haben, dass Entwickler jetzt eine zusätzliche Datenschutz-Erklärung zeichnen müssen.
Nur selten im Einsatz, wird das von ARKit bereitgestellte Gesichts-Tracking etwa vorausgesetzt um den Einsatz der im vergangenen Jahre demonstrierten Snapchat-Masken zu ermöglichen. Nur durch die von Apple bereitgestellte, genaue Erfassung des Gesichtes und die beinahe latenzfreie Verfolgung der Muskelbewegungen lassen sich die Snapchat-Masken und Animoji-Charaktere überhaupt ordentlich animieren.
Zusammen mit iOS 12 wird Apple im Herbst ARKit 2 ausliefern und die Gesichts-Tracking-Kapazitäten dann erneut ausbauen.
Augen- und Zungenerkennung
Neben der auf der WWDC-Bühne besprochenen Zungen-Erkennung wird ARKit 2 in iOS 12 erstmals das Tracking der aktuellen Blickrichtung unterstützen. Sowohl die von beiden Augen im Verbund als auch die Einzel-Blickrichtungen für das rechte und das linke Auge.
Daten, die Entwickler anschließend sowohl zur Animation von eigenen Emojis oder Masken nutzen können, die sich aber auch zur App-Steuerung einsetzen lassen. Wie könnten in unserer neuen App etwa die Favoriten-Funktion aktivieren, sobald eine herausgestreckte Zunge erkannt wird (was wir nicht vorhaben).
Control your iPhone with your eyes. Just look at a button to select it and blink to press. Powered by ARKit 2. #ARKit #ARKit2 #WWDC #iOS pic.twitter.com/ow8TwEkC8J
— Matt Moss (@thefuturematt) 7. Juni 2018
Der Entwickler Matt Moss zeigt die Nutzung der neuen ARKit-Feature im eingebetteten Tweet – der Bau einer komplett von den Augen des Anwenders gesteuerten App, ist mit ARKit 2 jetzt ohne Weiteres möglich. Apple selbst erklärt die neuen Funktionen im WWDC-Vortrag 602 „What’s New in ARKit 2“.
Heute noch kaum beachtet aber ich glaube das wird die Zukunft. Was heute bereits möglich ist finde ich beeindruckend. Und da ist noch lange nicht das Ende der Fahnenstange erreicht
Ich denke das wir in 3 Jahren ein so Weiterentwickeltes Face ID sehen werden, mit Retina Scan und einer Geschwindigkeit, die auch die letzten Touch ID Fans überzeugen wird.
Blöd, wenn ich zum Entsperren das Ding vor mein Gesicht halten muss. Mir ist es lieber, das Ding mal schnell nebenbei, auf ne Armlänge Entfernung, schräg auf dem Tisch, zu unlocken.
Solange FaceID nicht um die Ecke sehen kann: Nix für mich.
Du müsstest es einfach ein paar Tage mal ausprobieren, ich möchte das X er nicht mehr hergeben
Nur mit den Augen! Das ist garantiert ab Herbst ein riesiger Fortschritt z.B für querschnittsgelähmte Personen! Ich glaube die würden sich über so etwas freuen!
Das wird bestimmt klasse… Mit den Augen zielen oder lenken, ein Traum für Smartphone-Games.
Für was soll man das jetzt brauchen außer für FaceID? Irgendwie fehlt mir komplett der Sinn für so eine Technik. Vielleicht kann man sich als Spielefigur in ein Spiel Einscannen, für einen anderen Nutzen sehe ich jetzt nicht den Bedarf bei mir. Mit FaceID bin ich nicht 100% zufrieden, es hat doch ganz schöne Nachteile, im Auto oder wenn es auf dem Tisch liegt, vermisse ich TouchID, da taugt FaceID überhaupt nichts. Ich hätte gerne beides im Smartphone verbaut, das bietet momentan nur Android. Am Anfang habe ich das komplett ausgeblendet, wenn man das X länger benutzt ist dass fehlen von TouchID schon eine Einschränkung, für die man einen schönen Aufpreis bezahlt hat. Bei mir funktioniert FaceID auch nicht viel besser als vorher TouchID, da hat Apple wohl zu viel versprochen. Ein iPad mit dieser Technik kaufe ich definitiv nicht, da müsste sich vorher noch einiges tun damit es besser funktioniert. Vor allem wenn es auf dem Tisch liegt oder wenn ich es quer benutze.
Auto und Handy sind eh zwei Sachen die sich nicht vertragen sollten…
Also für mich ist der Kern dieser Technologie nich nur schwer beeindruckend sondern auch ganz klar zukunftsweisend. Wenn man bedenkt diese Funktion nicht nur in klein auf der Frontseite eines Gerätes zu verbauen, sondern auch in größer und mit etwas mehr Leistung auf der Rückseite, ist AR bzw Mixed-Reality (MR) in einem völlig neuen Umfang möglich. Zu Zeit sind die AR Kapazitäten der iPhones schon gut, aber wenn man jetzt noch eine sehr gut funktionierende Tiefenerkennung in die Funktion implementiert, dann kann das iphone auch verstehen wie Onjekte angeordnet sind. So können zum Beispiel Virtuelle objekte mit realen objekten verschwimmen, da genau erfasst wird, wo das reale Objekt aufhört und auf welcher exakten Position im Raum es sich befindet. Man könnte zum Beispiel die Hand davor halten (zwischen iPhone Kamera und virtuelles Objekt) und das iphone würde erkennen, dass etwas davor ist und ich das objekt eigentlich grade aus meiner Position nicht sehen kann.
Denkt man dann noch einen schritt weiter und schrumpft diese Techni wieder auf ein kleines Baumaß zusammen, dann kann man dies auch in MR-Brillen einbauen un eine permanente MR schaffen. Wer schon mal eine HoloLens auf hatte weiß, wie beeindruckend gut das bereits funktioniert… Leap Motion hat vor kurzem erst einen Prototypen präsentiert der eine Tiefen erkennung hat und die Ergebnisse waren schon schwer beeindruckend. Face ID ist für mich nur eine RIesen Teststrecke zur Weiterentwicklung der Technologie.
, Siri, faceID. Kommunikation findet zu großen Teilen nonverbal statt. Diese Technik bringt das Mensch-Maschinen Interface massiv nach vorne. Systeme die deine Stimmung erkennen können und sich dementsprechend verhalten. Die das Userinterface intuitiv so verändern wie es deinem lvl sozusagen entspricht. Bei alten Menschen dann mehr und ausführlichere Option, weil das System die Fragezeichen im Gesicht erkennt:D. Also da gibts ne Menge Möglichkeiten im Umgang mit Technologien.
Wirklich erstaunlich, wie präzise die Erkennung der Blickrichtung funktioniert!
Wie cool ist das denn :)
Hallo Apple- wie wäre es mit Erkennung im Querformat? Da hätte ich dann auch was davon- vor allem, wenn diese Technik demnächst auf dem iPad Einzug halten soll!
Das soll doch mit iOS 12 auch funktionieren das man auch im Querformat entsperren kann