Eye Tracking, Music Haptics, Vocal Shortcuts
iOS 18: Apple zeigt erste Funktionen des neuen Systems
Apple hat eine Reihe neuer Bedienungshilfen vorgestellt, die mit der Veröffentlichung von iOS 18 Teil des nächsten iPhone-Betriebssystems werden sollen.
Unter den neuen Hilfe-Funktionen befinden sich so genannte „Music Haptics“ mit denen Musik auf für schwerhörige Nutzer erlebbar werden soll, eine Augensteuerung für iPhone und iPad und ein neues Feature gegen Reisekrankheit beim iPhone-Einsatz in Bus und Bahn oder Taxi.
Augensteuerung für iPhone und iPad
Highlight ist die neue Augensteuerung, mit der Nutzer die Geräte allein mit ihren Augen bedienen können. Diese Funktion richtet sich an Menschen mit körperlichen Behinderungen und nutzt die Frontkamera zur Kalibrierung. Die Augensteuerung soll ohne zusätzliche Hardware in allen iPadOS- und iOS-Apps funktionieren.
Music Haptics
Ein weiteres neues Feature von iOS 18 ist Music Haptics. Die Option für taube oder schwerhörigen Nutzer ermöglicht es, Musik durch Vibrationen zu erleben. Die Taptic Engine des iPhones erzeugt hierfür unterschiedliche Taps und Vibrationen, die auf die laufende Musik abgestimmt sind. Entwicklern wird zudem eine Programmierschnittstelle zur Verfügung gestellt, um die neuen Music Haptics auch in ihre Apps zu integrieren.
Vocal Shortcuts
Mit „Vocal Shortcuts“ können Nutzer eigene Sprachbefehle definieren, die Siri erkennt und daraufhin Aufgaben ausführt. Die neue Funktion, „Listen for Atypical Speech“, soll die Spracherkennung für Menschen mit untypischen Sprechmustern verbessern. Diese Funktion nutzt maschinelles Lernen auf dem Gerät, um ungewöhnliche Sprachmuster von Nutzern zu erkennen und zu verstehen.
Vehicle Motion Cues
Ein neues Feature namens „Vehicle Motion Cues“ soll die Reisekrankheit beim iPhone-Einsatz in Bus und Bahn oder Taxi reduzieren. Animierte Punkte am Bildschirmrand zeigen Veränderungen der Fahrzeugbewegung an und sollen dadurch „sensorischen Konflikt“ minimieren, die für ein flaues Gefühl im Magen sorgen können.
Sehr cool
Amazing! Funktioniert natürlich nur auf den kommenden Pro Geräten ;)
Ich denke, die Zielgruppe, für die das wirklich hochinteressant ist, gibt dann auch das Geld für das pro pro Gerät aus. Das ist durchaus Innovation, die man sich bezahlen lassen kann.
Das mit Augensteutung kann Samsung schon Jahren. Wer kopiert noch mal wen? Frag für ein Freund
Und wird die Funktion dadurch schlechter? Soll Apple sie den betroffenen Personengruppen vorenthalten, weil Samsung das schon eher gemacht hat?
Immer nur am meckern …
Höma hier meckert niemand. Eher sind das die Apple Fans die sowie du rumpöbeln wenn Samsung was rausbringt die Apple weit überlegen ist
Kannst du mal bitte ordentlich schreiben!? Danke.
(und weniger meckern bitte auch)
@Mahony Was für ein Quatsch, inzwischen klaut jeder bei jedem. Das ist wiederum eine Lösung die standardisiert werden sollte und den handigecapten Usern zu Gute kommt.
Ich habe den leisen Verdacht,dass Leute die
„Ich frage für einen Freund“ schreiben,gar nicht für einen Freund fragen. Sie haben einfach keine Freunde!
Ich bleibe an der Sache dran.
XD
;-)
Wo finde ich das bei meinem Samsung – ab welchem Gerät geht das?????
Ja wie setzt Samsung dieses super tolle Feature mit nur einer Kamera um??? Hast du das mal gesehen das Trauer spiel? Hört mir auf mit Samsung kann alles,ja mag sein,dafür aber nichts richtig ! Samsung kann auch Gesichtserkennung,ist nur heute noch o leicht zu überlisten das Banken Apps es nicht erlauben und die wenigsten User nutzen!kannst einfach Apple nicht mit Birnen vergleichen! Das augentracking beim iPhone nutzt eine Kamera ,nen TrueDepth Sensor und nen Infrarot Sensor! Wie kann der Wunder Konzern von Samsung mit weniger Hardware als nötig (dazu noch billigere Hardware) was ernstzunehmendes auf die Beine stellen,die behelfen sich bei allem an Software Tricks,die sie günstig von Google abstauben konnten und nennen es Galaxy AI,zu guter letzt wollen sie sich das auch noch zukünftig bezahlen lassen,das einzige groß angekündigte Feature des neuen Geräts wird bald zur abofalle, ganz mein Humor ,den Konzern kann man doch nicht mehr ernst nehmen
Stimmt, ist tatsächlich amazing. Gibt es wohl in dieser Form noch nirgendwo anders.
Hat Samsung schon seit über 10 Jahren, also die Augensteuerung
Ja, und wie zuverlässig funktioniert es? Um das geht es!
Also in dem PlayStation VR Headset funktioniert das absolut top. Wie das bei Samsung auf deren Smartphones ist weiß ich nicht, aber ich würde mal behaupten dass sowohl Samsung als auch Apple bessere Frontkameras eingebaut haben als Sony im VR Headset
Ich hatte vor 30! Jahren (Gott bin ich alt) eine Canon Spiegelreflex (50E), da konnte man den Focuspunkt im Sucher per Auge auswählen. Das hat recht zuverlässig funktioniert. Hat sich nicht durchgesetzt, aber cool war’s trotzdem. Also, so innovativ ist das nicht mehr :-)
Da stand für alle Geräte
Ja die Sachen die AI local verarbeiten werden ältere Geräte nicht per Software Update kriegen können, das Augen Feature wird funktionieren durch die Face ID.ind das letzte Feature sollte auch auf älteren Geräten kommen,denke die Daten kommen vom gyroscope und die sieht ja gefühlt seit der Erfindung des Rads verbaut
Tolle Funktionen! Kleine Verbesserungen aber mit teilweise großen Effekten, zumindest für die gehandicapten User. Ich freue mich auf die iOS18 Keynote! :-)
Coole Sachen. Allesamt. Werde ich mal ausprobieren, sobald es verfügbar ist. :-)
Later this year
Eye Tracking wird dann, neben den sicherlich großartigen Funktionen für Menschen mit körperlichen Behinderungen, ganz sicher von den Werbetreibenden genutzt, um zu prüfen ob und was wir uns im Fall von Werbung auf dem Screen anschauen.
Danke George Orwell, auch das hast du vorausgesehen und Apple hat dich gehört.
Man kann auch alles schlecht reden, ohne z wissen wer überhaupt wir auf die Daten Zugriff bekommt
Just saying und kein „schlecht reden“…ich arbeite seit 25 Jahren im Bereich Werbung, bei einer sehr großen Agentur und weiß wie meine Branche tickt.
Üblicherweise muss man solche Assistenzfunktionen selbst einschalten. Was die wenigsten in diesem Fall machen dürfen, wenn sie diese Assistenz nicht brauchen.
Ich warte auf „kostenlose Applikationen“, die sich genau diese Informationen „erkaufen“, oder Provider, die Verträge und Mobiltelefone „kostenlos“ anbieten, dafür muss EyeTracking eingeschaltet sein und der Kunde muss jeden Tag x Minuten Werbung schauen.
Liegt alles bereits in den Schubladen…
Nein, so ist es sicher nicht, egal was du jetzt behauptest zu wissen. Die DSGVO verhindert jetzt schon mögliches recht wirkungsvoll.
Ich habe ebenfalls Einblick in die Arbeit Werbetreibender (Salesforce-MC-Umfeld) und weiß, dass technisch jetzt schon mehr geht, als rechtlich erlaubt ist. Und diese Dinge unterbleiben dann tatsächlich auch. Alles Andere wäre ein zu großes Compliance-Risiko für ein Unternehmen.
Das Eye Tracking wird ja von iOS durchgeführt, ausgewertet und umgesetzt.
Ich könnte mir vorstellen das iOS dann in der App „nur“ Touchgesten simuliert.
Ach so, hier kritisch darüber sprechen und dann im Job nutzen und den paycheck dankend annehmen. Total integer!
Wird vermutlich genauso funktionieren wie bei der Apple Vision Pro und es werden nicht die Rohdaten an die App geliefert, sondern nur Info ala .. ah jetzt wurde dieser Button „gedrückt“
Dafür braucht es kein eye-tracking, das kann und wird in iOS schon jetzt getrackt, ob sich das Werbevideo im aktiven (onscreen) Bereich der Website befindet.
Du vergisst den Unterschied das die bei deiner Methode nur sehen das das Video im Vordergrund ist. Wenn die deine Augen überwachen wissen die genau welches Detail du dir angeguckt hast und ob deine Augen überhaupt auf der Werbung waren.
@Hab kein Man könnte auch die Microzuckungen per Gyroskop überwachen. Kommt selten vor, das man gerade das iPhone in eine Halterung steckt und falls doch selbst die wackelt und zeigt das es aktiv zu mindest aufgestellt ist
Da Apple sich an sich ,ihrer Hard/software hält,sich mit Privatsphäre rühmt und auch viel dafür tut um diese zu schützen vertraue ich darauf das Apple ,nicht wie Google ,Amazon und co (deren täglichbrot ja das werbegeschäft ist) keine Werbung verkaufen wird und auch nicht zulassen wird dass diese für werbe zwecke genutzt wird!im Grunde ist es ja auch egal ,ob eine Firma Daten anonymisiert über ihre eigenen Kunden sammelt und für Produktverbesserung oder eben gezielter werbeschaltung nutzt,nur das verkaufen an Datenverkehr ist die Schande , und da ist android doch ganz offen für .
Schöne neue Welt…
Auch bitte „Propaganda“ lesen von Edward Bernays, Vater der Propaganda, Neffe von Siegmund Freud, Berater der US-Regierungen. Ebenso „ Psychologie der Massen“ von Gustav Le Bons.
Wer Parallelen zu den vergangenen vier Jahren erkennt, darf sie behalten…
Danke für die Hinweise auf diese neuen, speziellen Möglichkeiten, die Apple hier für behinderte Menschen bietet.
zB Steuerung mit den Augen. Bin gespannt, was damit alles möglich wird.
Kenne dies bei gelähmten Kinder, die mit den Augen eine ‚Schreibmaschine‘ steuern lernen: einmal Blinzeln, ein A, zweimal ein B usw. – sehr mühsam… .
Dann, Ablenkung bei Reisekrankheit durch Beruhigung der Augenbewegung.
Kann jedem helfen… .
So vom Lesen her finde ich die Neuerungen ja cool und um Längen besser als z.B. neu Emojis – aber wie lange wird das die Hardware mitmachen? Augensteuerung funktioniert ähnlich wie Touch-/Face-ID nur, solange alles Original-Apple-Teile sind; Vibrationsmotor muss nach 20.000 km – äh Liedern – ausgetauscht werden?
Der Lautsprecher deines iPhones ist doch auch „ständig“ in Schwingung, glaube der Verschleiß ist gering.
Wenn was in alten Spiele-Controllern nicht kaputt gegangen ist, dann jawohl die Vibration.:D
Ich denk das sollte keinen Unterschied machen…
Dein Display ist immer an. Geht das kaputt?
Zöfte
Tolle Nachrichten. Es tut gut, wenn auch mal so sinnvolle Dinge weiter entwickelt werden.
Das ist vor allem vor dem Hintergrund zu sehen, dass deutsche Softwarentwickler und Unternehmen es noch nicht einmal schaffen, ihre Websites barrierefrei zu coden. Und das ist wirklich Kinderkacke vom Aufwand her.
So Kinderkacke ist das gar nicht. Arbeite tatsächlich gerade daran, meine Webseite Barrierefrei zu gestalten. Entweder bleibt dir die Möglichkeit, das man das aktiv aktivieren muss oder du schaust nach Screenreadern, welches Javascript nicht mal aktiv überwachen kann, weil es keinen Standard gibt. Von navigieren mit den Augen ganz zu schweigen
Ja also hatte damals das Galaxy S4 und ja es hatte diese Funktion und es funktioniere so naja nicht wirklich Innovativ
Das bringt dann die Großmäuler hoffentlich mal dazu, kleinere Brötchen zu backen, anstatt hier ständig rumzutönen, dass Samsung das ja bereits seit 20 Jahren „könne“.
Glaubt ja eh keiner…
Danke für diesen Erfahrungsbericht.
@David Bin ich bei dir, aber wir wissen auch noch nicht wie es mit Apple in der Praxis funktioniert
Danke es spricht einer aus,kenn das Feature auch von Samsung ,kein Plan ob das überhaupt noch existiert jedenfalls war es einfach nur schlecht ,etwa um mal 30min zu testen und nie wieder zu starten.aber Androide verstehen nicht das kleine Software gimmicks nicht mit ernstzunehnender Hardware zu vergleichen ist
Bin ja mal sehr gespannt auf diesen Reisemodus mit den animierten Punkten :)
Seltsam, mir wird es beim Betrachten der animierten Grafik am unbewegten Bildschirm irgendwie schwummrig … umso mehr bin ich gespannt, wie es dann in einem fahrenden Fahrzeug wirkt.
Schwummrigkeit + Gegenschwummrigkeit = 0?
Jo, genau das ist vermutlich der Gedanke. Reisekrankheit kommt ja, weil das Gleichgewichtsorgan andere Bewegungsimpulse an das Gehirn sendet, als die Augen. Bei Dir im Stillstand (für das Gleichgewichtsorgan) sendet das Auge plötzlich Bewegung = schwummerig. Würdest Du das jetzt im Auto betrachten sehen die Augen (unbewusst) Bewegungen, die den Impulsen des Gleichgewichtsorgans entsprechen = keine Reisekrankheit.
Klingt interessant und ich kann mir vorstellen, dass es funktioniert.
stell ich mir anstrengend vor wenn da die Punkte hin und her hupfen
Soweit ich weiß steuern mit Augen ging schon vorher.
Ohne zusatzhardware?
Also dieses Mal gibt es ja echt coole Features! Nicht nur die sonst übliche Erweiterung von Emojis.
Emojis werden – allen Plattformen übergeordnet – von einer speziellen Emojimachertruppe entwickelt. Apple und alle anderen bauen sie dann (mit ein paar Anpassungen) in ihr System ein.
Gääääähn
Gibt’s als ABO …..
Wieso keine Homebildschirm Veränderung App Symbol Veränderung oder eine andere Benutzeroberfläche?? Kotzt mich das an. Ich verstehs einfach nicht, wieso man da nichts vernünftiges ändern oder hinbekommen kann.
Wer sagt das? War ja nur eine kleine Auswahl kommender Features. Da kommt sich auch optisch noch was dazu.
Schade, ich hab mich auf neue Emojis gefreut.
Keine Angst, die gibt’s wie immer natürlich ebenfalls nur ein wenig später. Ich nutze diesen überhaupt nicht wirklich oft und es nervt.
Wenn es keine neuen Memojis gibt, update ich erst gar nicht
Die Kurzbefehle mit Siri gehen doch schon lange. Was ist soll da anders sein?
Momentan muss der Kurzbefehle den Namen haben, auf den Siri dann auch hört. Hier kann man nun offenbar eigene Phrasen zu Kurzbefehlen zuordnen. Siehe oben im dritten Screen, Phrase ist „Rings“ und Aktion bzw. Shortcut ist „Open Activity Rings“. Sehr nützlich!
Ich würde gerne die Schriftgeösse abhängig machen ob ich die Brille auf habe oder nicht.
Lesebrille auf, Schrift normal, keine Brille font größer
Müsste bei mir genau andersherum sein. ;-)
Richte es dir doch z. B. mit den Klopfgesten ein.
@Erik
Das ist mal eine geile Idee!
<3
Wie funktioniert das Bestätigen mit den Augen?
Mit dem Augapfel auf den Bildschirm tippen.
@Zumo :D
Gute Frage. Würde ich auch gern mehr erfahren, wie das funktioniert. Weiß es jemand?
Nein. Aber evtl. blinzeln …
Ich glaub für einen Großteil der Leute hier im Blog sind diese Features nicht relevant (inklusive mir) aber ich finde es super das Apple sowas wacht und hoffe das dafür auch etwas Budget vorhanden ist auch ohne Business case
Gott, Maps und Textkorrektur eine einzige Katastrophe, aber Music Haptics.
Ganz andere Abteilung. Außerdem ist das eine zwar wichtig, aber das andere lebenswichtig.
Dazu neues iPhone ?