"Onscreen Awareness" mit iOS 18.4
Apple bereitet Siri auf neue Funktionen vor
Apple arbeitet aktiv daran, die neuen “Apple Intelligence”-Funktionen zu erweitern und so zu gestalten, dass auch Apps von Drittanbietern von den neuen Kapazitäten profitieren.
Um Entwicklern die Nutzung der anstehenden KI-Neuerungen zu erleichtern, hat Apple jetzt neue Programmierschnittstellen vorgestellt mit denen sich vorhandene Apps auf die neuen Möglichkeiten von Siri vorbereiten lassen. Die Sprachassistenz soll zukünftig intelligent auf den aktuellen Bildschirminhalt des iPhones reagieren.
Inhaltserkennung und ChatGPT-Integration
So hat Apple mit der aktuellen Beta-Version von iOS 18.2 neue Programmierschnittstellen bereitgestellt, die es Apps erlaubt, Bildschirminhalte für Siri und Apple Intelligence zugänglich zu machen.
Damit kann Siri auf Fragen zum angezeigten Inhalt reagieren. Beispielsweise wäre es möglich, Siri zu bitten, eine Webseite oder ein Dokument zusammenzufassen, wenn dies auf dem Bildschirm sichtbar ist. Diese Funktion könnte Inhalte auch an bestimmte Drittanbieter-Apps weiterleiten.
Die Erweiterungen, die Apple unter der Überschrift „Making onscreen content available to Siri and Apple Intelligence“ hier beschreibt, ergänzen die Integration von ChatGPT in Siri unter iOS 18.2.
Nutzer können damit Siri Fragen zu Bildern oder Dokumenten stellen, etwa: „Was ist auf diesem Foto zu sehen?“. Siri erstellt dann eine Bildschirmaufnahme und sendet diese an ChatGPT. Diese Funktion ist jedoch noch begrenzt und arbeitet nur mit Bildschirmfotos.
„Onscreen Awareness“ mit iOS 18.4
Die aktuelle ChatGPT-Integration ist offenbar nicht gleichzusetzen mit der von Apple geplanten „Onscreen Awareness“-Funktion, die in einer späteren Version von iOS 18 erwartet wird.
Apple beschreibt diese Funktion als eine Art “Bildschirmverständnis”, durch das Siri Aktionen auf dem angezeigten Inhalt ausführen kann, etwa das Hinzufügen einer per iMessage empfangenen Adresse zu einem vorhandenen Adressbuchkontakt. Diese erweiterten Funktionen sollen mit iOS 18.4 im April erscheinen.
Ich hoffe dabei auf eine Einstellmöglichkeit unter Einstellungen – Siri, dass dann automatisch ChatGPT genutzt wird, wenn Siri es nicht beantworten kann!
Würde ich ebenfalls begrüßen, Siri weiß einfach nichts, nichtmal das Wetter ist korrekt, bei Wolken und Regen sagt Siri mir das es keine Unwetter gibt und die Sonne scheinen soll.
Wetter liegt daran, dass Apple leider leider leider auf das amerikanische Modell umgestellt hat. Für Europa halt nicht wirklich relevant. Bitte bei Apple beschweren und Feedback geben, dass Wetter unbrauchbar ist.
Das gibts nur durch die EU. Aber die könnte es enforcen. Wäre tatsächlich super weil Siri kann auch mit Apple Intelligence nix (zumindest auf dem Mac bisher)
Das geht bereits. Habe es in der Schweiz so eingestellt, dass ChatGPT gefragt wird wenn Siri es nicht weiss ohne mich nach Erlaubnis zu fragen. Funktioniert bestens.
Ist genau so implementiert, kennt Siri die Antwort nicht, erscheint das oben angezeigte Pop-Up um die Anfrage an GTP zu senden. Die Meldung erscheint jedes Mal, kann jedoch in den Einstellungen deaktiviert werden.
Nervig finde ich Siri bei Carplay, vor iOS18 konnte ich eine laufende Navigation mit „Hey Siri, Navigation beenden“ passend beenden.
Jetzt sagt Siri mir: „Tut mir Leid, damit kann ich dir in Carplay leider nicht helfen“
Tja, man muss jetzt sagen: „Hey Siri, Ende Navigation“ Dann macht sie das.
Was ich doof finde, dass Siri laufend was anderes „lernt“ und der Anwender auch laufend alles anderes lernen darf…
Kein Wunder das Siri viele nervt….
Siri hat eben das Mantra des „lebenslangen Lernens“ maximal verinnerlicht…
Schön beschrieben. Mir geht es mit der Einkaufsliste im Moment so. Dort muss ich jetzt meine Wortwahl auch umlernen, damit sie mich nicht jedes Mal fragt, welche Liste ich denn gerne möchte.
Siri ist einfach Müll.
Da beneide ich die Google-User wirklich.
Apple stellt exorbitante Preise auf,
bringt aber keine Leistung mehr,
von Innovationen ganz zu schweigen!
Steve Jobs würde sich im Grab umdrehen!
Siri, ruf Mustermann an
„Ich finde keinen Eintrag unter Mustermann“
Siri, ruf Mustermann in Wohnort an
„O.k., ich rufe Mustermann an“
Das verstehe ich einfach nicht, warum das so ist.
Oder ich soll immer wieder Das Telefon entsperren, obwohl es per Kabel im Auto verbunden ist.
Ich bin mir nicht sicher, aber vielleicht musst du unter „FaceID & Code“ Funktionen wie Siri den „Zugriff im Sperrzustand“ erlauben?
Guter Hinweis, ist aber (leider) bereits an (Siri)
Wenn man viele Funktionen wegnimmt, hat man natürlich hinterher einen Grund zu sagen: „Hey, wir haben neue Funktion hinzugefügt.“
Zum Beispiel kann man nicht mehr sagen: „Navigation beenden“… hat über Jahre funktioniert und seit bestimmt einem oder anderthalb Jahren funktioniert es nicht mehr.
Bisher frage ich mich ob Siri gut wird oder nur so anders dämlich..
Siri ist eine Schande!
Im Grunde ärgere ich mich jeden Tag darüber,
dass Apple in diesem Bereich so abkackt.
Ich habe mehr als einmal,
tue es noch immer,
darüber nachgedacht wirklich zu Google zu wechseln.
Google bringt da wirklich ein gutes Angebot und Leistung auf dem Markt. Apple hängt mindestens 2 Jahre hinterher und stellt exorbitante Preise für nichts auf!
Steve Jobs würde sich im Grab umdrehen!
FAIL!
+1
Ich frage mich ernsthaft, wieso Apple den Laden rund um ChatGPT nicht gekauft hat und ChatGPT mit Basisfunktionen integriert hat?! Für mehr braucht es eben dann ein Abo, was Apple ja ein feuchtes Höschen machen sollte, da Apple ja auf Abos abgeht.
Stattdessen warten wir nun auf Dinge die da kommen und am Ende wird Siri nur eine dämliche Brücke zu ChatGPT sein und auch nicht toll funktionieren, da man dafür nochmal 25 – 50 Euro im Monat (!) abdrücken muss.
Weil ChatGPT unter anderem von Musk und Microsoft mitfinanziert wird/wurde und die wenig Interesse daran haben Apple Exclusive zu sein.
Ich hoffe, dass man die Weitergabe von Daten an OpenAI deaktivieren kann.
Du kannst ChatGPT komplett ausschalten.