"Onscreen Awareness" mit iOS 18.4
Apple bereitet Siri auf neue Funktionen vor
Apple arbeitet aktiv daran, die neuen “Apple Intelligence”-Funktionen zu erweitern und so zu gestalten, dass auch Apps von Drittanbietern von den neuen Kapazitäten profitieren.
Um Entwicklern die Nutzung der anstehenden KI-Neuerungen zu erleichtern, hat Apple jetzt neue Programmierschnittstellen vorgestellt mit denen sich vorhandene Apps auf die neuen Möglichkeiten von Siri vorbereiten lassen. Die Sprachassistenz soll zukünftig intelligent auf den aktuellen Bildschirminhalt des iPhones reagieren.
Inhaltserkennung und ChatGPT-Integration
So hat Apple mit der aktuellen Beta-Version von iOS 18.2 neue Programmierschnittstellen bereitgestellt, die es Apps erlaubt, Bildschirminhalte für Siri und Apple Intelligence zugänglich zu machen.
Damit kann Siri auf Fragen zum angezeigten Inhalt reagieren. Beispielsweise wäre es möglich, Siri zu bitten, eine Webseite oder ein Dokument zusammenzufassen, wenn dies auf dem Bildschirm sichtbar ist. Diese Funktion könnte Inhalte auch an bestimmte Drittanbieter-Apps weiterleiten.
Die Erweiterungen, die Apple unter der Überschrift „Making onscreen content available to Siri and Apple Intelligence“ hier beschreibt, ergänzen die Integration von ChatGPT in Siri unter iOS 18.2.
Nutzer können damit Siri Fragen zu Bildern oder Dokumenten stellen, etwa: „Was ist auf diesem Foto zu sehen?“. Siri erstellt dann eine Bildschirmaufnahme und sendet diese an ChatGPT. Diese Funktion ist jedoch noch begrenzt und arbeitet nur mit Bildschirmfotos.
„Onscreen Awareness“ mit iOS 18.4
Die aktuelle ChatGPT-Integration ist offenbar nicht gleichzusetzen mit der von Apple geplanten „Onscreen Awareness“-Funktion, die in einer späteren Version von iOS 18 erwartet wird.
Apple beschreibt diese Funktion als eine Art “Bildschirmverständnis”, durch das Siri Aktionen auf dem angezeigten Inhalt ausführen kann, etwa das Hinzufügen einer per iMessage empfangenen Adresse zu einem vorhandenen Adressbuchkontakt. Diese erweiterten Funktionen sollen mit iOS 18.4 im April erscheinen.
Ich hoffe dabei auf eine Einstellmöglichkeit unter Einstellungen – Siri, dass dann automatisch ChatGPT genutzt wird, wenn Siri es nicht beantworten kann!
Würde ich ebenfalls begrüßen, Siri weiß einfach nichts, nichtmal das Wetter ist korrekt, bei Wolken und Regen sagt Siri mir das es keine Unwetter gibt und die Sonne scheinen soll.
Wetter liegt daran, dass Apple leider leider leider auf das amerikanische Modell umgestellt hat. Für Europa halt nicht wirklich relevant. Bitte bei Apple beschweren und Feedback geben, dass Wetter unbrauchbar ist.
Das gibts nur durch die EU. Aber die könnte es enforcen. Wäre tatsächlich super weil Siri kann auch mit Apple Intelligence nix (zumindest auf dem Mac bisher)
Nervig finde ich Siri bei Carplay, vor iOS18 konnte ich eine laufende Navigation mit „Hey Siri, Navigation beenden“ passend beenden.
Jetzt sagt Siri mir: „Tut mir Leid, damit kann ich dir in Carplay leider nicht helfen“
Tja, man muss jetzt sagen: „Hey Siri, Ende Navigation“ Dann macht sie das.
Was ich doof finde, dass Siri laufend was anderes „lernt“ und der Anwender auch laufend alles anderes lernen darf…
Kein Wunder das Siri viele nervt….
Siri hat eben das Mantra des „lebenslangen Lernens“ maximal verinnerlicht…
Schön beschrieben. Mir geht es mit der Einkaufsliste im Moment so. Dort muss ich jetzt meine Wortwahl auch umlernen, damit sie mich nicht jedes Mal fragt, welche Liste ich denn gerne möchte.
Siri, ruf Mustermann an
„Ich finde keinen Eintrag unter Mustermann“
Siri, ruf Mustermann in Wohnort an
„O.k., ich rufe Mustermann an“
Das verstehe ich einfach nicht, warum das so ist.
Oder ich soll immer wieder Das Telefon entsperren, obwohl es per Kabel im Auto verbunden ist.
Wenn man viele Funktionen wegnimmt, hat man natürlich hinterher einen Grund zu sagen: „Hey, wir haben neue Funktion hinzugefügt.“
Zum Beispiel kann man nicht mehr sagen: „Navigation beenden“… hat über Jahre funktioniert und seit bestimmt einem oder anderthalb Jahren funktioniert es nicht mehr.
Bisher frage ich mich ob Siri gut wird oder nur so anders dämlich..