Anbindung an ChatGPT verfügbar
iOS 18.2: Siri gewährt ChatGPT Zugriff auf Bildschirminhalte
Apple hat am Mittwoch die erste Entwickler-Beta von iOS 18.2 zum Download bereitgestellt und die nächste Beta-Runde damit noch vor der offiziellen Freigabe von iOS 18.1 eröffnet, die wir Anfang der kommenden Woche erwarten.
How cool is this?? If you ask Siri “what is this”, she now sends a screenshot of whatever’s on the screen to ChatGPT. It’s like a slightly less convenient version of Visual Intelligence for us “old” 15 Pro users who haven’t [yet] upgraded to iPhone 16 pic.twitter.com/13h2W7ytLz
— EverythingAppleBro (@Epicgamer_Mac) October 25, 2024
Anbindung an ChatGPT verfügbar
Das nächste größere Punkt-Update des iPhone-Betriebssystems, das erst zum Jahresausklang bereitgestellt werden dürfte, bringt mehrere “Apple Intelligence”-Funktionen mit, die der Version 18.1 noch fehlen.
Dazu gehört die Anbindung an ChatGPT, der KI-Bildgenerator “Image Playground”, das sogenannte “Genmoji”-Feature mit dem individuelle Emojis erstellt werden können und die KI-Funktion “Image Wand”, die grobe Skizzen in digitale Grafiken verwandeln kann.
Auch die automatische Kategorisierung neuer E-Mails sowie die Möglichkeit, den App Store und weitere Standard-Apps innerhalb der Europäischen Union zu löschen, sind Teil von iOS 18.2.
Siri hat Zugriff auf Bildschirminhalte
Eine der zentralen Neuerungen ist die überarbeitete Sprachassistenz Siri, die nun auch direkt mit ChatGPT interagieren kann. Unter iOS 18.2 ist Siri in der Lage, Fragen zu sichtbaren Inhalten des iPhone-Touchscreens zu beantworten.
Wie erste Tester berichten, ist es so beispielsweise möglich, sich Fragen zu Fotos beantworten zu lassen. Stößt ihr im Netz auf ein Architektur-Foto und interessiert euch für den Standort des abgebildeten Gebäudes, könnt ihr Siri zukünftig einfach fragen. Apples Sprachassistenz erstellt dann ein Bildschirmfoto, leitet dieses zur Analyse an ChatGPT weiter und liefert dessen Antwort dann stellvertretend aus.
Selbstverständlich ist der Zugriff auf diese “Apple Intelligence”-Funktion bis auf Weiteres nur aus den USA möglich.
So selbstverständlich, wie Apple Intelligence auch nur in den USA funktioniert? Also genau so, wie wenn man einfach Sprache anpasst und das Ganze, ausserhalb der EU, ebenfalls verwenden kann?
Jap, nutze es seit ein paar Wochen in der Schweiz auf English.
+1
Habt ihr eigentlich einen Korrespondenten in den USA und einen in China um berichten zu können, was in USA mehr und China weniger unter IOS funktioniert? ;-)
Wir nennen es „freies Internet“ und tauschen da Informationen aus. Kennen manche Länder der Welt nicht.
Nein, die schreiben einfach bei MacStories, MacRumors, etc. ab. Machen sie aber eigentlich bei fast allem. nicht nur bei diesen Themen.
Ich habe ja schon das bezahlte ChatGPT und nein es kann im Moment immer noch nicht ein Standort aus einem Foto extrahieren zum Beispiel der Monolith in Mombasa, der halb im Wasser steht, ChatGPT kann mir nicht den Ort nennen obwohl es ein sehr bekanntes Fotomotiv ist und Millionen davon im Netz gibt
Der steht halb im Wasser?
Ich hab mit chatGPT schon öfter Geoguesser gespielt. Random Foto gemacht oder alte Fotos reingefüttert und ihn raten lassen wo das ist. Teilweise hat das extrem gut geklappt, selbst die Eingrenzung auf einen Landstrich anhand von Landschaftsbildern auf denen nur Natur zu sehen war, hat relativ gut geklappt…
Wie soll das denn funktionieren? Definitiv nicht in Europa alle meine Fotos sagt er du musst im Internet suchen ich kann dir hier nicht helfen
Das ist Datenschutz technisch schon hart bedenklich wenn man einfach den kompletten Bildschirm immer an Chat GPT sendet ….
Das würde ich eher nicht verwenden
Sehe ich auch so.
Echt? Immer? Oder nur wenn explizit nach Informationen zum Inhalt des Bildschirms gefragt wird?
Das weiß man eben nicht so genau … die Verlockung für Datensammler ist groß.
Weiß man das tatsächlich nicht, oder wurde nicht gerade mal 5 Newsbeiträge vorher über Transparenz und Einblick in Apple`s Private Cloud Compute Funktionsweise berichtet?
Was Informationseingänge in einen Apple Intelligence Bearbeitungsvorgang (Sprache, Texteingabe oder per Kamera für Visual-Intelligence) angeht, darf Apple sehr genau seine Verarbeitungsweise aufführen und zwar nicht nur in den Datenschutzbestimmungen und nicht nur „weil die EU“ und deren Datenschutzbeauftragten nur darauf warten einen Patzer zu finden, sondern weil Apple es sich ordentlich mit Kunden und Aktionären verscherzen würde.
Zeit sich also von der pauschalisierten Kalten-Krieg Dystopie und Big-Brother Phantasie hin zur Faktenprüfung zu bemühen und solche pauschalisierten Aussagen etwas herunterzuschrauben.
Gesunde Skepsis ist das ;-) die Vergangenheit zeigt immer wieder das dies kein schlechter Weg ist.
Nein, das ist ganz einfach das altbekannte billige Bashing eingekleidet in Frage, „die man ja mal stellen darf“
Haha gebe alle Geräte ab.
Wird sich wohl einstellen lassen wie alles andere auch was Zugriff will
Da hast du sicher falsch verstanden aus welchen Grund hier ein Screenshot gesendet wurde.
In diesem Fall wurde ja explizit nach dem Inhalt meines Bildschirms gefragt, logisch das hier ein Bild gesendet wird.
In jeder anderen Anfrage wird es sich nur um Text handeln.
Ahnungslosigkeit Deluxe.
1. wurde explizit danach gefragt
2. wird von System nochmal nachgefragt ob das io ist
Wer sendet denn immer seinen Bildschirm? Das ist doch nur eine Option die du machen kannst. Genauso wie du irgendwelche Bilder zu Google hochladen kannst zum Abgleich oder sonst irgendwas. Du musst es doch nicht tun. Es ist einfach zum verzweifeln.
Nein danke!
Mi.
Bin gespannt wie das im Unternehmenskontext eingeschränkt werden kann
Wie wurde denn „bisher“ verhindert, dass Du keine Bildschirmcopy postest, bzw. Für die Google Bildersuche o.ä. verwendest…?
Muss man bei jeder Anfrage wieder neu zustimmen oder kann man auch einmalig GPT erlauben und gut ist’s?
Ja geht, hab ich gleich mal so eingestellt.
Tschüss Apple.
Hallo Google:)
Apples eigene Inkompetenz so offen einzugestehen (Benutzt ChatGPT unser eigener Sprachassistenz ist zu schlecht) ist garnicht apple like
Kein spiele ich bisschen mit dem Copilot.