Für blinde und sehbehinderte Nutzer
„Be My Eyes“ liefert detaillierte KI-Bildbeschreibungen
Mittlerweile ist es fast zehn Jahre her, seit wir die App Be My Eyes damals anlässlich ihrer Veröffentlichung vorgestellt haben. Die Anwendung wurde als gemeinnütziges Projekt entwickelt, um eine weltweite Gemeinschaft zu schaffen, in der blinde und sehbehinderte Menschen freiwillige Helfer um deren Unterstützung bitten können. Diese in Form von Videotelefonaten realisierte Option lässt sich bis heute über „Be My Eyes“ nutzen.
Seit einigen Monaten wurde in „Be My Eyes“ aber zusätzlich auch eine KI-Funktion integriert, die im Rahmen einer Kooperation mit den ChatGPT-Machern OpenAI umgesetzt wurde.
Beeindruckend exakte Bildbeschreibung
Die neue App-Funktion heißt „Be My AI“ und erlaubt es, sich von der „Be My Eyes“-App eine umfangreiche Bildbeschreibung erstellen zu lassen. Ein eindrucksvolles praktisches Beispiel hat uns Kevin zugeschickt, der für die unten eingebettete Aufnahme aus dem Dortmunder Fußballstadion die folgende Textbeschreibung erhalten hat.
Das Bild zeigt eine lebhafte Fußballstadionatmosphäre von einem hohen Standpunkt aus.
Das Stadion ist gefüllt mit Zuschauern, die größtenteils gelbe Kleidung tragen, was auf die Fans eines Teams hindeutet.
Unten auf dem Spielfeld sind Spieler in Aktion zu sehen, allerdings sind die Details aufgrund der Entfernung nicht klar erkennbar.
Das Stadion hat ein gelb gestrichenes Dach, das teilweise geöffnet ist, und Flutlichter sind sichtbar.
Die Menge scheint engagiert und konzentriert auf das Geschehen auf dem Feld.
Bahnbrechendes Hilfsmittel im Alltag
Kevin schreibt uns weiter, dass die KI-Integration in „Be My Eyes“ bahnbrechende neue Möglichkeiten bietet, während die Grundfunktionalität der Anwendung aber weiter erhalten bleibt. Mithilfe der Foto-Analyse sei es beispielsweise kein Problem mehr, zu erfahren wie lange die Waschmaschine läuft oder welches Programm bei der Spülmaschine eingestellt ist. Auch könne er sich damit endlich auch das Fußballstadion von Borussia Dortmund richtig „anschauen“.
Diesen positiven Eindruck zu „Be My Eyes“ teilen auch zahlreiche weitere Nutzer der App in den Rezensionen im App Store. Die App beschreibe Bilder so plastisch und detailliert, wie es selbst sehenden Menschen meist nicht gelingt.
„Be My Eyes“ lässt sich kostenlos laden und ohne jegliche Einschränkungen verwenden.
Endlich hat die nervige Aufforderung ein Ende, man möge die Bilder doch bitte beschreiben, die man beispielsweise über Messenger gesendet bekommt. Leider kann man nicht jedes Bild sich in manchen Apps über das teilen Menü beschreiben lassen zum Beispiel Facebook.
Bitte verstehe es als eine Bitte um eine Hilfe. die du ablehnen oder geben kannst. Nicht jede fragende Person hat oder kennt alle Möglichkeiten bzw. kann / will sie nutzen. Leider kann eine vorhandene moderne technische Lösung nicht grundsätzlich einen Hilfebedarf auffangen und die menschliche Hilfe ersetzen, die oft viel netter ist :-) .
Die Bildbeschreibung ist schon ganz ok, allerdings sind da auch etliche Fehler drin.
„Das Stadion hat ein gelb gestrichenes Dach, das teilweise geöffnet ist, und Flutlichter sind sichtbar.“. Woher kommt denn das hier? Nichts davon ist im Bild zu erkennen. Klar, wir wissen das, aber im Bild ist es nicht zu sehen.
„Die Menge scheint engagiert und konzentriert auf das Geschehen auf dem Feld.“. Hä? Das halte ich sogar für falsch. Die meisten Zuschauer sind überhaupt nicht erkennbar. Und die paar im Bild-Vordergrund schauen auf ihre Telefone, wechseln die Sitzplätze. Wo sieht man da „engagiert und konzentriert“?
Aber das ist meckern auf hohem Niveau, einem schlecht oder gar nicht sehenden Menschen wird die Bildbeschreibung schon die generelle Stimmung vermitteln (auch wenn sie teilweise falsch ist).
Ich habe das Tool eine Zeit lang ebenfalls genutzt, wurde aber in vielen Jahren genau zweimal für Unterstützung angefordert. Ich hatte den Eindruck, das wird nicht sehr genutzt, daher ist die App inzwischen auch nicht mehr installiert.
Künstliche Intelligenz ist nun mal gegenüber einem menschlichen Auge nicht perfekt. Das sollte klar sein. Dennoch ist es bemerkenswert, wie leistungsfähig es in letzter Zeit geworden ist.
Naja, ich denke je mehr Apps es auch für unterschiedliche Bereiche gibt, nutzt man dann ja auch diese anstatt einsehen des Auge.
Du siehst das „Problem“ von der falschen Seite. Ich hatte damals schon bei den Entwicklern gefragt, warum ich zwar manchmal Benachrichtigungen bekomme, einer blinden Person zu helfen, die Aufforderung aber bereits abgelaufen ist, bevor ich die App gestartet habe. Die Antwort war, daß das System nur kurz auf eine Reaktion vom sehenden Teilnehmer wartet und dann die Anfrage an jemand anderes weiterleitet. Aus „Sicht“ der Blinden ist das gut, denn er oder sie bekommt sehr schnell eine Verbindung. Ich hatte bisher (als Helfer) auch nur eine Handvoll Verbindungen.
Die App gehört mit zum Besten, was seit Einführung des Smartphones angeboten wird. Engagierte Leute, kluge Entwickler, hohe Intelligenz und Sorgfalt bei der Umsetzung, genialer Einsatz von KI und perfekt barrierefrei in der GUI. Für blinde und sehbehinderte Menschen ein absoluter Meilenstein! Keine andere KI konnte bisher so brauchbar Bilder beschreiben. Keine andere App konnte bisher so einfach die Hilfe so vieler fremder Menschen völlig anonym eröffnen. Es sollte sehr viel mehr Entwickler geben, die sich auf diese Art und Weise mit tatsächlichen Bedürfnissen statt nur mit Blödsinn beschäftigen. Sie haben meinen größten Respekt.
Da sind wir klar der gleichen Meinung, ich bin auch beeindruckt.
Mich machten nur diese wenigen Passagen stutzig
Beeindruckend, aber nicht für Fotos aus dem Fotoalbum oder. Nur neue Aufnahmen?
Mit der App kannst du selber Fotos machen aber kannst sie dir auch aus deinem Fotoalbum beschreiben lassen. Das geht auch in Twitter, WhatsApp und zahlreichen Webseiten.
Und die kleine Kritik weiter oben, dass die Beschreibung falsch wäre, kann ich nicht bestätigen. Du hattest angemerkt, dass be My Eyes beschrieben hat, die Menge scheint Enthusiastisch zu sein.
Ich kann dir sagen, Das war sie. Ich habe das Foto selbst gemacht.
hallo, eine frage: du sagst man kann auch ein foto aus dem album nehmen, bzw. von twitter und whatsapp. ich (iphone) hab nur den knopf „foto aufnehmen“, also nur für „live fotos“?! wie funktioniert das bei album fotos? danke. l.g.w.
Ein aktuelles Beispiel, wie uns KI neue – positive – Möglichkeiten eröffnet; Tolle Weiterentwicklung der App
Ich kann den Kommentar zwei Posts über mir nur unterschreiben. Wenn du von Geburt an blind bist und noch nie etwas gesehen hast, und du kannst jetzt sozusagen dir deine Umgebung komplett neu beschreiben lassen, ist das für mich einfach nur bahnbrechend. Ich weiß jetzt, dass man von hier einen Kirchturm sehen kann, ich kann quasi, zuschauen, wie die Bäume grün werden. Das wusste ich alles vorher nicht.
Ein ganz kleiner Hinweis am Rande.
Wenn ihr mehr darüber wissen wollt und ein kleines bisschen mehr über ein blinden Fußballfan erfahren wollt, folgt mir doch auf meinen kleinen Twitter Kanal.
@Samy09618988195
Matu19, ich bin beeindruckt und freue mich sehr, dass die Technologie deinen Horizont erweitert und eine echte Bereicherung zu sein scheint. Toll!
Hier wäre ein In-App Kauf für eine freiwillige Spende für das Projekt sinnvoll. Im Gegensatz zu Millionen anderen Apps die erstmal ein Abo einführen, um danach sich zu überlegen warum sie dauerhaft und regelmäßig Geld haben und irgendeinen überflüssigen Mist wie ein unnötiges Konto, Sync oder KI mit online-Anbindung einbauen.
Ergebnis scheint zwar noch nicht perfekt zu sein, aber durchaus beeindruckend und absolut hilfreich für darauf angewiesene Personen