Offline, ohne Datenaustausch
Private LLM: iPhone-App führt neue DeepSeek-KI lokal aus
Mit der App Private LLM haben Nutzer von iPhone, iPad und Mac schon länger Zugriff auf eine lokale KI-Applikation, die ohne Internetverbindung funktioniert, die Privatsphäre schützt und auch bei einfachen Aufgaben zwar nicht an die Performance von ChatGPT heranreichen kann, aber durchaus in der Lage ist Texte zu generieren, Fehler zu finden und menschenähnliche Antworten zu formulieren.
Anwender laden dafür ein oder mehrere ausgewählte KI-Modelle auf ihr Gerät und nutzen diese anschließend ohne Einschränkungen. Alle Konversationen mit diesem verbleiben ausschließlich auf den Endgeräten. Die App wird durch einen einmaligen Kauf freigeschaltet und kann auf allen Apple-Geräten genutzt werden, inklusive der Familienfreigabe für bis zu sechs Personen.
Private LLM bietet eine breite Auswahl an Open-Source-Modellen wie Llama 3.3 und Qwen 2.5, die individuell angepasst und offline genutzt werden können.
DeepSeek lokal und offline nutzen
Das aktuelle Update auf Version 1.9.5 der App bringt erstmals die neuen DeepSeek-Modelle mit. Das chinesische DeepSeek-V3-Modell sorgt seit einigen Wochen für Aufmerksamkeit: Als kostenfreie App hat es in den USA bereits die Spitzenposition im App Store übernommen.
DeepSeek wird von einem chinesischen Startup entwickelt, das nach eigenen Angaben auf vergleichsweise günstige Nvidia-Chips setzt, um ein Modell zu betreiben, das mit den führenden KI-Lösungen aus den USA konkurrieren kann. Trotz dieser Einschränkungen hat DeepSeek internationale Anerkennung für die Leistungsfähigkeit seines Modells erlangt.
Unterstützung für Kurzbefehle
Private LLM ermöglicht KI-gestützte Textbearbeitung, Übersetzung und Grammatikprüfung direkt aus Anwendungen wie Texteditoren oder E-Mail-Programmen. Durch die Integration in Siri und Apple Kurzbefehle lassen sich Aufgaben automatisieren, während die Unterstützung von x-callback-url eine Verbindung mit zahlreichen weiteren Apps erlaubt.
Private LLM setzt auf eine sogenannte Quantisierung, die für eine effiziente Modellausführung auf Apples Geräten sorgen soll. Diese Technik soll die Textgenerierung verbessern und dabei die Leistung selbst auf weniger leistungsstarken Geräten optimieren. Mit diesen Features stellt die App eine mögliche Alternative zu cloudbasierten KI-Lösungen dar. Uns konnte die Offline-Performance von DeepSeek im Kurztest nicht überzeugen.
Apollo kann meines wissens, ohne es komplett vergleicht zu haben das gleich und kostet die Hälfte:
https://apps.apple.com/app/id6448019325
Führt Apollo DeepSeek aus? Ansonsten geht es ohne nämlich auch vollkommen kostenlos. Siehe hier unseren Artikel über FullMoon:
https://www.iphone-ticker.de/app-geheimtipp-fullmoon-bietet-lokalen-und-kostenfreien-ki-chat-248494/
Ja, Deepseek R1, lässt sich darauf ausführen.
Wo kostet es denn die Hälfte? Ist auch bei 6,99?
Ich dachte das R1 Model von DeepSeek wäre das leistungsstarke. Und nicht V3. Da ist doch ein großer unterschied oder?
Yes, R1 distill is not the same as R1 https://x.com/thilak/status/1882787673020276823? s=46
Ich dachte V3 beschreibt die Generation von DeepSeek, darunter gibt es die verschiedenen R1 Varianten, voll oder distilled in diversen Größen.
„Der Entwickler, 杭州深度求索人工智能基础技术研究有限公司 …“
Hmmm, hab nicht so großes Vertrauen in eine chinesische App. Nur weil sie in den USA tausenfach heruntergeladen wurde heißt das nix. Die laden sich auch Rednote, nur weil TikTok down ist.
Die Deepseek-App ist vor allem als Referenz verlinkt. Hier geht es ja eben darum das DeepSeek-Modell nicht in der App des chinesischen Startups, sondern als lokale KI-Modell in der private LLM-App auszuführen…
Mit welchen Daten wurde DeepSeek trainiert?
Mit Deinen. Mit welchen denn sonst?
Dann kann DeepSeek ja auch super deutsch. Moment, war Deine Antwort vielleicht gar nicht belastbar? Hm…
Das hört sich alles soweit gut an. Was hier leider nicht erkennbar für mich ist, Luft die App dann immer im Hintergrund und greift in meine Kommunikation ein, oder muss ich sie explizit ansprechen?
Was auch gut wäre, wenn sie zum Beispiel Gespräche von anderen Sprechen automatisch in Deutsch übersetzen könnte.
Das würde doch dem sandbox Ansatz widersprechen
Was noch erwähnt werden sollte: die zensur der chinesischen regierung in deep seek. Näheres dazu auch im ki podcast: https://podcasts.apple.com/de/podcast/der-ki-podcast/id1698961192?i=1000684785263
Das mit der Zensur in Chinas Internet ist leider noch nie wirklich verifiziert worden. Der Deutschlandfunk berichtete im letzten Jahr, dass China das deutsche Telekommunikationsgesetz 1:1 übernommen hat. Wenn dort zensiert wird, dann nicht mehr als in Deutschland.
Deepseek ist meinen Tests nach für die deutsche Sprache leider nicht zu gebrauchen. Das sollte man auch bedenken.
Ansonsten ist Privat LLM als App zu empfehlen.
Alternativen: Fullmoon, Apollo, PocketPal
Mit freundlichen Grüßen
Sven
Was veranlasst Dich zu dieser Aussage?
Bist Du Entwickler, KI Spezialist etc?
Würde mich über etwas mehr Hintergrund bzgl. Deiner Aussage freuen.
Danke Dir.
Weil die Trainigsdaten zu grossen Teilen aus chinesischen oder englischen Texten bestehen und nur einige andere Sprachen in recht kleinem Umfang enthalten sind, die nach der Destillation, Quantisierung usw. sogar nicht weniger relevant sind.
Generell DeepSeek? Welches Modell davon hast Du getestet?
Nein, Llama 3.3 gibt es bei Private LLM nicht zur Auswahl, wie ihr fälschlich schreibt. Außerdem sollte man bedenken, dass alle in der App verfügbaren Modelle nur kleine Varianten der jeweiligen Modelle sind. Kein einziges davon reicht in der Form auch nur annähernd an die Performance von ChatGPT heran, wie ihr behauptet.
Da hast du natürlich recht, an die Performance von ChatGPT wird hier nicht ansatzweise herangekommen. Ich habe dies im Text mal präzisiert.
Natürlich kann man Llama 3.3 in PrivateLLM nutzen, aber nur auf dem Mac.
DeepSeek – so „offline“, dass die App zuerst einmal nach einer Anmeldung verlangt … nö
Welche Modelle sind denn zu empfehlen um im „Alltag“ Hilfe zu bekommen? Welches Model eignet sich um mit Python, PHO oder Swift zu programmieren?
„Anmeldung derzeit nicht möglich“. Tja…