Für iPhone, iPad und Mac
App-Geheimtipp: Fullmoon bietet lokalen und kostenfreien KI-Chat
Mit der neu veröffentlichten Applikation Fullmoon ist ab sofort eine neue Anwendung im App Store verfügbar, die es ermöglicht, KI-Modelle lokal auf Apple-Geräten zu nutzen. Die Entwickler betonen, dass die Anwendung vollständig offline arbeitet und dabei für den Einsatz auf Apple-Prozessoren optimiert wurde.
Nutzer können mit großen Sprachmodellen wie Llama 3.2 interagieren, ohne dass eine Verbindung zu externen Servern erforderlich ist. Laut Angaben der Entwickler läuft die App auf allen relevanten Apple-Plattformen, neben iOS und macOS auch iPadOS und visionOS.
Die Fullmoon-App bietet die Möglichkeit, sogenannte Large Language Models (LLMs) direkt auf den Geräten zu verwenden. Diese Modelle, darunter Varianten mit bis zu 3 Milliarden Parametern, sollen durch ihre lokale Verarbeitung hohe Datenschutzstandards gewährleisten, da keine Daten an externe Dienste übermittelt werden.
Um die Anwendung ressourcenschonend zu gestalten, kommen KI-Modelle mit reduzierter Präzision (4-Bit) zum Einsatz. Auf ifun.de haben wir die App bereits während ihrer Betaphase besprochen.
Individuell anpassbar
Fullmoon ist nicht nur technisch vielseitig, sondern auch individuell anpassbar. Nutzer können das Erscheinungsbild der App durch verschiedene Themen und Schriftarten gestalten und den System-Prompt anpassen, also die Grundeinstellung, wie das Modell auf Eingaben reagiert.
Zudem steht eine Integration mit Apples Kurzbefehlen zur Verfügung, die es erlaubt, KI-gestützte Antworten in andere Anwendungen zu übertragen.
Kostenfrei und quelloffen
Das Entwicklerteam hinter Fullmoon, Mainframe, hat die App sowohl kostenfrei als auch als Open-Source-Software veröffentlicht. Interessierte können die Anwendung direkt aus dem App Store laden oder den Quellcode über GitHub einsehen.
Die bereitgestellten Modelle, darunter die Versionen Llama-3.2-1B-Instruct und Llama-3.2-3B-Instruct, haben eine Größe von bis zu 1,8 GB und müssen nach der Installation gesondert geladen werden.
Moin,
ich bin noch unerfahren mit der Nutzung von KI, bisher mal die eine oder andere Frage an Chat-GPT, zu den lokal laufenden Apps daher mal einen Frage in die Runde:
Wenn die Sprachmodelle geladen werden und auf dem Endgerät liegen und keine Verbindung nach außen haben, wie sollen dann aktuelle Informationen einbezogen werden? Oder müssen die Modelle täglich oder bei jeder neuen Frage erst geupdatet werden?
Mir ist nicht so ganz klar, wie es geht, das Antworten dann nicht ggf. veralteten Informationen haben, kann man das hier mal aufklären für Laien wie mich?
Danke und Gruß in die Runde ;-)
Das ist im Grunde genommen ganz einfach. Aktuelle K.I. Modelle werden mit einem Datensatz trainiert, wobei die Daten immer bis zu einem bestimmten Datum reichen. Alles nach dem Datum weiß das KI Modell nicht. Verschiedene Anbieter haben zusätzlich eine online Anbindung, in welchen das Modell nach aktuellen Informationen zusätzlich sucht. Das funktioniert logischerweise bei den offline Modell nicht. Du hast also nur ein Datensatz, der bis zu einem bestimmten Datum reicht. Alles, was nach diesem Datum kommt und neue Informationen sind, wird dir das offline Modell nicht beantworten können.
Gut erklärt! Nicht ironisch gemeint.
Danke CaCO3,
anders hätte ich es mir auch nicht vorstellen können (aus logischer Sicht).
Dann ist natürlich die Nutzung eingeschränkt auf Anfragen, die keinerlei aktuelle Bezüge haben (übersetze den Text, oder schreib mir den Brief um, oder wer hat das Rad erfunden, usw.)
Natürlich gibt es hier eine Nutzergruppe, aber für mich wäre es dann eher nichts.
Danke für die Erklärung!
Kann ich einer solchen App auch lokal „Wissen“ zur Verfügung stellen, z.B. Texte im pdf-Format, und die App im Nachgang zu diesen Inhalten befragen oder mir Zusammenfassungen erstellen lassen? Oder sind Apps wie diese dafür nicht geeignet und es gibt andere Apps dafür (welche)?
Danke und Grüße!
Lars, was CaCO3 gesagt hat ist schon ein guter Anfang aber es kommt noch folgendes hinzu:
Die beiden hier in dieser App bereitgestellten Modelle sind schon eher schwach was das „Weltwissen“ anbelangt aber für Zusammenfassungen, das Umschreiben von Texten, Korrekturen, Grammatik usw. sind sie schon geeignet. Auch unstrukturierten Text verarbeiten, überhaupt mit Texten zu arbeiten, sich ein Gedicht schreiben zu lassen oder so usw.
Was eher schlechter funktioniert sind Abfragen von Wissen wie Mathe oder auch Geschichte, Geografie oder anderen Fakten etc. Hier können dann Halluzinationen entstehen da die Modelle einfach zu stark komprimiert wurden (nur 4bit) und dann sehr wenige Parameter (wie hier 1 oder 3 Billionen) besitzen.
Auf einem iPad Pro mit M2 läuft z.B. auch Llama in 8bit mit 8 Billionen Parametern, das ist schon ein bisschen besser was das Wissen anbelangt. Kommt halt immer auf den Einsatzzweck an.
Bit- & Parameter-Anzahl gibt also das enthaltene Wissen und Können an, also ganz grob gesprochen (Profis bitte weghören). Und diese Modelle hier sind am absolut unteren Ende – dafür nahezu überall nutzbar, also auch unter 8GB RAM im Gerät.
Oh, ein guter Test ist: frag mal was die ursprüngliche Hauptstadt Italiens war. Häufig kommt irgendwas mit Rom bei diesen einfachen Modellen raus, korrekt wäre aber Turin.
Hier die falsche Antwort von Llama3.1 mit 8B Params und 8bit:
„Die ursprüngliche Hauptstadt Italiens war Rom. Vor der Einigung Italiens im Jahr 1861 waren verschiedene italienische Staaten, wie das Königreich Sardinien und das Königreich Sizilien, eigenständige Reiche mit ihren eigenen Hauptstädten. Durch den Prozess der Einigung unter dem Führer Viktor Emanuel II. wurde Rom schließlich zur Hauptstadt des neuen Königreichs Italien und blieb es auch nach der Gründung des italienischen Staates im Jahr 1946 als Republik Italien.“
Mist, hier fehlt noch eine Antwort, die in der Moderation feststeckt…
Mit was bekommt man denn die 8Bit KI auf das iPad?
Kann mir jemand mal ein paar Nutzungsbeispiele mitteilen?
Formuliere eine Freundliche Kündigung an meinen Stromanbieter. Erkläre mit den Dreisatz als ob ich fünf Jahre alt wäre. Was sind Modalpartikel in der deutschen Sprache. Korrigiere diesen Text auf Rechtschreibfehler.
Die Anwendung unterstützt aber lt. Beschreibung nur die englische Sprache, oder?
Nein. Sie spricht auch deutsch
@Toxic2k Danke, gut zu wissen!
Man kann auch z.B. Home Assistant für die Sprachassistenz auf eine lokale KI verweisen. Damit muss man keine genaue Syntax für seine Kommandos nutzen. Die KI versteht dann auch, wenn man sagt „Ich brauche mehr Licht zum Arbeiten“, damit die Beleuchtung im Raum heller gemacht wird.
Das geht wo einzustellen im HA?
Nur auf Englisch oder auch auf Deutsch ?
Auch auf deutsch
Dankeschön
Nun ja, ausprobiert und ich denke ist mit Vorsicht zu genießen. Auf die simple Frage zu den bisherigen Bundeskanzlern in D gibt es dazwischen dubiose Nennungen.
1. Konrad Adenauer (1949-1963)
2. Ludwig Erhard (1963-1966)
3. Kurt Georg Kiesinger (1966-1969)
4. Heinrich Lübke (1969-1974)
5. Wilhelm Brandt (1974-1978)
6. Helmuth Schmidt (1978-1982)
7. Hans-Dietrich Genscher (1982-1992)
8. Lothar de Maizière (1992)
9. Karl-Theodor zu Saldern (1992)
10. Hans-Martin Jakobs (1992)
11. Franz Müller (1993)
12. Rudolf Scharf (1993-1994)
13. Franz Müller (1994)
14. Wolfgang Schäuble (1994-1998)
15. Gerhard Schröder (1998-2005)
16. Angela Merkel (2005-2021)
17. Olaf Scholz (2021-heute)
;)
Für die Erklärung warum dies so ist, bitte meinen Kommentar oben anschauen. Diese Modelle sind nicht für das Abfragen von Wissen gemacht oder zu gebrauchen! Klassischer Fall von „Du hältst (verwendest) es falsch“ :-D
Bei mir kam diese Antwort:
Liste alle bisherigen Bundeskanzler
Сору
Share…
Hier ist eine Liste der Bundeskanzler in Deutschland von 1949 bis 2023:
1. Konrad Adenauer (1949-1963)
2. Ludwig Erhard (1963-1966)
3. Kurt Georg Kiesinger (1966-1969)
4. Willy Brandt (1969-1974)
5. Helmut Schmidt (1974-1982)
6. Helmut Kohl (1982-1998)
7. Gerhard Schröder (1998-2005)
8. Angela Merkel (2005-2021)
9. Olaf Scholz (2021-heute)
Hinweis: Diese Liste ist bis 2023 beschränkt. Es könnte weitere Bundeskanzler geben, die nach meinem letzten Wissensstand nicht berücksichtigt wurden.
Für alle die damit gerne rumexperimentieren, kann ich die App Apollo empfehlen und darin unbedingt das LLM Ministral. Das hat erstaunliche Fähigkeiten und funktioniert für mich nahezu perfekt.
Es sollte aber echt eher ein iPhone 15 oder neuer sein, denn nebenbei macht man dann nichts. Ministral braucht den kompletten ram. :-)
Ja, so ist es. Manche Dinge sind schlichtweg falsch oder nicht aktuell bei den „kleinen“ KI Modellen. Drauf verlassen darf man sich nicht. Aber um manche Texte um zu schreiben oder sowas ist es ganz nett.
Wie lange dauert die Installation des Modells? Installation läuft bei mir seit einer Stunde. iPhone 13
2min
Hat evtl. jemand Tipps für eine experimentelle Einbindung per Shortcuts? Oder gibt es irgendwo bereits Kurzbefehle dazu?
man kann sich auf diese Teile nicht mal im Ansatz verlassen. Erschreckend was da geliefert wird. Das was man an Zeit scheinbar einspart, verschwendet man beim anschließendem Faktencheck.