Für Llama 2, Mistral, Vicuna und Co.
Enchanted LLM: KI-App für selbst verwaltete Sprachmodelle
Zwar gibt der KI-Chatbot ChatGPT nach wie vor den Ton an, allerdings ist das Angebot von OpenAI nicht alternativlos. Im Netz bieten sich zahlreiche Chatbots von Drittanbietern wie Meta an, die sich lokal und kostenlos nutzen lassen. Anwendungen wie Private LLM machen den Einsatz alternativer Sprachmodelle dabei schon länger auch direkt auf dem iPhone möglich.
App für selbst verwaltete Sprachmodelle
Mit der noch recht jungen Universal-App Enchanted LLM steht nun auch eine gänzlich kostenfreie Anwendung für iPhone, Mac und Vision Pro zur Verfügung, die es euch ermöglicht, mit selbst gehosteten KI-Modellen zu interagieren.
Die Enchanted-App unterstützt die Ollama API und ist kompatibel mit Modellen wie Mistral, Vicuna und anderen. Um Enchanted nutzen zu können, muss in den Einstellungen der Open-Source-Anwendung lediglich ein aktiver Ollama-Server eingetragen werden.
Anwender können schnell zwischen verschiedenen Modellen wechseln, um ihre Eingaben zu testen. Zudem unterstützt die App Markdown, ist also in der Lage, Tabellen, Listen und Codeblöcke ansprechend zu formatieren. Läuft der Ollama-Server im eigenen Heimnetzwerk, kann die Anwendung vollständig offline eingesetzt werden.
Viele Komfort-Funktionen an Bord
Zu den weiteren Funktionen von Enchanted gehören die Text-zu-Sprache-Funktion, die Einbeziehung der Gesprächshistorie in API-Aufrufe, ein Dunkel- und Hellmodus sowie die Speicherung der Gesprächshistorie auf dem Gerät.
Zudem bietet die App Sprachsteuerung, die Möglichkeit, Bilddateien in den Eingaben anzuhängen, anpassbare Systemvorgaben für jede Konversation und die Option, Nachrichteninhalte zu bearbeiten oder mit einem anderen Modell erneut zu senden. Eine Löschfunktion für einzelne oder alle Konversationen und die Integration von Spotlight unter macOS runden das Angebot ab.
Zur Installation eines Ollama-Servers auf dem Mac eignet sich die Mac-Anwendung Ollama.
Weis jemand obs sowas wie LM Studio aber für iOS gibt? Womit man LLMs wie Mistral 7B, Llama 3 oder Phi-3 lokal ausführen kann?
Ja, Private LLM. Wurde hier auch vor einiger Zeit vorgestellt.
Guck mal nach LLM Farm, damit kannst du auch Adapter finetunen etc.
Das Model wird lokal ausgeführt aber man braucht dennoch einen Server?
Ja, du führst das Modell lokal auf deinem Mac aus. Dann kannst du Enchanted LLM gleichzeitig als Client auf dem Mac, auf iPhone, iPad und Apple Vision nutzen, ohne die auf allen Maschinen das ~5 GB große Modell laden zu müssen. Hast einen einheitlichen Chatverlauf und kannst Änderungen am Modell an nur einer Stelle vornehmen, ohne dies auf allen Clients nacheinander angehen zu müssen.
Wer Ollama auf dem Mac für den Server nutzt: Einmal beenden, dann im Terminal:
launchctl setenv OLLAMA_HOST „0.0.0.0“
Dies macht den Server dann für alle Clients über die lokale IP des Mac erreichbar.
Kann ich mit sowas auch AppleHome steuern ?