ChatterUI App
Führen Sie LLMs auf dem Gerät aus oder verbinden Sie sich mit verschiedenen kommerziellen oder Open-Source-APIs. ChatterUI zielt darauf ab, eine mobilfreundliche Benutzeroberfläche mit feinkörniger Kontrolle über die Chat-Strukturierung bereitzustellen.Funktionen:
Führen Sie LLMs im lokalen Modus auf dem Gerät aus
Verbinden Sie sich mit verschiedenen APIs im Remote-Modus
Chatten Sie mit Charakteren. (Unterstützt die Character Card v2-Spezifikation.)
Erstellen und verwalten Sie mehrere Chats pro Charakter.
Passen Sie die Sampler-Felder und das Instruct-Format an
Integriert sich mit der Text-to-Speech (TTS)-Engine Ihres Geräts
Um die Inferenz auf dem Gerät zu nutzen, aktivieren Sie zuerst den lokalen Modus, gehen Sie dann zu Modelle > Modell importieren / Externes Modell verwenden und wählen Sie ein gguf-Modell aus, das in den Speicher Ihres Geräts passt. Die Importfunktionen sind wie folgt:
Modell importieren: Kopiert die Modell-Datei in ChatterUI, was die Startzeit möglicherweise verkürzt.
Externes Modell verwenden: Verwendet ein Modell direkt aus dem Speicher Ihres Geräts, wodurch die Notwendigkeit entfällt, große Dateien in ChatterUI zu kopieren, jedoch mit einer leichten Verzögerung bei den Ladezeiten.
Danach können Sie das Modell laden und mit dem Chatten beginnen!
Hinweis: Für Geräte mit Snapdragon 8 Gen 1 und höher oder Exynos 2200+ wird empfohlen, die Q4_0-Quantisierung für optimierte Leistung zu verwenden.
Der Remote-Modus ermöglicht es Ihnen, sich mit einigen gängigen APIs aus sowohl kommerziellen als auch Open-Source-Projekten zu verbinden.
