ChatterUI Application
Exécutez des LLM sur l'appareil ou connectez-vous à diverses API commerciales ou open source. ChatterUI vise à fournir une interface conviviale pour mobile avec un contrôle précis sur la structuration des discussions.Fonctionnalités :
Exécutez des LLM sur l'appareil en Mode Local
Connectez-vous à diverses API en Mode Distant
Discutez avec des personnages. (Prend en charge la spécification Character Card v2.)
Créez et gérez plusieurs discussions par personnage.
Personnalisez les champs Sampler et le formatage des Instructions
S'intègre au moteur de synthèse vocale (TTS) de votre appareil
Pour utiliser l'inférence sur l'appareil, activez d'abord le Mode Local, puis allez dans Modèles > Importer un Modèle / Utiliser un Modèle Externe et choisissez un modèle gguf qui peut tenir dans la mémoire de votre appareil. Les fonctions d'importation sont les suivantes :
Importer un Modèle : Copie le fichier modèle dans ChatterUI, ce qui peut accélérer le temps de démarrage.
Utiliser un Modèle Externe : Utilise un modèle directement depuis le stockage de votre appareil, supprimant le besoin de copier de gros fichiers dans ChatterUI mais avec un léger retard dans les temps de chargement.
Après cela, vous pouvez charger le modèle et commencer à discuter !
Remarque : Pour les appareils avec Snapdragon 8 Gen 1 et supérieur ou Exynos 2200+, il est recommandé d'utiliser la quantification Q4_0 pour des performances optimisées.
Le Mode Distant vous permet de vous connecter à quelques API courantes provenant de projets commerciaux et open source.
