ChatterUI App
Ejecute LLMs en el dispositivo o conéctese a varias API comerciales o de código abierto. ChatterUI tiene como objetivo proporcionar una interfaz amigable para dispositivos móviles con control detallado sobre la estructuración del chat.Características:
Ejecute LLMs en el dispositivo en Modo Local
Conéctese a varias API en Modo Remoto
Chatee con personajes. (Soporta la especificación Character Card v2.)
Cree y gestione múltiples chats por personaje.
Personalice los campos de Sampler y el formato de Instruct
Se integra con el motor de texto a voz (TTS) de su dispositivo
Para usar la inferencia en el dispositivo, primero habilite el Modo Local, luego vaya a Modelos > Importar Modelo / Usar Modelo Externo y elija un modelo gguf que pueda caber en la memoria de su dispositivo. Las funciones de importación son las siguientes:
Importar Modelo: Copia el archivo del modelo en ChatterUI, lo que puede acelerar el tiempo de inicio.
Usar Modelo Externo: Utiliza un modelo directamente del almacenamiento de su dispositivo, eliminando la necesidad de copiar archivos grandes en ChatterUI, pero con una ligera demora en los tiempos de carga.
¡Después de eso, puede cargar el modelo y comenzar a chatear!
Nota: Para dispositivos con Snapdragon 8 Gen 1 y superiores o Exynos 2200+, se recomienda usar la cuantización Q4_0 para un rendimiento optimizado.
El Modo Remoto le permite conectarse a algunas API comunes de proyectos comerciales y de código abierto.
