ChatterUI App
Execute LLMs no dispositivo ou conecte-se a várias APIs comerciais ou de código aberto. O ChatterUI visa fornecer uma interface amigável para dispositivos móveis com controle detalhado sobre a estruturação do chat.Características:
Execute LLMs no dispositivo em Modo Local
Conecte-se a várias APIs em Modo Remoto
Converse com personagens. (Suporta a especificação Character Card v2.)
Crie e gerencie múltiplos chats por personagem.
Personalize os campos de Amostragem e a formatação de Instruções
Integra-se com o mecanismo de texto-para-fala (TTS) do seu dispositivo
Para usar a inferência no dispositivo, primeiro ative o Modo Local, depois vá para Modelos > Importar Modelo / Usar Modelo Externo e escolha um modelo gguf que possa caber na memória do seu dispositivo. As funções de importação são as seguintes:
Importar Modelo: Copia o arquivo do modelo para o ChatterUI, potencialmente acelerando o tempo de inicialização.
Usar Modelo Externo: Utiliza um modelo diretamente do armazenamento do seu dispositivo, removendo a necessidade de copiar arquivos grandes para o ChatterUI, mas com uma leve demora nos tempos de carregamento.
Depois disso, você pode carregar o modelo e começar a conversar!
Nota: Para dispositivos com Snapdragon 8 Gen 1 e acima ou Exynos 2200+, é recomendável usar a quantização Q4_0 para desempenho otimizado.
O Modo Remoto permite que você se conecte a algumas APIs comuns de projetos comerciais e de código aberto.
