ChatterUI App
Esegui LLM sui dispositivi o connettiti a vari API commerciali o open source. ChatterUI mira a fornire un'interfaccia mobile-friendly con un controllo dettagliato sulla strutturazione delle chat.Caratteristiche:
Esegui LLM sul dispositivo in Modalità Locale
Connettiti a vari API in Modalità Remota
Chatta con i personaggi. (Supporta la specifica Character Card v2.)
Crea e gestisci più chat per personaggio.
Personalizza i campi Sampler e il formato Instruct
Si integra con il motore di sintesi vocale (TTS) del tuo dispositivo
Per utilizzare l'inferenza sul dispositivo, prima abilita la Modalità Locale, poi vai su Modelli > Importa Modello / Usa Modello Esterno e scegli un modello gguf che possa adattarsi alla memoria del tuo dispositivo. Le funzioni di importazione sono le seguenti:
Importa Modello: Copia il file del modello in ChatterUI, potenzialmente accelerando il tempo di avvio.
Usa Modello Esterno: Utilizza un modello direttamente dallo storage del tuo dispositivo, rimuovendo la necessità di copiare file di grandi dimensioni in ChatterUI, ma con un leggero ritardo nei tempi di caricamento.
Dopo di che, puoi caricare il modello e iniziare a chattare!
Nota: Per i dispositivi con Snapdragon 8 Gen 1 e superiori o Exynos 2200+, si consiglia di utilizzare la quantizzazione Q4_0 per prestazioni ottimizzate.
La Modalità Remota ti consente di connetterti a alcune API comuni sia di progetti commerciali che open source.
