ChatterUI Aplikasi
Jalankan LLM di perangkat atau sambungkan ke berbagai API komersial atau sumber terbuka. ChatterUI bertujuan untuk menyediakan antarmuka yang ramah seluler dengan kontrol yang lebih mendetail atas struktur obrolan.Fitur:
Jalankan LLM di perangkat dalam Mode Lokal
Sambungkan ke berbagai API dalam Mode Jarak Jauh
Berbincang dengan karakter. (Mendukung spesifikasi Kartu Karakter v2.)
Buat dan kelola beberapa obrolan per karakter.
Sesuaikan bidang Sampler dan format Instruksi
Terintegrasi dengan mesin teks-ke-suara (TTS) perangkat Anda
Untuk menggunakan inferensi di perangkat, pertama aktifkan Mode Lokal, lalu pergi ke Models > Import Model / Use External Model dan pilih model gguf yang dapat muat di memori perangkat Anda. Fungsi impor adalah sebagai berikut:
Import Model: Menyalin file model ke dalam ChatterUI, berpotensi mempercepat waktu startup.
Use External Model: Menggunakan model dari penyimpanan perangkat Anda secara langsung, menghilangkan kebutuhan untuk menyalin file besar ke dalam ChatterUI tetapi dengan sedikit penundaan dalam waktu pemuatan.
Setelah itu, Anda dapat memuat model dan mulai berbincang!
Catatan: Untuk perangkat dengan Snapdragon 8 Gen 1 dan di atasnya atau Exynos 2200+, disarankan untuk menggunakan kuantisasi Q4_0 untuk kinerja yang dioptimalkan.
Mode Jarak Jauh memungkinkan Anda untuk terhubung ke beberapa API umum dari proyek komersial dan sumber terbuka.
