ChatterUI Aplikasi
Jalankan LLM di peranti atau sambungkan ke pelbagai API komersial atau sumber terbuka. ChatterUI bertujuan untuk menyediakan antara muka mesra mudah alih dengan kawalan terperinci ke atas struktur sembang.Ciri-ciri:
Jalankan LLM di peranti dalam Mod Tempatan
Sambungkan ke pelbagai API dalam Mod Jauh
Sembang dengan watak. (Menyokong spesifikasi Kad Watak v2.)
Cipta dan urus pelbagai sembang bagi setiap watak.
Sesuaikan medan Sampler dan format Arahan
Mengintegrasikan dengan enjin teks-ke-ucapan (TTS) peranti anda
Untuk menggunakan inferens pada peranti, pertama aktifkan Mod Tempatan, kemudian pergi ke Models > Import Model / Use External Model dan pilih model gguf yang boleh muat dalam memori peranti anda. Fungsi pengimportan adalah seperti berikut:
Import Model: Menyalin fail model ke dalam ChatterUI, berpotensi mempercepatkan masa permulaan.
Use External Model: Menggunakan model dari storan peranti anda secara langsung, menghapuskan keperluan untuk menyalin fail besar ke dalam ChatterUI tetapi dengan sedikit kelewatan dalam masa muat.
Selepas itu, anda boleh memuatkan model dan mula sembang!
Nota: Untuk peranti dengan Snapdragon 8 Gen 1 dan ke atas atau Exynos 2200+, disyorkan untuk menggunakan kuantisasi Q4_0 untuk prestasi yang dioptimumkan.
Mod Jauh membolehkan anda menyambung ke beberapa API biasa dari projek komersial dan sumber terbuka.
