ChatterUI Приложение
Запускайте LLM на устройстве или подключайтесь к различным коммерческим или открытым API. ChatterUI стремится предоставить мобильный интерфейс с тонкой настройкой структуры чата.Функции:
Запуск LLM на устройстве в локальном режиме
Подключение к различным API в удаленном режиме
Чат с персонажами. (Поддерживает спецификацию Character Card v2.)
Создание и управление несколькими чатами для каждого персонажа.
Настройка полей Sampler и форматирования Instruct
Интеграция с текстовым движком синтеза речи (TTS) вашего устройства
Чтобы использовать инференс на устройстве, сначала включите локальный режим, затем перейдите в Models > Import Model / Use External Model и выберите модель gguf, которая может поместиться в память вашего устройства. Функции импорта следующие:
Import Model: Копирует файл модели в ChatterUI, потенциально ускоряя время запуска.
Use External Model: Использует модель непосредственно из памяти вашего устройства, устраняя необходимость копирования больших файлов в ChatterUI, но с небольшой задержкой в времени загрузки.
После этого вы можете загрузить модель и начать чат!
Примечание: Для устройств с Snapdragon 8 Gen 1 и выше или Exynos 2200+ рекомендуется использовать квантование Q4_0 для оптимизированной производительности.
Удаленный режим позволяет вам подключаться к нескольким распространенным API как коммерческих, так и открытых проектов.
