ChatterUI Ứng dụng
Chạy LLM trên thiết bị hoặc kết nối với các API thương mại hoặc mã nguồn mở khác nhau. ChatterUI nhằm cung cấp một giao diện thân thiện với di động với khả năng kiểm soát chi tiết về cấu trúc trò chuyện.Các tính năng:
Chạy LLM trên thiết bị ở Chế độ Địa phương
Kết nối với các API khác nhau ở Chế độ Từ xa
Trò chuyện với các nhân vật. (Hỗ trợ thông số kỹ thuật Thẻ Nhân vật v2.)
Tạo và quản lý nhiều cuộc trò chuyện cho mỗi nhân vật.
Tùy chỉnh các trường Sampler và định dạng Hướng dẫn
Tích hợp với bộ chuyển đổi văn bản thành giọng nói (TTS) của thiết bị bạn
Để sử dụng suy diễn trên thiết bị, trước tiên hãy bật Chế độ Địa phương, sau đó đi tới Models > Import Model / Use External Model và chọn một mô hình gguf phù hợp với bộ nhớ của thiết bị bạn. Các chức năng nhập mô hình như sau:
Import Model: Sao chép tệp mô hình vào ChatterUI, có thể làm tăng tốc độ khởi động.
Use External Model: Sử dụng mô hình từ bộ nhớ thiết bị của bạn trực tiếp, loại bỏ nhu cầu sao chép các tệp lớn vào ChatterUI nhưng có một chút độ trễ trong thời gian tải.
Sau đó, bạn có thể tải mô hình và bắt đầu trò chuyện!
Lưu ý: Đối với các thiết bị có Snapdragon 8 Gen 1 trở lên hoặc Exynos 2200+, nên sử dụng định lượng Q4_0 để tối ưu hóa hiệu suất.
Chế độ Từ xa cho phép bạn kết nối với một số API phổ biến từ cả các dự án thương mại và mã nguồn mở.
