ChatterUI 應用程式
在設備上運行 LLM 或連接各種商業或開源 API。ChatterUI 旨在提供一個適合移動設備的界面，並對聊天結構進行細緻控制。功能：
在本地模式下在設備上運行 LLM
在遠程模式下連接各種 API
與角色聊天。（支持 Character Card v2 規範。）
為每個角色創建和管理多個聊天。
自定義取樣器字段和指令格式
與您設備的文本轉語音 (TTS) 引擎集成
要使用設備上的推斷，首先啟用本地模式，然後轉到模型 > 導入模型 / 使用外部模型，選擇一個適合您設備內存的 gguf 模型。導入功能如下：
導入模型：將模型文件複製到 ChatterUI 中，可能加快啟動時間。
使用外部模型：直接使用來自您設備存儲的模型，消除了將大型文件複製到 ChatterUI 的需要，但加載時間會稍有延遲。
之後，您可以加載模型並開始聊天！
注意：對於配備 Snapdragon 8 Gen 1 及以上或 Exynos 2200+ 的設備，建議使用 Q4_0 量化以優化性能。
遠程模式允許您連接來自商業和開源項目的幾個常見 API。
