ChatterUI 应用
在设备上运行LLM或连接到各种商业或开源API。ChatterUI旨在提供一个移动友好的界面,以便对聊天结构进行细致控制。功能:
在本地模式下在设备上运行LLM
在远程模式下连接各种API
与角色聊天。(支持角色卡v2规范。)
为每个角色创建和管理多个聊天。
自定义采样器字段和指令格式
与您设备的文本转语音(TTS)引擎集成
要使用设备上的推理,首先启用本地模式,然后转到模型 > 导入模型 / 使用外部模型,选择一个适合您设备内存的gguf模型。导入功能如下:
导入模型:将模型文件复制到ChatterUI,可能会加快启动时间。
使用外部模型:直接使用您设备存储中的模型,免去将大文件复制到ChatterUI的需要,但加载时间略有延迟。
之后,您可以加载模型并开始聊天!
注意:对于配备Snapdragon 8 Gen 1及以上或Exynos 2200+的设备,建议使用Q4_0量化以优化性能。
远程模式允许您连接到一些来自商业和开源项目的常见API。









