ChatterUI 앱
장치에서 LLM을 실행하거나 다양한 상용 또는 오픈 소스 API에 연결하세요. ChatterUI는 채팅 구조에 대한 세밀한 제어를 제공하는 모바일 친화적인 인터페이스를 목표로 합니다.기능:
장치에서 LLM을 로컬 모드로 실행
원격 모드에서 다양한 API에 연결
캐릭터와 채팅하기. (캐릭터 카드 v2 사양을 지원합니다.)
캐릭터당 여러 채팅을 생성하고 관리
샘플러 필드 및 지시 형식 사용자 정의
장치의 텍스트 음성 변환(TTS) 엔진과 통합
장치에서 추론을 사용하려면 먼저 로컬 모드를 활성화한 다음, 모델 > 모델 가져오기 / 외부 모델 사용으로 이동하여 장치의 메모리에 맞는 gguf 모델을 선택하세요. 가져오기 기능은 다음과 같습니다:
모델 가져오기: 모델 파일을 ChatterUI로 복사하여 시작 시간을 단축할 수 있습니다.
외부 모델 사용: 장치 저장소의 모델을 직접 사용하여 대용량 파일을 ChatterUI로 복사할 필요가 없지만 로드 시간에 약간의 지연이 발생합니다.
그 후, 모델을 로드하고 채팅을 시작할 수 있습니다!
참고: Snapdragon 8 Gen 1 이상 또는 Exynos 2200+ 장치에는 최적화된 성능을 위해 Q4_0 양자화를 사용하는 것이 권장됩니다.
원격 모드는 상용 및 오픈 소스 프로젝트의 몇 가지 일반적인 API에 연결할 수 있게 해줍니다.
