SmolChat App
SmolChat ist eine On-Device-Inferenz von SLMs auf Android.
Projektziele
- Bereitstellung einer benutzbaren Benutzeroberfläche zur Interaktion mit lokalen SLMs (kleine Sprachmodelle) direkt auf dem Gerät
- Ermöglichung für Benutzer, SLMs (GGUF-Modelle) hinzuzufügen/zu entfernen und ihre Systemaufforderungen oder Inferenzparameter (Temperatur, min-p) zu modifizieren
- Benutzern die schnelle Erstellung spezifischer nachgelagerter Aufgaben zu ermöglichen und SLMs zur Generierung von Antworten zu verwenden
- Einfache, leicht verständliche und erweiterbare Codebasis
