Handy Ai アプリ
Handy Aiは、画面を見てからアプリ内でタップ、入力、スワイプを行い、タスクを完了するClaudeを使用したオープンソースのAndroid AIエージェントです。視覚障がい、弱視、運動機能に制約のあるユーザー向けに設計されており、Androidアプリをハンズフリーで操作する用途にも対応します。
タスクを話しかけるか入力すると、各ステップが音声で読み上げられ、いつでも停止できます。このアプリにはAndroid 11以降とアクセシビリティ権限が必要です。また、含まれているClaudeのステップやご自身のAnthropic APIキーに対応しており、画面上のテキストを読むためのオンデバイスOCRも備えています。
音声入力、Text-to-speechによるナレーション、名前付きエイリアス、ローカルのチャット履歴、そして大きなマイクボタン1つの簡単モードにより、インターフェースをより使いやすくしています。フローティングのアクセシビリティショートカットを使えば、どこからでもアプリを開けます。
機能
- 音声認識による音声優先のタスク入力
- Claudeによるタップ、入力、スワイプ、待機
- Text-to-speechによるステップごとの読み上げ
- 画面上のテキストを読むためのオンデバイスOCR
- すばやくアクセスできるアクセシビリティショートカットボタン
- 大きなマイクボタン1つのEasy Mode
- 連絡先、注文、その他のショートカット用の名前付きエイリアス
- 複数セッションに対応したローカルのチャット履歴
- 送信、購入、削除の前に表示される破壊的操作の警告
