自分のAIモデル(LM Studio、Ollama、Geminiのキー)の設定手順
- iPhone・iPad
自分のコンピューターにAIモデルがある場合やAPIキーを持っている場合、JayNestはそのモデルにアイテムの名前、カテゴリ、項目を問い合わせることができます。OpenAI互換のサーバーのアドレス、キー、モデルを入力します。写真は自分のサーバーに送られ、JayNestには送られません。
iPhoneの場合
- 設定 タブで 認識 をタップし、アイテムを認識 で 自分のAIモデル をタップします。サーバーの設定画面が開きます。
- アドレスの欄にサーバーのアドレスを入力します。
- 自宅のコンピューター:ホームネットワーク上のアドレスとポート。例:LM Studioなら
http://192.168.1.20:1234、Ollamaならhttp://192.168.1.20:11434 - Gemini:
https://generativelanguage.googleapis.com/v1beta/openai
- 自宅のコンピューター:ホームネットワーク上のアドレスとポート。例:LM Studioなら
- サーバーにキーが必要な場合は、APIキー(任意) に入力します。GeminiではGoogle AI Studioで取得したキーを使います。
- 接続を確認 をタップします。自宅のコンピューターの場合、iPhoneがローカルネットワークへのアクセスを求めるので、許可します。接続すると、サーバー上のモデルの数が表示され、モデル の欄が一覧に変わります。モデルを選びます。
- 認識 画面に戻ると、自分のAIモデル にチェックマークが付き、その行にサーバーのアドレスが表示されます。
- 試しに、新しいアイテムで写真を撮ってみてください。写真の下に、候補があなたのモデルによるものだと表示されます。
コンピューターのサーバー
- LM Studio: 画像を理解できるモデルをダウンロードします。Developerタブで、ローカルネットワークに公開する設定(「Serve on Local Network」)でサーバーをオンにします。サーバーのアドレスは「Reachable at」の横に表示されます。
- Ollama: 画像を理解できるモデルをダウンロードし、ネットワークからアクセスできるサーバーを起動します(例:
OLLAMA_HOST=0.0.0.0 ollama serve)。アドレスはhttp://<コンピューターのアドレス>:11434です。 - 端末とコンピューターは同じネットワークにある必要があります。外出先では、自分のサーバーやトンネルなどを使った
https://のアドレスが必要です。
知っておくと便利なこと
- 自分のサーバーに送られるのはアイテムの写真で、iPhoneでは端末で読み取った文字も送られます。JayNestには何も届きません。
http://のアドレスはホームネットワーク内でのみ使えます。外部ではhttps://で始まるアドレスが必要です。- 画像を理解できるモデルが最も適しています。iPhoneでは、テキストのみのモデルには端末で読み取った文字だけが渡されます。
- Google AI ProやChatGPT Plusのサブスクリプションには、APIキーは含まれません。キーの利用料金は、キーの提供元との間で発生します。
- モデルが返さなかった項目は、端末内の認識で補います。サーバーが応答しない場合、候補はシンプルなルールによるものになり、写真の下にその理由が表示されます。
- ほかの認識方法は認識のしくみで説明しています。
