Cherry Studio との連携

Cherry Studio を GPUStack と連携させると、ローカルでホストする LLM、埋め込み、リランキングを利用できます。

モデルのデプロイ

1. GPUStack UI の Deployments ページで Deploy Model をクリックし、必要なモデルをデプロイします。モデルの例：

   • qwen3-instruct-2507
   • qwen2.5-vl-7b
   • bge-m3
   • bge-reranker-v2-m3

2. モデルの操作メニューで API Access Info を開き、連携方法を確認します。

API キーの作成

1. Access Control > API Keys ページで New API Key をクリックします。

2. 名前を入力し、Save をクリックします。

3. API キーをコピーし、後で使えるよう保存します。

Cherry Studio への GPUStack の統合

1. Cherry Studio の Settings → Model Provider で GPUStack を見つけて有効にし、次のように設定します。

   • API Key：前の手順でコピーした API キーを入力します。

   • API Host：API Access Info パネルの Access URL を指定します。

2. GPUStack プロバイダー設定で「Manage」をクリックし、必要なモデルを有効にします。

3. （任意）API をテストします。

設定後、Cherry Studio のホームページに戻ってモデルを使い始めます。

LLM の利用

マルチモーダルモデルの利用

1. マルチモーダルモデルを選択します。

2. マルチモーダルの質問をします。

埋め込みとリランキングによるナレッジベースの質問応答の改善

1. ナレッジベースの設定ページを開きます。

2. ナレッジベースを追加します。

3. コンテンツをナレッジベースに追加します（ここでは「Notes」を例に使用）。

4. ホームページに戻り、ナレッジベースの質問応答を使用します。