コンテンツにスキップ

MaxKB との連携

MaxKB を GPUStack と連携させると、ローカルにデプロイした LLM、埋め込みモデル、リランキングモデルを使って、ナレッジに基づく AI アシスタントを構築できます。

モデルのデプロイ

  1. GPUStack UI の Deployments ページで Deploy Model をクリックし、必要なモデルをデプロイします。モデルの例：
  • qwen3.5-35b-a3b

  • qwen3-embedding-4b

  • qwen3-reranker-4b

  1. デプロイ後は Playground でモデルをテストできます。

モデルのアクセス情報の取得

  1. GPUStack のサイドバーから Routes ページを開きます。

  2. ルートの横の More actions menu をクリックし、API Access Info を選択します。

次の情報を記録します。

1
2
3
Base URL
Model Name
API Key

例：

1
2
3
4
5
6
7
8
9
Base URL: http://your-gpustack-url/v1

Model Name:
qwen3.5-35b-a3b
qwen3-embedding-4b
qwen3-reranker-4b

API Key:
gpustack_xxxxxxxxxxxxx

注記

UI の案内に従って API キーを作成できます。

MaxKB のデプロイ

MaxKB は Docker でデプロイできます。

1
2
3
4
5
6
docker run -d \
  --name maxkb \
  --restart always \
  -p 8080:8080 \
  -v ~/.maxkb:/opt/maxkb \
  1panel/maxkb

デフォルトの認証情報：

1
admin / MaxKB@123..

初回ログイン後、案内に従ってパスワードを変更します。

MaxKB への GPUStack の統合

  1. MaxKB UI の上部ナビゲーションで Model を開きます。

  1. Add Model をクリックし、モデルを設定します。

モデル設定時の注意点：

  • Base Model：GPUStack にデプロイしたモデル名と一致させます。
  • API URL: http://your-gpustack-url/v1
  • API Key：GPUStack で作成した API キー。

注記

Base Model を入力して Enter を押した後に、API URL と API Key フィールドが表示されます。

  1. 同じ方法で埋め込みモデルとリランキングモデルを追加します。
  • qwen3-embedding-4b

  • qwen3-reranker-4b

qwen3-reranker-4b では Generic Proxy を有効にします。

MaxKB が次のエンドポイントを使用するため、この設定が必要です。

1
/v2/rerank

設定後、モデル一覧にモデルが表示されます。

ナレッジベースの作成

  1. Knowledge ページに移動します。

  2. Create をクリックし、Web Knowledge を選択します。

  1. ドキュメントの URL またはほかのデータソースを入力します。MaxKB が内容を自動でクロールし、解析します。

クロールが完了した状態：

AI エージェントの作成

  1. Agent ページに移動します。

  2. Create をクリックして新しいエージェントを作成します。

  1. 次の項目を設定します。
  • チャットモデル
  • ナレッジベース
  • 検索設定
  1. Publish をクリックしてエージェントを有効にします。

ナレッジベースとのチャット

チャット画面を開き、アシスタントと対話します。

接続したナレッジベースと GPUStack にデプロイしたモデルに基づき、アシスタントが質問に回答できるようになります。