RAGFlow との連携
RAGFlow を GPUStack と連携させると、ローカルにデプロイした LLM、ビジョンモデル、埋め込み、リランキング、音声認識、音声合成を利用できます。RAGFlow は GPUStack で実行中のモデルを自動で検出するため、一度接続すれば、追加するモデルを選ぶだけです。
注記
このガイドには、GPUStack 設定カードが追加された RAGFlow v1.0.0-rc3 より後のバージョンが必要です。
モデルのデプロイ
-
GPUStack UI の
DeploymentsページでDeploy Modelをクリックし、必要なモデルをデプロイします。RAGFlow が検出できるのは実行中でルートを持つモデルのみのため、Enable Model Routeは選択したままにしてください。モデルの例:モデル RAGFlow での種類 qwen3-4bChat qwen2.5-vl-3b-instructChat + Vision bge-m3Embedding bge-reranker-v2-m3Rerank faster-whisper-smallSpeech to text cosyvoice2-0.5bText to speech -
各モデルのレプリカの準備が完了するまで待ちます:
API キーの作成
-
Access Control>API KeysページでAdd API Keyをクリックします。 -
名前を入力し、
Access PermissionsでModel Accessを選択したままAll modelsにします。Expirationの既定値は1 monthのため、RAGFlow でこのキーを使い続ける場合はより長い期間を選択してください。その後Saveをクリックします。 -
API キーをコピーして保存します。以降、
API Keysページにはマスクされた値のみが表示されます。
RAGFlow への GPUStack の統合
-
RAGFlow UI を開き、右上のアバターをクリックして
Model providersを開き、Available modelsからGPUStackを選択します。 -
次の項目を入力し、
Connectをクリックします:- Instance name:RAGFlow でこの GPUStack サーバーを識別する任意の名前(例:
gpustack)。 - GPUStack server URL:
http://your-gpustack-url(/v1パスは付けません)。カスタムポートを使用する場合はポートも含めます。localhostは RAGFlow コンテナを指すため使用しないでください。GPUStack と RAGFlow が同じホストで動作している場合はhttp://host.docker.internal:<port>を使用できます。 - API key:先ほどコピーした API キー。
- Instance name:RAGFlow でこの GPUStack サーバーを識別する任意の名前(例:
-
RAGFlow は実行中のモデルを種類ごとにグループ化し、コンテキスト長とともに一覧表示します。追加しないモデルのチェックを外します。GPUStack はモデルが画像を受け付けるかどうかを報告しないため、
qwen2.5-vl-3b-instructなどのビジョンモデルはChat + Visionに設定してください:接続に失敗すると、RAGFlow はフォームの下に理由を表示します:
GPUStack rejected this API key.:Access Control>API Keysで API キーを確認してください。-
Cannot reach this server from RAGFlow.:RAGFlow コンテナ内から URL とポートを確認してください。たとえば、RAGFlow のdockerディレクトリで次のコマンドを実行すると、"ok"が返るはずです:
-
一覧の下部にある
Add 6 modelsをクリックします(数字は選択したモデル数に応じて変わります)。追加したモデルがインスタンスに表示されます:後から GPUStack にモデルを追加でデプロイした場合は、インスタンスの
Refreshをクリックすると検出して追加できます。 -
Set default modelsをクリックし、種類ごとにモデルを選択します。選択はすぐに保存されます:
モデルの利用
これで Dataset と Chat でモデルを利用できます。簡単な例を示します:
-
Datasetでデータセットを作成します。既定の埋め込みモデルはすでに選択されています: -
Add file>Upload fileをクリックし、Parse on creationをオンにして、ファイルを選択しSaveをクリックします。解析が完了すると、ファイルにチャンク数が表示されます: -
Retrieval testingを開き、Rerank modelをbge-reranker-v2-m3に設定し、質問を入力してRunをクリックします: -
Chatでチャットを作成して開きます。右上の設定アイコンをクリックし、Datasetsでデータセットを選択し、Modelのチャットモデルを確認してSaveをクリックします:Retrieval testingで選択したリランクモデルはチャットには適用されません。チャットの検索結果をリランクするには、同じ設定でAdvanced settings>Naiveを展開し、Rerank modelをbge-reranker-v2-m3に設定してSaveをクリックします。 -
メッセージを送信すると、モデルと対話してデータセットを照会できます:
-
回答を読み上げるには、
Advanced settingsでText to speechをオンにしてSaveをクリックします。回答にカーソルを合わせてスピーカーアイコンをクリックします。再生中は一時停止アイコンに変わります: -
音声入力を使うには、メッセージ欄のマイクアイコンをクリックして話し、もう一度アイコンをクリックして停止します。RAGFlow は既定の音声認識モデルで録音を文字起こしし、メッセージとして送信します。
-
画像について対話するには、チャット設定で
Modelをqwen2.5-vl-3b-instructに切り替え、回答に無関係なドキュメントの引用が混ざらないようDatasetsをクリアします。Saveをクリックし、新しい会話を開始して、クリップアイコンで画像を添付し、質問を送信します:











