LiteLLM との連携
LiteLLM を GPUStack と連携させると、ローカルにデプロイした LLM、埋め込み、リランキング、音声認識、音声合成を、従業員向けの統一された OpenAI 互換・Anthropic API ゲートウェイに集約できます。
GPUStack でのモデルのデプロイ
- GPUStack UI の
DeploymentsページでDeploy Modelをクリックし、必要なモデルをデプロイします。モデルの例：
- qwen3-8b
- qwen2.5-vl-3b-instruct
- bge-m3
- bge-reranker-v2-m3
- モデルの操作メニューで
API Access Infoを開き、連携方法を確認します。
GPUStack での API キーの作成
-
GPUStack の
Access Control>API KeysページでNew API Keyをクリックします。 -
名前を入力し、
Saveをクリックします。 -
API キーをコピーし、後で使えるよう保存します。
LiteLLM への GPUStack の統合
- LiteLLM の管理 UI を開きます。
- models+endpoints メニューを開き、モデルを追加します。
- LiteLLM のプレイグラウンドでテストします。
