モデルルートの管理
このガイドでは、モデルルートの一般的な利用例と設定方法を説明します。
モデルのデプロイ時にルートを作成する
モデルのデプロイ時は Enable Model Route が自動的に有効になり、同名のモデルルートが作成されます。ユーザーはデプロイ後に同じ名前でモデルへ直接アクセスできます。
モデルの別名を使ったアップグレード
新バージョンが公開された際、モデル名を維持したまま更新したい場合があります。その場合はモデルルートを無効にして新バージョンをデプロイし、既存のルートを編集してトラフィックを切り替えます。
- 新バージョンに十分な GPU リソースを GPUStack に追加します。
- デプロイ画面の
Enable Model Routeをオフにして、新バージョンをデプロイします。 Routesページで、旧バージョンを対象とするルートを探します。- そのルートを編集し、対象を新バージョンのモデルデプロイメントに置き換えます。
- このルートへの新しいリクエストは、新バージョンに振り分けられます。
自己ホストモデルと公開 MaaS モデルの併用
自己ホストモデルへの要求が増えると、遅延が生じる場合があります。拡張するリソースがない場合、公開 MaaS の導入が有効です。モデルルートにデプロイ済みモデルとプロバイダーのモデルの両方を対象として設定し、重みを割り当てれば、公開 MaaS に負荷の一部を処理させられます。
Providersページに移動します。- 必要なプロバイダーを追加し、利用するモデルを選択します。
Routesページで編集するモデルを探します。- モデルを編集し、ルートの対象を追加します。
- 同じルートに GPUStack の
DeploymentsとProvidersの両方のモデルを指定できます。 - 各対象の重み（デフォルトは 100）がトラフィックの割合を決めます。たとえば対象 A が 100、B が 200 なら、要求の 33% を A、67% を B に振り分けます。
モデルルートのフォールバック
公開 MaaS をルートの対象にするのは便利ですが、費用が大きくなる場合があります。分配ルールは常時適用されるため、自己ホストモデルの負荷が低くても、設定に従って公開 MaaS に送信されます。このような場合、モデルルートの Fallback 機能が有効です。
Routesページでフォールバックを設定するルートを探します。- ルートを編集して
Fallback Route Targetを設定します。通常の対象と同様に、DeploymentsまたはProvidersのモデルを選択できます。 - フォールバック対象はトラフィック分配戦略と排他的なため、設計上、重みを設定できません。
モデルルートによる OpenAI 互換推論サービスのプロキシ
稼働中の推論サービス（ollama や lm-studio など）に GPUStack のプロキシ、アクセス制御、トークン使用量の統計を利用するには、カスタムパスの OpenAI モデルプロバイダーを作成します。
ProvidersページでAdd Providerをクリックします。- 種類に
OpenAIを選び、Custom Base URLに推論サーバーのhttp://<ip>:<port>/v1形式の URL を設定します。名前、API キー、説明を必要に応じて入力します。 - プロバイダーにモデルを追加します。推論サーバーが
/v1/modelsAPI に対応する場合、使用可能なモデルを一覧から選択できます。 Saveをクリックします。- プロバイダーの
Operations列でAdd Routeをクリックします。 - 最初のモデルがルートの初期設定に使われます。必要に応じて変更します。
Saveをクリックしてルートを適用すると、GPUStack でモデルがプロキシされます。Operations列のAccess Settingで、このルートへのアクセスを許可します。