組み込みの推論バックエンド

GPUStack は次の推論バックエンドをサポートしています。

• vLLM
• SGLang
• MindIE
• VoxBox

モデルのデプロイを開始すると、UI は次の条件に基づいてバックエンドを自動選択します。

• 既知の Text-to-Speech または Speech-to-Text モデルの場合は、VoxBox を使用します。
• 既知の Image モデルの場合は、SGLang を使用します。
• それ以外の場合は、vLLM を使用します。

この事前選択は、デプロイフォームのデフォルト値を設定するだけです。実際のデプロイでは、ユーザーがデプロイリクエストを送信するときに明示的に選択したバックエンドを使用します。上記のサポート対象バックエンドから選択できます。

vLLM

vLLM は、高いスループットと優れたメモリ効率を備えた LLM 推論バックエンドです。本番環境での LLM 実行に広く利用されています。

vLLM は、次のような最新のオープンソースモデルの多くをサポートしています。

• Transformer 型 LLM（例: Qwen3）
• Mixture-of-Experts 型 LLM（例: DeepSeek V3/R1）
• マルチモーダル LLM（例: Qwen3-VL）
• 埋め込みモデル（例: Qwen3-Embedding）
• リランカーモデル（例: Qwen3-Reranker）

デフォルトでは、GPUStack はモデルのメタデータに基づいてモデルインスタンスに必要な VRAM を推定します。

必要に応じてパラメーターを調整できます。次の vLLM パラメーターが役立ちます。

• --gpu-memory-utilization（デフォルト: 0.9）: モデルインスタンスが使用する GPU メモリの割合です。
• --max-model-len: モデルのコンテキスト長です。コンテキスト長の大きいモデルでは、特にリソースが限られた環境でデプロイを容易にするため、GPUStack が自動的に 8192 に設定します。必要に応じて変更できます。
• --tensor-parallel-size: テンソル並列レプリカの数です。デフォルトでは、GPUStack が利用可能な GPU リソースとモデルに必要なメモリの推定値に基づいて設定します。必要に応じて変更できます。

詳細は vLLM CLI リファレンスを参照してください。

サポート対象モデル

サポート対象モデルについては、vLLM のドキュメントを参照してください。

サポート対象機能

オムニモーダルのサポート

vLLM-Omni は、オムニモーダル推論向けに設計された vLLM の拡張機能で、次をサポートします。

• オムニモデル: テキスト、音声、画像、動画の同時処理（例: Qwen3-Omni）
• 画像タスク: 画像の生成と編集（例: Z-Image-Turbo）
• 動画タスク: 動画の生成と編集（例: Wan2.2）
• 音声タスク: 音声合成、音声クローンなど（例: Qwen3-TTS）

GPUStack は vLLM-Omni と連携し、オムニモーダルモデルのデプロイと管理を円滑に行えるようにします。vLLM バックエンドでモデルをデプロイすると、GPUStack はメタデータからオムニモーダルモデルかどうかを自動検出し、vLLM-Omni に必要なパラメーターを設定します。

ワーカー間の分散推論（実験的機能）

1 台のワーカーにモデルをホストするための VRAM や計算能力が不足している場合、vLLM は 1 つのモデルインスタンスを複数のワーカーに分割し、協調して推論を実行できます。GPUStack はこれらのノード間プロセスを 1 つのモデルインスタンスとして管理し、外部には引き続き 1 つの OpenAI 互換エンドポイントを公開します。

モデルのデプロイ時に Allow Distributed Inference Across Workers を選択すると有効になります。

GPUStack は vLLM の分散推論に 2 つの実行方式を提供し、vLLM の --distributed-executor-backend パラメーターで選択します。通常は、コンテナーイメージと vLLM のバージョンに基づいて GPUStack が自動選択するため、手動で設定する必要はありません。

Ray バックエンド

• 使用する場合: GPUStack の公式 runner イメージでのデフォルトの方式です。runner イメージには、vLLM のバージョンにかかわらず Ray が同梱されています。また、バックエンドパラメーターで --distributed-executor-backend を明示的に ray、または mp 以外の値（例: external_launcher）に設定した場合も使用します。
• 仕組み: GPUStack は参加する各ノードで Ray のサイドカープロセスを起動してクラスターを構成します。リーダーノードがメインの vLLM プロセスを実行して API サーバーを公開し、Ray がノード間のタスクスケジューリングを調整します。

MultiProcessing バックエンド

• 使用する場合: バックエンドパラメーターで --distributed-executor-backend=mp を明示的に設定した場合、または vLLM ≥ 0.18.0 でカスタムイメージ（バックエンドのバージョンに -custom 接尾辞が付くもの）を実行する場合です。vLLM は 0.18.0 でデフォルトの依存関係から Ray を削除したため、カスタムイメージには Ray が含まれないことがあります。GPUStack は起動の失敗を避けるために mp にフォールバックします。
• 仕組み: Ray のサイドカーを使わず、vLLM のマルチプロセスベースのマルチノード実行を直接利用します。GPUStack はクラスター構成に基づいて --nnodes、--node-rank、--master-addr、--master-port などのトポロジー引数を注入します。
• ヘッドレスのフォロワー: フォロワーとしてスケジュールされたインスタンスには、自動的に --headless が付与されます。そのため、分散計算にのみ参加し、OpenAI API サーバーは起動しません。HTTP エンドポイントを公開するのはリーダーだけです。外部からのすべてのリクエストはリーダーを経由し、フォロワーに振り分けられます。フォロワーインスタンスのログに --headless が表示されるのは想定どおりの動作であり、フォロワーが API ポートを使用しない理由でもあります。
• トポロジーの構成: GPUStack は並列処理の設定（TP / PP / DP）に基づいて、dp_only、mp_only、nested のいずれかのパラメーター構成を自動選択します。

次の条件で自動スケジューリングをサポートしています。

• 参加するワーカーの GPU 数が同じであること。
• ワーカー内のすべての GPU が gpu_memory_utilization（デフォルトは 0.9）の要件を満たすこと。
• テンソル並列処理では、アテンションヘッド数に基づいて GPU が分割されること。
• VRAM の合計割り当て量が、推定 VRAM 割り当て量を上回ること。

これらの条件を満たさない場合、モデルインスタンスは自動でスケジュールされません。ただし、モデル設定で目的のワーカー/GPU を選択すると、手動でスケジュールできます。

パラメーターリファレンス

vLLM がサポートするパラメーターの全一覧はこちらを参照してください。

SGLang

SGLang は、大規模言語モデルと視覚言語モデル向けの高性能なサービングフレームワークです。

単一 GPU から大規模な分散クラスターまで、幅広い構成で低遅延かつ高スループットの推論を提供するよう設計されています。

デフォルトでは、GPUStack はモデルのメタデータに基づいてモデルインスタンスに必要な VRAM を推定します。

必要に応じて、GPUStack はコンテキスト長の大きいモデルの一部のパラメーターも自動設定します。主な SGLang パラメーターは次のとおりです。

• --mem-fraction-static（デフォルト: 0.9）: GPU ごとに割り当て可能な VRAM の割合です。スケジューラーはこの値をリソースの照合と候補選択に使用します。モデルの backend_parameters で上書きできます。
• --context-length: モデルのコンテキスト長です。コンテキスト長の大きいモデルで、自動推定されたコンテキスト長がデバイスの能力を超える場合、GPUStack はリソースの限られた環境でのデプロイを容易にするために 8192 に設定します。必要に応じて変更できます。
• --tp-size: テンソル並列サイズです。明示的に指定されていない場合、GPUStack は選択した GPU に基づいて推定し、設定します。
• --pp-size: パイプライン並列サイズです。マルチノードのデプロイでは、GPUStack がモデルとクラスター設定に応じて --tp-size と --pp-size の組み合わせを決定します。
• マルチノード引数: --nnodes、--node-rank、--dist-init-addr。分散推論を有効にすると、GPUStack はマルチノード通信を初期化するためにこれらの引数を注入します。

詳細は SGLang のドキュメントを参照してください。

サポート対象モデル

サポート対象モデルについては、SGLang のドキュメントを参照してください。

SGLang は画像モデルもサポートしています。検証済みのモデルには Qwen-Image、Flux 1 Dev があります。詳細は SGLang Diffusion のドキュメントを参照してください。

サポート対象機能

ワーカー間の分散推論（実験的機能）

GPUStack では、複数のワーカー間での SGLang 分散推論を有効にできます。

自動スケジューリングの候補選択では、次の条件が考慮されます。

• 参加する GPU が --mem-fraction-static の要件（デフォルトは 0.9）を満たすこと。
• 単一ノードの複数 GPU、または複数ノードの複数 GPU の構成で、実効的に割り当て可能な VRAM の合計がモデルの要件を満たすこと。
• モデル並列処理の要件を満たすこと（例: アテンションヘッドの総数がテンソル並列サイズで割り切れること）。満たさない候補は除外されます。

これらの条件を満たさない場合でも、設定でワーカー/GPU を選択してモデルインスタンスを手動スケジュールできます。ただし、過剰割り当てのリスクが表示されることがあります。

拡散モデル（実験的機能）

SGLang Diffusion は、画像と動画の生成を高速化するために拡散モデル専用に設計された、高性能な推論エンジンです。 SGLang の並列処理技術と最適化されたカーネルにより、主要なベースライン（Hugging Face Diffusers など）と比較して最大 1.2 倍の生成速度を実現します。

詳細は SGLang Diffusion を参照してください。

その他の高度な機能

次のような高度な機能も利用できます。

• 投機的デコード
• 階層型 KV キャッシュ

使用方法は公式ドキュメントを参照してください。

パラメーターリファレンス

SGLang がサポートするパラメーターの全一覧はこちらを参照してください。

MindIE

MindIE は、Ascend ハードウェア上で動作する高性能な推論サービスです。

サポート対象モデル

MindIE はこちらに掲載されている各種モデルをサポートしています。

GPUStack では、大規模言語モデル（LLM）とマルチモーダル言語モデル（VLM）をサポートしています。

ただし、_埋め込みモデル_と_マルチモーダル生成モデル_はまだサポートしていません。

サポート対象機能

MindIE はこちらに示すさまざまな機能を備えています。

現在、GPUStack はそれらのうち次の機能をサポートしています。 量子化、 コンテキストサイズの拡張、 分散推論、 Mixture of Experts（MoE）、 Split Fuse、 投機的デコード、 マルチトークン予測、 プレフィックスキャッシュ、 関数呼び出し、 マルチモーダル理解、 Multi-head Latent Attention（MLA）、 テンソル並列処理、 コンテキスト並列処理、 シーケンス並列処理、 エキスパート並列処理、 データ並列処理、 レスポンスのバッファリング（Ascend MindIE 2.0.RC1 以降）。 KV Pool（Ascend MindIE 2.2.RC1 以降）。

パラメーターリファレンス

MindIE には設定可能なパラメーターと環境変数があります。

JSON を直接編集せずに設定できるように、GPUStack は次のコマンドラインパラメーターを提供しています。

VoxBox

VoxBox は、テキスト読み上げモデルと音声認識モデルのデプロイ向けに設計された推論エンジンです。OpenAI 音声 API と完全互換の API も提供します。

サポート対象モデル

サポート対象機能

GPU/CPU オフロードの許可

VoxBox は NVIDIA GPU へのモデルのデプロイをサポートしています。GPU リソースが不足している場合は、自動的に CPU にモデルをデプロイします。