インストール要件

このページでは、GPUStack を実行するノードのソフトウェアとネットワークの要件を説明します。

オペレーティングシステムの要件

GPUStack は、AMD64 および ARM64 アーキテクチャの主要な最新 Linux ディストリビューションに対応しています。

データベースの要件

GPUStack サーバーは状態を SQL データベースに保存します。サーバーのコンテナーイメージには組み込み PostgreSQL が含まれ、設定なしでそのまま動作します。

--database-url 引数（または GPUSTACK_DATABASE_URL 環境変数）で外部データベースも使用できます。次のデータベースに対応しています。

設定例は、外部データベースの使用をご覧ください。

アクセラレーターランタイムの要件

GPUStack は、推論バックエンド用に次の汎用アクセラレーターに対応しています。

• NVIDIA GPU
• AMD GPU
• Ascend NPU
• Hygon DCU
• MetaX GPU
• MThreads GPU（実験的）
• Iluvatar GPU（実験的）
• Cambricon MLU（実験的）
• T-Head PPU（実験的）

GPUStack を実行する前に、必要なドライバーとツールキットがすべてインストールされていることを確認してください。

NVIDIA GPU

要件

• NVIDIA CUDA 12.8 以降に対応する NVIDIA GPU ドライバー。
• NVIDIA Container Toolkit

次のコマンドで確認します。

1
2
3
4
5
6

sudo nvidia-smi

# If using Docker
sudo docker info 2>/dev/null | grep -q "nvidia" \
    && echo "NVIDIA Container Toolkit OK" \
    || (echo "NVIDIA Container Toolkit not configured"; exit 1)

対応推論バックエンド

• vLLM
• SGLang
• VoxBox
• カスタム

AMD GPU

要件

• AMD ROCm 7.0 以降に対応する AMD GPU ドライバー。
• AMD Container Runtime

次のコマンドで確認します。

1
2
3
4
5
6

sudo amd-smi static

# If using Docker
sudo docker info 2>/dev/null | grep -q "amd" \
    && echo "AMD Container Toolkit OK" \
    || (echo "AMD Container Toolkit not configured"; exit 1)

対応推論バックエンド

• vLLM
• SGLang（gfx9 シリーズの GPU が必要）
• カスタム

Ascend NPU

要件

• Ascend NPU ドライバー
• Ascend Docker Runtime

次のコマンドで確認します。

1
2
3
4
5
6

sudo npu-smi info

# If using Docker
sudo docker info 2>/dev/null | grep -q "ascend" \
    && echo "Ascend Container Toolkit OK" \
    || (echo "Ascend Container Toolkit not configured"; exit 1)

対応デバイス

• Ascend NPU 910C シリーズ
• Ascend NPU 910B シリーズ（910B1～910B4）
• Ascend NPU 310P3

対応推論バックエンド

• vLLM
• SGLang
• MindIE
• カスタム

Hygon DCU

要件

• Hygon DCU ドライバー
• Hygon DTK ツールキット

次のコマンドで確認します。

1

sudo hy-smi

対応デバイス

• Hygon DCU

対応推論バックエンド

• vLLM
• カスタム

MetaX GPU

要件

• MetaX GPU ドライバー
• MetaX MACA SDK

次のコマンドで確認します。

1

sudo mx-smi

対応推論バックエンド

• vLLM
• SGLang
• カスタム

MThreads GPU

要件

• MThreads GPU ドライバー
• MThreads Container Toolkit

次のコマンドで確認します。

1
2
3
4
5
6

sudo mthreads-gmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "mthreads" \
    && echo "MThreads Container Toolkit OK" \
    || (echo "MThreads Container Toolkit not configured"; exit 1)

対応推論バックエンド

• vLLM
• SGLang
• カスタム

Iluvatar GPU

要件

• Iluvatar GPU ドライバー
• Iluvatar Container Toolkit

次のコマンドで確認します。

1
2
3
4
5
6

sudo ixsmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "iluvatar" \
    && echo "Iluvatar Container Toolkit OK" \
    || (echo "Iluvatar Container Toolkit not configured"; exit 1)

対応推論バックエンド

• vLLM
• カスタム

Cambricon MLU

要件

• Cambricon MLU ドライバー
• Cambricon NeuWare ツールキット

次のコマンドで確認します。

1

sudo cnmon

対応推論バックエンド

• カスタム

T-Head PPU

要件

• T-Head PPU ドライバー
• T-Head PPU SDK

次のコマンドで確認します。

1

sudo ppu-smi

対応推論バックエンド

• vLLM
• SGLang
• カスタム

ネットワークの要件

接続要件

GPUStack が正常に動作するには、次のネットワーク接続が必要です。

サーバーからワーカー： 推論リクエストをプロキシするため、サーバーからワーカーへの接続が必要です。

ワーカーからサーバー： 登録と状態更新を送信するため、ワーカーからサーバーへの接続が必要です。

ワーカー間： 複数ワーカーにまたがる分散推論で必要です。

ポート要件

GPUStack は通信に次のポートを使用します。

サーバーのポート

ワーカーのポート

Ray を使用した分散 vLLM のポート

分散 vLLM を使用する場合、GPUStack は上記の Ray サービス用ポート範囲を解析し、 次の順序で割り当てます。

1. GCS サーバーポート（範囲の最初のポート）
2. Client Server ポート（互換性のために予約、現在は未使用。https://github.com/gpustack/gpustack/issues/4171 を参照）
3. Dashboard ポート
4. Dashboard gRPC ポート（Ray 2.45.0 以降は未使用、後方互換性のために維持）
5. Dashboard agent gRPC ポート
6. Dashboard agent 待受ポート
7. メトリクスエクスポート用ポート
8. Node Manager ポート
9. Object Manager ポート
10. Raylet runtime env agent ポート
11. ワーカー用の最小ポート番号
12. ワーカー用の最大ポート番号（範囲の最後のポート）

Ray のポートの詳細は、Ray ドキュメントをご覧ください。

組み込みゲートウェイのポート

サーバーとワーカーの組み込みゲートウェイは、内部通信に次のポートを使用します。