安装要求

本页介绍运行 GPUStack 的节点所需的软件和网络条件。

操作系统要求

GPUStack 支持 AMD64 和 ARM64 架构上的大多数现代 Linux 发行版。

数据库要求

GPUStack Server 将状态存储在 SQL 数据库中。GPUStack Server 容器镜像包含内嵌 PostgreSQL 数据库，无需任何配置即可使用。

也可以通过 --database-url 参数或 GPUSTACK_DATABASE_URL 环境变量使用外部数据库。兼容以下数据库：

配置示例见使用外部数据库。

加速器运行时要求

GPUStack 支持多种通用加速器作为推理后端，包括：

• NVIDIA GPU
• AMD GPU
• 昇腾 NPU
• 海光 DCU
• 沐曦 GPU
• 摩尔线程 GPU（实验性）
• 天数智芯 GPU（实验性）
• 寒武纪 MLU（实验性）
• 平头哥 PPU（实验性）

运行 GPUStack 前，请确保已安装所有所需驱动和工具包。

NVIDIA GPU

要求

• 支持 NVIDIA CUDA 12.8 或更高版本的 NVIDIA GPU Driver。
• NVIDIA Container Toolkit

运行以下命令验证：

1
2
3
4
5
6

sudo nvidia-smi

# If using Docker
sudo docker info 2>/dev/null | grep -q "nvidia" \
    && echo "NVIDIA Container Toolkit OK" \
    || (echo "NVIDIA Container Toolkit not configured"; exit 1)

支持的推理后端

• vLLM
• SGLang
• VoxBox
• 自定义

AMD GPU

要求

• 支持 AMD ROCm 7.0 或更高版本的 AMD GPU Driver。
• AMD Container Runtime

运行以下命令验证：

1
2
3
4
5
6

sudo amd-smi static

# If using Docker
sudo docker info 2>/dev/null | grep -q "amd" \
    && echo "AMD Container Toolkit OK" \
    || (echo "AMD Container Toolkit not configured"; exit 1)

支持的推理后端

• vLLM
• SGLang（需要 gfx9 系列 GPU）
• 自定义

昇腾 NPU

要求

• 昇腾 NPU Driver
• 昇腾 Docker Runtime

运行以下命令验证：

1
2
3
4
5
6

sudo npu-smi info

# If using Docker
sudo docker info 2>/dev/null | grep -q "ascend" \
    && echo "Ascend Container Toolkit OK" \
    || (echo "Ascend Container Toolkit not configured"; exit 1)

支持的设备

• 昇腾 NPU 910C 系列
• 昇腾 NPU 910B 系列（910B1 ~ 910B4）
• 昇腾 NPU 310P3

支持的推理后端

• vLLM
• SGLang
• MindIE
• 自定义

海光 DCU

要求

• 海光 DCU Driver
• 海光 DTK Toolkit

运行以下命令验证：

1

sudo hy-smi

支持的设备

• 海光 DCU

支持的推理后端

• vLLM
• 自定义

沐曦 GPU

要求

• 沐曦 GPU Driver
• 沐曦 MACA SDK

运行以下命令验证：

1

sudo mx-smi

支持的推理后端

• vLLM
• SGLang
• 自定义

摩尔线程 GPU

要求

• 摩尔线程 GPU Driver
• 摩尔线程 Container Toolkit

运行以下命令验证：

1
2
3
4
5
6

sudo mthreads-gmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "mthreads" \
    && echo "MThreads Container Toolkit OK" \
    || (echo "MThreads Container Toolkit not configured"; exit 1)

支持的推理后端

• vLLM
• SGLang
• 自定义

天数智芯 GPU

要求

• 天数智芯 GPU Driver
• 天数智芯 Container Toolkit

运行以下命令验证：

1
2
3
4
5
6

sudo ixsmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "iluvatar" \
    && echo "Iluvatar Container Toolkit OK" \
    || (echo "Iluvatar Container Toolkit not configured"; exit 1)

支持的推理后端

• vLLM
• 自定义

寒武纪 MLU

要求

• 寒武纪 MLU Driver
• 寒武纪 NeuWare Toolkit

运行以下命令验证：

1

sudo cnmon

支持的推理后端

• 自定义

平头哥 PPU

要求

• 平头哥 PPU Driver
• 平头哥 PPU SDK

运行以下命令验证：

1

sudo ppu-smi

支持的推理后端

• vLLM
• SGLang
• 自定义

网络要求

连通性要求

GPUStack 正常运行需要以下网络连通性：

GPUStack Server 到 Worker： GPUStack Server 必须能够访问 Worker，以代理推理请求。

Worker 到 GPUStack Server： Worker 必须能够访问 GPUStack Server，以注册和发送更新。

Worker 到 Worker： 跨多个 Worker 进行分布式推理时需要。

端口要求

GPUStack 使用以下端口进行通信：

GPUStack Server 端口

Worker 端口

使用 Ray 的分布式 vLLM 端口

使用分布式 vLLM 时，GPUStack 会解析上述 Ray 服务端口范围，并按以下顺序分配：

1. GCS Server 端口，范围内第一个端口
2. Client Server 端口，保留以兼容旧版，已不再使用，见 https://github.com/gpustack/gpustack/issues/4171
3. Dashboard 端口
4. Dashboard gRPC 端口，从 Ray 2.45.0 起不再使用，保留以兼容旧版
5. Dashboard agent gRPC 端口
6. Dashboard agent 监听端口
7. 指标导出端口
8. Node Manager 端口
9. Object Manager 端口
10. Raylet runtime env agent 端口
11. Worker 的最小端口号
12. Worker 的最大端口号，即范围内最后一个端口

Ray 端口详情见 Ray 文档。

内嵌网关端口

GPUStack Server 和 Worker 的内嵌网关均使用以下端口进行内部通信。