使用分布式 vLLM 运行 DeepSeek R1 671B

本教程介绍如何在 GPUStack 集群中通过分布式 vLLM配置和运行原版 DeepSeek R1 671B。由于模型规模很大，通常需要跨多个 Worker 进行分布式推理。

GPUStack 简化了 vLLM 分布式推理的配置和编排，只需少量手动配置即可运行 DeepSeek R1 这类大型模型。

前提条件

开始前，请确认满足以下要求：

有足够数量的 Linux 节点，各节点配备所需 GPU。例如：

GPU	节点数量
H100/H800:8	2
A100/A800-80GB:8	4
A100/A800:8	8

建议使用 NVLink、InfiniBand 等高速互连，以获得更好的性能。
各节点应将模型文件下载到相同路径。GPUStack 虽然支持即时下载模型，但下载耗时受网络速度影响，建议提前下载。

说明

本教程使用 4 个节点，每个节点配备 8 张 A800-80GB GPU，通过 200G InfiniBand 互连。
A100/A800 GPU 不支持 DeepSeek R1 原版使用的 FP8 精度，因此使用 Unsloth 提供的 BF16 版本。

步骤 1：安装 GPUStack Server

按照安装文档，可使用以下命令启动 GPUStack Server：

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    gpustack/gpustack

说明

将 /path/to/your/model 替换为实际路径。

GPUStack Server 启动后，运行以下命令获取初始管理员密码：

sudo docker exec gpustack \
    cat /var/lib/gpustack/initial_admin_password

步骤 2：访问 GPUStack 界面

使用 admin 用户和获取的密码登录 GPUStack 界面。

1	`http://your_gpustack_server_ip_or_hostname`

步骤 3：安装 GPUStack Worker

在 GPUStack 界面中打开 Workers 页面，点击 Add Worker 获取添加命令。

然后在每个 Worker 节点上运行添加命令，启动 GPUStack Worker：

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    --privileged \
    --network host \
    --volume /var/run/docker.sock:/var/run/docker.sock \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    --runtime nvidia \
    gpustack/gpustack \
    --server-url http://your_gpustack_server_ip_or_hostname \
    --token your_gpustack_cluster_token