内置推理后端

GPUStack 支持以下推理后端：

• vLLM
• SGLang
• MindIE
• VoxBox

开始部署模型时，UI 会根据以下条件自动预选后端：

• 如果模型是已知的 Text-to-Speech 或 Speech-to-Text 模型，使用 VoxBox。
• 如果模型是已知的 Image 模型，使用 SGLang。
• 其他情况使用 vLLM。

此预选仅用于填充部署表单中的默认值。实际部署使用的后端，以用户提交部署请求时明确选择的后端为准。用户可以从上方支持的后端列表中选择。

vLLM

vLLM 是具有高吞吐量和高内存效率的 LLM 推理后端，是生产环境运行 LLM 的常见选择。

vLLM 无缝支持大多数先进开源模型，包括：

• 类 Transformer 的 LLM（例如 Qwen3）
• 混合专家 LLM（例如 DeepSeek V3/R1）
• 多模态 LLM（例如 Qwen3-VL）
• Embedding 模型（例如 Qwen3-Embedding）
• Reranker 模型（例如 Qwen3-Reranker）

默认情况下，GPUStack 根据模型元数据估算模型实例所需的 VRAM。

可以根据需要自定义参数。以下 vLLM 参数可能有用：

• --gpu-memory-utilization（默认：0.9）：供模型实例使用的 GPU 内存比例。
• --max-model-len：模型上下文长度。对于长上下文模型，GPUStack 会自动将此参数设为 8192，以简化模型部署，尤其适用于资源受限环境。可以按需自定义。
• --tensor-parallel-size：张量并行副本数。默认情况下，GPUStack 根据可用 GPU 资源和模型内存需求估算设置此参数。可以按需自定义。

更多详情参见 vLLM CLI 参考。

支持的模型

支持的模型参见 vLLM 文档。

支持的功能

全模态支持

vLLM-Omni 是面向全模态推理的 vLLM 扩展，支持：

• 全模态模型：同时处理文本、音频、图像和视频（例如 Qwen3-Omni）。
• 图像任务：图像生成和编辑（例如 Z-Image-Turbo）。
• 视频任务：视频生成和编辑（例如 Wan2.2）。
• 音频任务：语音合成、声音克隆等（例如 Qwen3-TTS）。

GPUStack 集成 vLLM-Omni，为全模态模型的部署和管理提供流畅体验。通过 vLLM 后端部署模型时，GPUStack 会根据元数据自动判断是否为全模态模型，并为 vLLM-Omni 设置所需参数。

跨 Worker 分布式推理（实验性）

单个 Worker 的 VRAM 或计算资源不足以承载模型时，vLLM 可以将一个模型实例拆分到多个 Worker 上协同推理。GPUStack 将这些跨节点进程作为单个模型实例编排，对外仍只暴露一个兼容 OpenAI 的端点。

部署模型时勾选 Allow Distributed Inference Across Workers 即可启用。

GPUStack 为 vLLM 分布式推理提供两种执行路径，通过 vLLM 的 --distributed-executor-backend 参数选择。通常无需手动设置，GPUStack 会根据容器镜像和 vLLM 版本自动选择。

Ray 后端

• 使用场景：GPUStack 官方 runner 镜像上的默认路径，runner 镜像始终内置 Ray，不受 vLLM 版本影响。如果在后端参数中显式将 --distributed-executor-backend 设置为 ray 或其他非 mp 值（例如 external_launcher），也会使用此路径。
• 工作方式：GPUStack 在每个参与节点上启动 Ray sidecar 进程，组成集群。主节点运行 vLLM 主进程并暴露 API 服务，Ray 负责协调跨节点任务调度。

MultiProcessing 后端

• 使用场景：在后端参数中显式设置 --distributed-executor-backend=mp 时；或在 vLLM ≥ 0.18.0 上运行自定义镜像（后端版本带 -custom 后缀）时。vLLM 在 0.18.0 中移除了默认依赖里的 Ray，因此自定义镜像可能不包含 Ray，GPUStack 会回退到 mp 以避免启动失败。
• 工作方式：直接使用 vLLM 基于 multiprocessing 的多节点执行，无需 Ray sidecar。GPUStack 根据集群布局注入 --nnodes、--node-rank、--master-addr 和 --master-port 等拓扑参数。
• 无头从节点：调度为从节点的实例会自动获得 --headless，仅参与分布式计算，不启动 OpenAI API 服务。只有主节点暴露 HTTP 端点；所有外部请求均经主节点进入，再分发到从节点。从节点实例日志中出现 --headless 属于预期行为，这也是从节点实例不占用 API 端口的原因。
• 拓扑形式：GPUStack 根据并行配置（TP / PP / DP），自动选择 dp_only、mp_only 或 nested 参数布局。

满足以下条件时支持自动调度：

• 参与 Worker 的 GPU 数量相同。
• Worker 内所有 GPU 均满足 gpu_memory_utilization（默认 0.9）要求。
• 使用张量并行时，根据注意力头数量划分 GPU。
• 总 VRAM 申领量大于估算的 VRAM 申领量。

不满足上述条件时，模型实例不会自动调度。但可以在模型配置中选择期望的 Worker/GPU 进行手动调度。

参数参考

vLLM 支持的完整参数列表参见此处。

SGLang

SGLang 是用于大语言模型和视觉语言模型的高性能服务框架。

它旨在从单 GPU 到大规模分布式集群的各种环境中，提供低延迟、高吞吐量的推理。

默认情况下，GPUStack 根据模型元数据估算模型实例所需的 VRAM。

需要时，GPUStack 还会为长上下文模型自动设置若干参数。常用 SGLang 参数包括：

• --mem-fraction-static（默认：0.9）：每个 GPU 可分配的 VRAM 比例。调度器使用此值进行资源匹配和候选选择。可通过模型的 backend_parameters 覆盖。
• --context-length：模型上下文长度。对于长上下文模型，如果自动估算的上下文长度超过设备能力，GPUStack 会将此参数设为 8192，以简化资源受限环境中的部署。可按需自定义。
• --tp-size：张量并行大小。未显式提供时，GPUStack 根据所选 GPU 推导并设置此参数。
• --pp-size：流水线并行大小。多节点部署中，GPUStack 根据模型和集群配置确定 --tp-size 与 --pp-size 的组合。
• 多节点参数：--nnodes、--node-rank、--dist-init-addr。启用分布式推理时，GPUStack 注入这些参数以初始化多节点通信。

更多详情参见 SGLang 文档。

支持的模型

支持的模型参见 SGLang 文档。

SGLang 也支持图像模型。我们验证过的模型包括 Qwen-Image、Flux 1 Dev。更多信息参见 SGLang Diffusion 文档。

支持的功能

跨 Worker 分布式推理（实验性）

可以在 GPUStack 中启用跨多个 Worker 的 SGLang 分布式推理。

自动调度的候选选择考虑以下条件：

• 参与 GPU 满足 --mem-fraction-static 要求（默认 0.9）。
• 在单节点多 GPU 或多节点多 GPU 场景中，有效可分配 VRAM 总量必须满足模型需求。
• 必须满足模型并行要求（例如注意力头总数可被张量并行大小整除），否则候选会被拒绝。

不满足上述条件时，仍可通过在配置中选择 Worker/GPU 手动调度模型实例，但可能会提示资源超额分配风险。

扩散模型（实验性）

SGLang Diffusion 是专为扩散模型设计的高性能推理引擎，旨在加速图像和视频的生成过程。 通过 SGLang 的并行处理技术和优化内核，相比主流基线（例如 Hugging Face Diffusers）可实现最高 1.2 倍的生成速度。

更多详情参见 SGLang Diffusion。

其他高级功能

还提供以下高级功能：

• 推测解码
• 分层 KV 缓存

使用说明参见官方文档。

参数参考

SGLang 支持的完整参数列表参见此处。

MindIE

MindIE 是运行在 昇腾硬件上的高性能推理服务。

支持的模型

MindIE 支持此处列出的多种模型。

在 GPUStack 中，支持大语言模型（LLM）和多模态语言模型（VLM）。

目前尚不支持 Embedding 模型 和 多模态生成模型。

支持的功能

MindIE 提供多种功能，参见此处。

目前，GPUStack 支持其中一部分能力，包括 量化、 扩展上下文长度、 分布式推理、 混合专家（MoE）、 Split Fuse、 推测解码、 多 token 预测、 前缀缓存、 函数调用、 多模态理解、 多头潜在注意力（MLA）、 张量并行、 上下文并行、 序列并行、 专家并行、 数据并行、 缓冲响应（自昇腾 MindIE 2.0.RC1 起）。 KV Pool（自昇腾 MindIE 2.2.RC1 起）。

参数参考

MindIE 提供可配置的参数和环境变量。

为避免直接配置 JSON，GPUStack 提供以下命令行参数。

VoxBox

VoxBox 是为部署文本转语音和语音转文本模型设计的推理引擎，还提供与 OpenAI 音频 API 完全兼容的 API。

支持的模型

支持的功能

允许 GPU/CPU 卸载

VoxBox 支持将模型部署到 NVIDIA GPU。如果 GPU 资源不足，会自动将模型部署到 CPU。