跳转至
GPUStack
概览
English
简体中文
日本語
Русский
Türkçe
正在初始化搜索引擎
gpustack/gpustack
首页
推理性能实验室
容器镜像选择器
GPUStack
gpustack/gpustack
首页
首页
概览
快速入门
安装
安装
环境要求
使用 Docker 安装
使用 Helm 安装
离线安装
卸载
升级
升级
使用 Docker 升级
使用 Helm 升级
升级集群部署
数据迁移
用户指南
用户指南
体验中心
体验中心
对话
图像
音频
向量嵌入
重排序
模型目录
模型部署管理
预填充与解码分离
模型路由管理
模型提供商管理
推理后端管理
内置推理后端
缓存服务管理
在线内容更新
兼容性检查
模型文件管理
集群管理
GPU 服务
GPU 服务
GPU 实例
实例类型
实例模板
存储
存储类型
SSH 公钥
云凭证管理
API 密钥管理
用户管理
用量
单点登录(SSO)认证
可观测性
性能测试
使用模型
使用模型
使用大语言模型
使用视觉语言模型
使用向量嵌入模型
使用重排序模型
使用图像生成模型
使用音频模型
教程
教程
使用分布式 vLLM 运行 DeepSeek R1 671B
使用 MultiProcessing 后端运行分布式 vLLM
使用分布式昇腾 MindIE 运行 DeepSeek R1 671B
在 CPU 上运行推理
使用工具调用进行推理
使用自定义推理后端
使用 DigitalOcean 添加 GPU 集群
使用 Shuihua 添加 GPU 集群
使用 Kubernetes 添加 GPU 集群
管理模型路由
使用负载均衡策略进行路由
使用 LoRA 适配器提供模型服务
集成
集成
推理 API
与 Claude Code 集成
与 Dify 集成
与 RAGFlow 集成
与 Cherry Studio 集成
与 OpenClaw 集成
与 n8n 集成
与 MaxKB 集成
与 NewAPI 集成
与 LiteLLM 集成
架构
调度器
故障排查
常见问题
API 参考
命令行参考
命令行参考
启动
下载工具
重新加载配置
列出镜像
保存镜像
加载镜像
复制镜像
环境变量
推理性能实验室
推理性能实验室
概览
吞吐量优化
吞吐量优化
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
GLM-4.5-Air
GLM-4.5-Air
A100
H100
GLM-4.x
GLM-4.x
A100
H100
H200
GPT-OSS-20B
GPT-OSS-20B
A100
H100
GPT-OSS-120B
GPT-OSS-120B
A100
H100
DeepSeek-R1
DeepSeek-R1
H200
DeepSeek-V3.2
DeepSeek-V3.2
H200
GLM-5.2
GLM-5.2
H200
Qwen3-8B
Qwen3-8B
910B
Qwen3-14B
Qwen3-14B
A100
H100
Qwen3-32B
Qwen3-32B
A100
H100
Qwen3-30B-A3B
Qwen3-30B-A3B
910B
Qwen3-235B-A22B
Qwen3-235B-A22B
A100
H100
延迟优化
延迟优化
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
Qwen3-8B
Qwen3-8B
H100
参考资料
参考资料
量化对 vLLM 推理性能的影响
评估 LMCache 对 vLLM 预填充的加速效果
容器镜像选择器
首页
用户指南
体验中心
Playground
GPUStack 提供 Playground 界面,供用户测试和探索 API。详细操作说明和信息请参见各子页面。
回到页面顶部