GPUStack
Home
English
简体中文
日本語
Русский
Türkçe
Arama başlatılıyor
gpustack/gpustack
Ana Sayfa
Çıkarım Performansı Laboratuvarı
Konteyner İmajı Seçici
GPUStack
gpustack/gpustack
Ana Sayfa
Ana Sayfa
Genel Bakış
Hızlı başlangıç
Kurulum
Kurulum
Gereksinimler
Docker ile kurulum
Helm ile Kurulum
İnternete Kapalı Ortamda Kurulum
Kaldırma
Yükseltme
Yükseltme
Docker aracılığıyla yükseltme
Helm ile Yükseltme
Küme Dağıtımını Yükseltme
Geçiş
Kullanım Kılavuzu
Kullanım Kılavuzu
Deneme Alanı
Deneme Alanı
Sohbet
Resim
Ses
Vektör Gömme
Yeniden Sıralama
Model Kataloğu
Model Dağıtım Yönetimi
Prefill/Decode Ayrımı
Model Rota Yönetimi
Model Sağlayıcı Yönetimi
Çıkarım Arka Uç Yönetimi
Yerleşik Çıkarım Arka Uçları
Önbellek Hizmeti Yönetimi
OTA İçerik Güncellemeleri
Uyumluluk Kontrolü
Model Dosya yönetimi
Küme Yönetimi
GPU Hizmeti
GPU Hizmeti
GPU Örnekleri
Örnek Türleri
Örnek Şablonları
Depolama
Depolama Türleri
SSH Açık Anahtarları
Bulut Kimlik Bilgisi Yönetimi
API Anahtar Yönetimi
Kullanıcı Yönetimi
Kullanım
Tek Oturum Açma (SSO) Kimlik Doğrulaması
Gözlemlenebilirlik
Performans Ölçümü
Modelleri Kullanma
Modelleri Kullanma
Büyük Dil Modellerini Kullanma
Görsel Dil Modellerini Kullanma
Gömme Modellerini Kullanma
Yeniden Sıralama Modellerini Kullanma
Görüntü Oluşturma Modellerini Kullanma
Ses Modellerini Kullanma
Öğreticiler
Öğreticiler
DeepSeek R1 671B'yi Dağıtılmış vLLM ile Çalıştırma
MultiProcessing Arka Ucuyla Dağıtılmış vLLM Çalıştırma
Dağıtılmış Ascend MindIE ile DeepSeek R1 671B Çalıştırma
CPU'larda Çıkarım
Araç Çağırma ile Çıkarım
Özel Çıkarım Arka Uçunu Kullanma
DigitalOcean Kullanarak GPU Kümesi Ekleme
Shuihua Kullanarak GPU Kümesi Ekleme
Kubernetes Kullanarak GPU Kümesi Ekleme
Model Rotaları Yönetme
LB Politikalarıyla Yönlendirme
LoRA Adaptörlü Modeller Sunma
Entegrasyonlar
Entegrasyonlar
Çıkarım API'leri
Claude Code ile Entegrasyon
Dify ile entegrasyon
RAGFlow ile entegrasyon
Cherry Studio ile entegrasyon
OpenClaw ile entegrasyon
n8n ile entegrasyon
MaxKB ile entegrasyon
NewAPI ile entegrasyon
LiteLLM ile entegrasyon
Mimari
Zamanlayıcı
Sorun giderme
SSS
API Referansı
CLI Referansı
CLI Referansı
Başlat
Araçları İndirme
Yapılandırmayı Yeniden Yükleme
İmajları Listeleme
İmajları Kaydetme
İmajları Yükleme
İmajları Kopyalama
Ortam Değişkenleri
Çıkarım Performansı Laboratuvarı
Çıkarım Performansı Laboratuvarı
Genel Bakış
Verimi Optimize Etme
Verimi Optimize Etme
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
GLM-4.5-Air
GLM-4.5-Air
A100
H100
GLM-4.x
GLM-4.x
A100
H100
H200
GPT-OSS-20B
GPT-OSS-20B
A100
H100
GPT-OSS-120B
GPT-OSS-120B
A100
H100
DeepSeek-R1
DeepSeek-R1
H200
DeepSeek-V3.2
DeepSeek-V3.2
H200
GLM-5.2
GLM-5.2
H200
Qwen3-8B
Qwen3-8B
910B
Qwen3-14B
Qwen3-14B
A100
H100
Qwen3-32B
Qwen3-32B
A100
H100
Qwen3-30B-A3B
Qwen3-30B-A3B
910B
Qwen3-235B-A22B
Qwen3-235B-A22B
A100
H100
Gecikmeyi Optimize Etme
Gecikmeyi Optimize Etme
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
Qwen3-8B
Qwen3-8B
H100
Referanslar
Referanslar
Nicelemenin vLLM Çıkarım Performansı Üzerindeki Etkisi
vLLM'de LMCache Ön Doldurma Hızlandırmasını Değerlendirme
Konteyner İmajı Seçici
Home
Başa dön