Ana içeriğe geç

Kurulum Gereksinimleri

Bu sayfada GPUStack çalıştıran düğümler için yazılım ve ağ gereksinimleri özetlenmektedir.

İşletim Sistemi Gereksinimleri

GPUStack, AMD64 ve ARM64 mimarilerindeki modern Linux dağıtımlarının çoğunu destekler.

Not

  • GPUStack'in doğrudan PyPI aracılığıyla kurulması desteklenmez. En iyi uyumluluk için sağlanan Docker görüntülerini kullanın.
  • Düğümler arasında tutarlı durum senkronizasyonu sağlamak için Ağ Zaman Protokolü (NTP) paketi kurulmalıdır.

Veritabanı Gereksinimleri

GPUStack sunucusu durumunu bir SQL veritabanında saklar. Sunucu kapsayıcı görüntüsü, herhangi bir yapılandırma gerektirmeden kutudan çıktığı gibi çalışan yerleşik bir PostgreSQL veritabanını bir araya getirir.

Alternatif olarak, --database-url bağımsız değişkenini (veya GPUSTACK_DATABASE_URL ortam değişkenini) ayarlayarak harici bir veritabanı kullanabilirsiniz. Aşağıdaki veritabanları uyumludur:

Veritabanı Doğrulanmış Sürümler Veritabanı URL Formatı
PostgreSQL 13.0+ postgresql://username:password@host:port/dbname
MySQL 8.0.36+ mysql://username:password@host:port/dbname
openGauss v6.0.5, v7.0.0-RC3 postgresql://username:password@host:port/dbname
OceanBase CE-v4.3.5 mysql://username:password@host:port/dbname

Not

openGauss PostgreSQL uyumludur ve OceanBase MySQL uyumludur, dolayısıyla sırasıyla postgresql:// ve mysql:// URL şemalarını kullanırlar.

Yapılandırma örnekleri için Harici Veritabanı Kullanma konusuna bakın.

Hızlandırıcı Çalışma Zamanı Gereksinimleri

GPUStack, çıkarım arka uçları olarak çeşitli Genel Amaçlı Hızlandırıcıları destekler:

  • NVIDIA GPU
  • AMD GPU
  • NPU'ya yüksel
  • Hygon DCU
  • MetaX GPU
  • MThreads GPU (Deneysel)
  • Iluvatar GPU (Deneysel)
  • Cambricon MLU (Deneysel)
  • T-Head PPU (Deneysel)

GPUStack'i çalıştırmadan önce gerekli tüm sürücülerin ve araç setlerinin kurulu olduğundan emin olun.

NVIDIA GPU

Gereksinimler

Kubernetes GPU Düğümleri

GPU'lar Kubernetes düğümleri tarafından sağlandığında, sürücüyü ve araç setini her düğüme yukarıdaki gibi yükleyin veya NVIDIA GPU Operatörü'nin bunları yönetmesine izin verin. NVIDIA GPU Operatörü zaten kuruluysa, GPUStack'in cihaz yönetimiyle çakışan cihaz eklentisini, GPU Özellik Keşfi, Düğüm Özellik Keşfi, MIG Yöneticisi ve CDI bileşenlerini devre dışı bırakın. Ayrıntılar için Satıcı Önkoşulları'e bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
2
3
4
5
6
sudo nvidia-smi

# If using Docker
sudo docker info 2>/dev/null | grep -q "nvidia" \
    && echo "NVIDIA Container Toolkit OK" \
    || (echo "NVIDIA Container Toolkit not configured"; exit 1)

Desteklenen Çıkarım Arka Uçları

AMD GPU

Gereksinimler

Kubernetes GPU Düğümleri

GPU'lar Kubernetes düğümleri tarafından sağlandığında, sürücüyü yukarıdaki gibi her düğüme yükleyin veya AMD GPU Operatörü'nin yönetmesine izin verin. AMD GPU Operatörü zaten kuruluysa, GPUStack'in cihaz yönetimiyle çakışan cihaz eklentisini, düğüm etiketleyicisini, birlikte verilen Node Özellik Keşfi ve Çekirdek Modül Yönetimi bileşenlerini devre dışı bırakın. Ayrıntılar için Satıcı Önkoşulları'e bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
2
3
4
5
6
sudo amd-smi static

# If using Docker
sudo docker info 2>/dev/null | grep -q "amd" \
    && echo "AMD Container Toolkit OK" \
    || (echo "AMD Container Toolkit not configured"; exit 1)

Desteklenen Çıkarım Arka Uçları

  • vLLM
  • SGLang (gfx9 serisi GPU'lar gerektirir)
  • Özel

Ascend NPU

Gereksinimler

Doğrulamak için aşağıdaki komutları çalıştırın:

1
2
3
4
5
6
sudo npu-smi info

# If using Docker
sudo docker info 2>/dev/null | grep -q "ascend" \
    && echo "Ascend Container Toolkit OK" \
    || (echo "Ascend Container Toolkit not configured"; exit 1)

Desteklenen Cihazlar

  • Yükselen NPU 910C serisi
  • Yükselen NPU 910B serisi (910B1 ~ 910B4)
  • NPU 310P3'e yüksel

Desteklenen Çıkarım Arka Uçları

Hygon DCU

Gereksinimler

Kubernetes GPU Düğümleri

DCU'lar Kubernetes düğümleri tarafından sağlandığında, sürücüyü ve araç kitini her düğüme yukarıdaki gibi yükleyin veya Hygon DCU Operatörü'nin bunları yönetmesine izin verin. Hygon DCU Operatörü zaten kuruluysa, GPUStack'in cihaz yönetimiyle çakışan cihaz eklentisini ve düğüm etiketleyici bileşenlerini devre dışı bırakın. Ayrıntılar için Satıcı Önkoşulları'e bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
sudo hy-smi

Desteklenen Cihazlar

  • Hygon DCU'lar

Desteklenen Çıkarım Arka Uçları

MetaX GPU

Gereksinimler

Kubernetes GPU Düğümleri

GPU'lar Kubernetes düğümleri tarafından sağlandığında her düğüme yukarıdaki gibi sürücüyü ve SDK'yı yükleyin veya bunları MetaX GPU Operator yönetsin. MetaX GPU Operator'ın cihaz eklentisi devre dışı bırakılamaz. Bu nedenle operatör zaten kuruluysa, düğümdeki sürücü ve SDK'yı koruyarak operatörü kaldırın; ardından düğümleri GPUStack'e ekleyin. Ayrıntılar için Üretici Önkoşulları bölümüne bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
sudo mx-smi

Desteklenen Çıkarım Arka Uçları

MThreads GPU'su

Gereksinimler

Kubernetes GPU Düğümleri

GPU'lar Kubernetes düğümleri tarafından sağlandığında, sürücüyü ve araç setini her düğüme yukarıdaki gibi yükleyin veya bunları MT GPU Operatörünün yönetmesine izin verin. MT GPU Operatörünün cihaz eklentisi varsayılan full modunda devre dışı bırakılamaz, bu nedenle operatör zaten yüklüyse, düğümleri GPUStack'e eklemeden önce cihaz eklentisi olmadan core moduna geçin veya sürücüyü ve araç setini düğümde tutarak operatörü kaldırın. Ayrıntılar için Satıcı Önkoşulları'e bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
2
3
4
5
6
sudo mthreads-gmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "mthreads" \
    && echo "MThreads Container Toolkit OK" \
    || (echo "MThreads Container Toolkit not configured"; exit 1)

Desteklenen Çıkarım Arka Uçları

Iluvatar GPU

Gereksinimler

Kubernetes GPU Düğümleri

GPU'lar Kubernetes düğümleri tarafından sağlandığında, sürücüyü ve araç setini her düğüme yukarıdaki gibi yükleyin veya ix-GPU-Operator'in bunları yönetmesine izin verin. ix-GPU-Operator zaten kuruluysa, GPUStack'in cihaz yönetimiyle çakışan cihaz eklentisini ve özellik bulma bileşenlerini devre dışı bırakın. Ayrıntılar için Satıcı Önkoşulları'e bakın.

Doğrulamak için aşağıdaki komutları çalıştırın:

1
2
3
4
5
6
sudo ixsmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "iluvatar" \
    && echo "Iluvatar Container Toolkit OK" \
    || (echo "Iluvatar Container Toolkit not configured"; exit 1)

Desteklenen Çıkarım Arka Uçları

Cambricon MLU

Gereksinimler

  • Cambricon MLU Sürücüsü
  • Cambricon NeuWare Araç Takımı

Doğrulamak için aşağıdaki komutları çalıştırın:

1
sudo cnmon

Desteklenen Çıkarım Arka Uçları

  • Özel

T-Head PPU

Gereksinimler

  • T-Head PPU Sürücüsü
  • T-Head PPU SDK'sı

Doğrulamak için aşağıdaki komutları çalıştırın:

1
sudo ppu-smi

Desteklenen Çıkarım Arka Uçları

Ağ Gereksinimleri

Bağlantı Gereksinimleri

GPUStack'in düzgün çalışması için aşağıdaki ağ bağlantısı gereklidir:

Sunucudan Çalışana: Sunucu, proxy çıkarım istekleri için çalışanlara ulaşabilmelidir.

İşçiden Sunucuya: Çalışanların kaydolmak ve güncellemeleri göndermek için sunucuya ulaşabilmeleri gerekir.

İşçiden İşçiye: Birden fazla çalışan arasında dağıtılmış çıkarım için gereklidir.

Bağlantı Noktası Gereksinimleri

GPUStack iletişim için bu bağlantı noktalarını kullanır:

Sunucu Bağlantı Noktaları

Bağlantı Noktası Açıklama
TCP 80 GPUStack UI ve API uç noktaları için varsayılan bağlantı noktası
TCP 443 GPUStack UI ve API uç noktaları için varsayılan bağlantı noktası (TLS etkin)
TCP 10161 Sunucu ölçümleri uç noktası için varsayılan bağlantı noktası
TCP 30080 GPUStack sunucu dahili API'si için varsayılan bağlantı noktası
TCP 5432 Gömülü Postgres Veritabanı için varsayılan bağlantı noktası

Worker Bağlantı Noktaları

Bağlantı Noktası Açıklama
TCP 10150 GPUStack çalışan için varsayılan bağlantı noktası
TCP 10151 Çalışan ölçümleri uç noktası için varsayılan bağlantı noktası
TCP 40000-40063 Çıkarım hizmetleri için bağlantı noktası aralığı
TCP 41000-41999 Ray hizmetleri için bağlantı noktası aralığı (vLLM kullanılarak dağıtılmış dağıtım)
Ray Bağlantı Noktalarıyla Dağıtılmış vLLM

Dağıtılmış vLLM kullanıldığında GPUStack, Ray hizmetleri için yukarıdaki bağlantı noktası aralığını ayrıştıracak ve bunları aşağıdaki sırayla atayacaktır:

  1. GCS sunucu bağlantı noktası (aralığın ilk bağlantı noktası)
  2. İstemci Sunucu bağlantı noktası (uyumluluk için ayrılmıştır, artık kullanılmamaktadır, bkz. https://github.com/gpustack/gpustack/issues/4171)
  3. Kontrol paneli bağlantı noktası
  4. Kontrol paneli gRPC bağlantı noktası (Ray 2.45.0'dan beri artık kullanılmıyor, geriye dönük uyumluluk için saklanıyor)
  5. Kontrol paneli aracısı gRPC bağlantı noktası
  6. Kontrol paneli aracısı dinleme bağlantı noktası
  7. Metrik dışa aktarma bağlantı noktası
  8. Düğüm Yöneticisi bağlantı noktası
  9. Nesne Yöneticisi bağlantı noktası
  10. Raylet çalışma zamanı env aracısı bağlantı noktası
  11. Çalışan için minimum port numarası
  12. Çalışan için maksimum port numarası (aralığın son portu)

Ray bağlantı noktaları hakkında daha fazla ayrıntı için Ray belgelerine bakın.

Gömülü Ağ Geçidi Bağlantı Noktaları

Hem sunucu hem de çalışan için yerleşik ağ geçidi, dahili iletişim için aşağıdaki bağlantı noktalarını kullanır.

Bağlantı Noktası Sunucu Açıklama
TCP 18443 127.0.0.1 HTTPS aracılığıyla hizmet veren dosya tabanlı APIServer'ın bağlantı noktası
TCP 15000 127.0.0.1 Envoy ağ geçidi için yönetim bağlantı noktası
TCP 15021 0.0.0.0 Envoy ağ geçidi için sağlık kontrolü bağlantı noktası
TCP 15090 0.0.0.0 Envoy ağ geçidi için ölçüm bağlantı noktası
TCP 9876 127.0.0.1 Pilot keşif için iç gözlem portu
TCP 15010 127.0.0.1 HTTP/gRPC aracılığıyla XDS'ye hizmet veren Pilot keşif bağlantı noktası
TCP 15012 127.0.0.1 Güvenli gRPC aracılığıyla XDS'ye hizmet veren Pilot keşif bağlantı noktası
TCP 15020 0.0.0.0 Pilot-acente için ölçüm portu
TCP 8888 127.0.0.1 XDS'ye HTTP üzerinden hizmet veren Denetleyici Bağlantı Noktası
TCP 15051 127.0.0.1 gRPC aracılığıyla XDS'ye hizmet veren Denetleyici Bağlantı Noktası