Kubernetes Kullanarak GPU Kümesi Ekleme

GPUStack, Kubernetes kümesinin GPU kümesi olarak eklenmesini destekler.

Hazırlık

Tüm düğümlerde çalışma zamanı sınıfının kurulu ve yapılandırılmış olduğu bir Kubernetes kümesi oluşturulmalıdır. Bu derste örnek olarak k3s kümesini kullanacağız.

Kubernetes Kümesi Oluşturun

Lütfen Kubernetes Kümesini Kaydetme bölümündeki adımlara bakın.

Kubernetes kümesi oluştururken aşağıdaki seçenekleri yapılandırabilirsiniz:

Kümeyi oluşturmak için Save'e tıklayın.

Kubernetes sağlayıcı kümesi oluşturulduktan sonra ihtiyacınız olan GPU Vendors'i seçin. Birden fazla satıcı seçebilir veya hiçbirini seçebilirsiniz.

Kümenin kaydolmaya hazır olduğunu doğrulayan ortam kontrol komut dosyasını almak için Next öğesine tıklayın. Komut dosyasını k3s'in kurulu olduğu ana bilgisayarda çalıştırın.

Lütfen k8s'deki runtimeclass kaynağının yalnızca bir veri kaydı olduğunu ve her düğümde iyi yapılandırılmış konteyner çalışma zamanını temsil etmediğini unutmayın. Belirtilen GPU satıcısı için kapsayıcı çalışma zamanının yapılandırıldığından emin olun, aksi takdirde çalışan başlatılamaz.

Run Command adımındaki scripti kopyalayın ve k3s kurulu hostta çalıştırın.

İşçilerin Tedarik Edilmesi Bekleniyor

Manifestleri Kubernetes kümesine uyguladıktan sonra, Workers Sayfasında çalışan düğümlerin doldurulmasını bekleyebiliriz.

Worker Ready durumuna ulaştığında modelleri onun üzerine dağıtabilirsiniz.