Dağıtılmış vLLM ile DeepSeek R1 671B'yi Çalıştırma

Bu eğitim, bir GPUStack kümesinde Distributed vLLM kullanarak orijinal DeepSeek R1 671B'yi yapılandırma ve çalıştırma sürecinde size rehberlik eder. Modelin son derece büyük boyutundan dolayı, genellikle birden fazla çalışana dağıtılmış çıkarım yapılması gerekir.

GPUStack, vLLM kullanarak dağıtılmış çıkarımın kolay kurulumunu ve düzenlenmesini sağlayarak DeepSeek R1 gibi büyük modellerin minimum manuel yapılandırmayla çalıştırılmasını mümkün kılar.

Önkoşullar

Başlamadan önce aşağıdaki gereksinimlerin karşılandığından emin olun:

• Her biri gerekli GPU'larla donatılmış yeterli sayıda Linux düğümüne erişiminiz var. Örneğin:

• Optimum performans için NVLink veya InfiniBand gibi yüksek hızlı ara bağlantılar önerilir.
• Model dosyaları her düğümde aynı yola indirilmelidir. GPUStack anında model indirmeyi desteklerken, ağ hızına bağlı olarak zaman alıcı olabileceğinden ön indirme önerilir.

Adım 1: GPUStack Sunucusunu Kurun

Installation'e göre GPUStack sunucusunu başlatmak için aşağıdaki komutu kullanabilirsiniz:

1
2
3
4
5
6

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    gpustack/gpustack

GPUStack sunucusu açıldıktan ve çalışmaya başladıktan sonra, başlangıç yönetici şifresini almak için aşağıdaki komutları çalıştırın:

1
2

sudo docker exec gpustack \
    cat /var/lib/gpustack/initial_admin_password

Adım 2: GPUStack Kullanıcı Arayüzü'ne erişin

admin kullanıcısını ve elde edilen şifreyi kullanarak GPUStack kullanıcı arayüzünde oturum açın.

1

http://your_gpustack_server_ip_or_hostname

Adım 3: GPUStack Workers'ı yükleyin

GPUStack kullanıcı arayüzünde Workers sayfasına gidin, işçi ekleme komutunu almak için Add Worker düğmesine tıklayın.

Ve ardından her çalışan düğümünde, bir GPUStack çalışanını başlatmak için çalışan ekleme komutunu çalıştırın:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    --privileged \
    --network host \
    --volume /var/run/docker.sock:/var/run/docker.sock \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    --runtime nvidia \
    gpustack/gpustack \
    --server-url http://your_gpustack_server_ip_or_hostname \
    --token your_gpustack_cluster_token

Tüm çalışanlar eklendikten sonra GPUStack kullanıcı arayüzüne geri dönün.

Tüm çalışanların Hazır durumda olduğunu ve GPU'larının listelendiğini doğrulamak için Workers sayfasına gidin.

Adım 4: DeepSeek R1 Modelini Dağıtın

1. Deployments sayfasına gidin.
2. Deploy Model'a tıklayın.
3. Kaynağınız olarak Local Path'ı seçin.
4. Name alanına bir ad girin (ör. DeepSeek-R1).
5. Her çalışan düğümde DeepSeek R1 model dosyalarını içeren dizin olarak Model Path'ı belirtin.
6. Backend'nin vLLM olarak ayarlandığından emin olun.
7. Uyumluluk kontrolünü geçtikten sonra dağıtmak için Save seçeneğine tıklayın.

Adım 5: Dağıtımı İzleyin

Dağıtım durumunu Deployments sayfasından izleyebilirsiniz. GPU ve çalışan kullanımını görüntülemek için distributed across workers'in üzerine gelin. Model yükleme ilerlemesini gösteren gerçek zamanlı günlükleri görmek için View Logs'ye tıklayın. Modelin yüklenmesi birkaç dakika sürebilir.

Model çalıştıktan sonra GPU kullanımını kontrol etmek için Workers sayfasına gidin. Varsayılan olarak vLLM, GPU belleğinin %90'ını kullanır. Bunu model yapılandırma ayarlarından ayarlayabilirsiniz.

Adım 6: Çıkarımı Oyun Alanı Aracılığıyla Çalıştırın

Model dağıtıldıktan ve çalıştırıldıktan sonra GPUStack Playground'u kullanarak test edebilirsiniz.

1. Playground -> Chat seçeneğine gidin.
2. Yalnızca bir model dağıtılırsa varsayılan olarak seçilecektir. Aksi takdirde, DeepSeek-R1 seçeneğini seçmek için açılır menüyü kullanın.
3. İstemleri girin ve modelle etkileşime geçin.

Eşzamanlı çıkarım senaryolarını test etmek için Compare sekmesini de kullanabilirsiniz.

Artık DeepSeek R1 671B'yi Dağıtılmış vLLM'yi kullanarak GPUStack kümesinde başarıyla dağıttınız ve çalıştırdınız. Modelin performansını ve yeteneklerini kendi uygulamalarınızda keşfedin.

Daha fazla yardım için GPUStack topluluğu veya destek ekibiyle iletişime geçmekten çekinmeyin.