DeepSeek R1 671B'yi Dağıtılmış Ascend MindIE ile Çalıştırma

Bu eğitim, bir GPUStack kümesinde Distributed Ascend MindIE kullanarak orijinal DeepSeek R1 671B'yi yapılandırma ve çalıştırma sürecinde size rehberlik eder.

Modelin son derece büyük boyutundan dolayı, genellikle birden fazla çalışana dağıtılmış çıkarım yapılması gerekir.

GPUStack, Ascend MindIE'yi kullanarak dağıtılmış çıkarımın kolay kurulumunu ve orkestrasyonunu sağlayarak DeepSeek R1 gibi büyük modellerin minimum manuel yapılandırmayla çalıştırılmasını mümkün kılar.

Önkoşullar

Başlamadan önce aşağıdaki gereksinimlerin karşılandığından emin olun:

• Her biri gerekli Ascend Atlas AI işlemcileriyle donatılmış yeterli sayıda Linux düğümüne erişiminiz var. Örneğin:

• Tüm düğümlerin Huawei Toplu İletişim uyarlamalı Protokolünü (HCCP), yüklü Huawei Toplu İletişim Kitaplığını (HCCL) ve etkin Huawei Önbellek Tutarlılık Sistemini (HCCS) desteklemesi gerekir.
• Model dosyaları her düğümde aynı yola indirilmelidir. GPUStack anında model indirmeyi desteklerken, ağ hızına bağlı olarak zaman alıcı olabileceğinden ön indirme önerilir.

Adım 1: GPUStack Sunucusunu Kurun

Installation'e göre GPUStack sunucusunu başlatmak için aşağıdaki komutu kullanabilirsiniz:

1
2
3
4
5
6

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    gpustack/gpustack

GPUStack sunucusu açıldıktan ve çalışmaya başladıktan sonra, başlangıç yönetici şifresini almak için aşağıdaki komutları çalıştırın:

1
2

sudo docker exec gpustack \
    cat /var/lib/gpustack/initial_admin_password

Adım 2: GPUStack Kullanıcı Arayüzü'ne erişin

admin kullanıcısını ve elde edilen şifreyi kullanarak GPUStack kullanıcı arayüzünde oturum açın.

1

http://your_gpustack_server_ip_or_hostname

Adım 3: GPUStack Workers'ı yükleyin

GPUStack kullanıcı arayüzünde Workers sayfasına gidin, işçi ekleme komutunu almak için Add Worker düğmesine tıklayın.

Ve ardından her çalışan düğümünde, bir GPUStack çalışanını başlatmak için çalışan ekleme komutunu çalıştırın:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    --privileged \
    --env "ASCEND_VISIBLE_DEVICES=$(sudo ls /dev/davinci* | head -1 | grep -o '[0-9]\+' || echo "0")" \
    --network host \
    --volume /var/run/docker.sock:/var/run/docker.sock \
    --volume gpustack-data:/var/lib/gpustack \
    --volume /path/to/your/model:/path/to/your/model \
    --runtime ascend \
    gpustack/gpustack \
    --server-url http://your_gpustack_server_ip_or_hostname \
    --token your_gpustack_cluster_token

Tüm çalışanlar eklendikten sonra GPUStack kullanıcı arayüzüne geri dönün.

Tüm çalışanların Hazır durumda olduğunu ve GPU'larının listelendiğini doğrulamak için Workers sayfasına gidin.

Adım 4: DeepSeek R1 Modelini Dağıtın

1. Deployments sayfasına gidin.
2. Deploy Model'a tıklayın.
3. Kaynağınız olarak Local Path'ı seçin.
4. Name alanına bir ad girin (ör. DeepSeek-R1).
5. Her çalışan düğümde DeepSeek R1 model dosyalarını içeren dizin olarak Model Path'ı belirtin.
6. Backend'nin Ascend MindIE olarak ayarlandığından emin olun.
7. Advanced'i genişletin, aşağıdaki parametreleri Backend Parameters'e ekleyin: - --data-parallel-size=4 - --tensor-parallel-size=8 - --moe-tensor-parallel-size=1 - --moe-expert-parallel-size=32 - --npu-memory-fraction=0.95, Veri Paralelliğini kullandığımız için, tüm NPU'larda verimli bellek kullanımını sağlamak için bellek oranı 0,95'e ayarlanmalıdır.
8. Uyumluluk kontrolünü geçtikten sonra dağıtmak için Save seçeneğine tıklayın.

Adım 5: Dağıtımı İzleyin

Dağıtım durumunu Deployments sayfasından izleyebilirsiniz. GPU ve çalışan kullanımını görüntülemek için distributed across workers'in üzerine gelin. Model yükleme ilerlemesini gösteren gerçek zamanlı günlükleri görmek için View Logs'ye tıklayın. Modelin yüklenmesi birkaç dakika sürebilir.

Model çalıştıktan sonra GPU kullanımını kontrol etmek için Workers sayfasına gidin. Ascend MindIE yukarıdaki ayarlarla NPU belleğinin %95'ini kullanır.

Adım 6: Çıkarımı Oyun Alanı Aracılığıyla Çalıştırın

Model dağıtıldıktan ve çalıştırıldıktan sonra GPUStack Playground'u kullanarak test edebilirsiniz.

1. Playground -> Chat seçeneğine gidin.
2. Yalnızca bir model dağıtılırsa varsayılan olarak seçilecektir. Aksi takdirde, DeepSeek-R1 seçeneğini seçmek için açılır menüyü kullanın.
3. İstemleri girin ve modelle etkileşime geçin.

Eşzamanlı çıkarım senaryolarını test etmek için Compare sekmesini de kullanabilirsiniz.

Artık DeepSeek R1 671B'yi Distributed Ascend MindIE kullanarak GPUStack kümesinde başarıyla dağıttınız ve çalıştırdınız. Modelin performansını ve yeteneklerini kendi uygulamalarınızda keşfedin.

Daha fazla yardım için GPUStack topluluğu veya destek ekibiyle iletişime geçmekten çekinmeyin.