Hızlı Başlangıç

Bu kılavuz, GPUStack'i kendi kendine barındırılan GPU sunucularında çalıştırma konusunda size yol gösterir. bulut GPU'larını kullanmak veya mevcut bir Kubernetes kümesiyle entegre etmek için ilgili eğitimlere bakın.

GPUStack'i yükleyin

Docker kullanarak GPUStack sunucusunu kurmak ve başlatmak için aşağıdaki komutu çalıştırın:

1
2
3
4
5

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    gpustack/gpustack

1
2
3
4
5
6

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    quay.io/gpustack/gpustack \
    --system-default-container-registry quay.io

GPUStack başlangıç günlüklerini kontrol edin:

1

sudo docker logs -f gpustack

GPUStack başladıktan sonra varsayılan yönetici şifresini almak için aşağıdaki komutu çalıştırın:

1

sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password

Tarayıcınızı açın ve GPUStack kullanıcı arayüzüne erişmek için http://your_host_ip seçeneğine gidin. Giriş yapmak için varsayılan kullanıcı adı olan admin'i ve yukarıda aldığınız şifreyi kullanın.

GPU Kümesi Kurma

1. GPUStack kullanıcı arayüzünde Clusters sayfasına gidin.

2. Add Cluster düğmesine tıklayın.

3. Küme sağlayıcısı olarak Docker'ı seçin.

4. Yeni küme için Name ve Description alanlarını doldurun ve ardından Save düğmesine tıklayın.

5. Yeni çalışan düğümü yapılandırmak için kullanıcı arayüzü yönergelerini izleyin. Çalışan düğümü GPUStack sunucusuna bağlamak için bir Docker komutu çalıştırmanız gerekecektir. Komut aşağıdakine benzer görünecektir:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

sudo docker run -d --name gpustack-worker \
      --restart=unless-stopped \
      --privileged \
      --network=host \
      --volume /var/run/docker.sock:/var/run/docker.sock \
      --volume gpustack-data:/var/lib/gpustack \
      --runtime nvidia \
      gpustack/gpustack \
      --server-url http://your_gpustack_server_url \
      --token your_worker_token \
      --advertise-address 192.168.1.2

6. Çalışan düğümü GPUStack sunucusuna bağlamak için komutu çalıştırın.

7. Çalışan düğüm başarıyla bağlandıktan sonra GPUStack kullanıcı arayüzündeki Workers sayfasında görünecektir.

Bir Model Dağıtın

1. GPUStack kullanıcı arayüzünde Catalog sayfasına gidin.

2. Mevcut modeller listesinden Qwen3.5-0.8B modelini seçin.

3. Dağıtım uyumluluğu kontrolleri başarılı olduktan sonra modeli dağıtmak için Save düğmesine tıklayın.

4. GPUStack model dosyalarını indirmeye ve modeli dağıtmaya başlayacaktır. Dağıtım durumu Running gösterdiğinde model başarıyla dağıtılmıştır.

5. Gezinme menüsünde Playground - Chat seçeneğine tıklayın, sağ üstteki Model açılır menüsünden qwen3.5-0.8b modelinin seçildiğini kontrol edin. Artık kullanıcı arayüzü oyun alanında modelle sohbet edebilirsiniz.

Modeli API aracılığıyla kullanın

1. Access Control > API Keys sayfasına gidin, ardından New API Key düğmesine tıklayın.

2. Name alanını doldurun ve Save düğmesine tıklayın.

3. Oluşturulan API anahtarını kopyalayın ve güvenli bir yere kaydedin. Oluşturulduğunda yalnızca bir kez görebileceğinizi lütfen unutmayın.

4. Artık GPUStack tarafından sağlanan OpenAI uyumlu API uç noktalarına erişmek için API anahtarını kullanabilirsiniz. Örneğin, curl'u aşağıdaki gibi kullanın:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

# Replace `your_api_key` and `your_gpustack_server_url`
# with your actual API key and GPUStack server URL.
export GPUSTACK_API_KEY=your_api_key
curl http://your_gpustack_server_url/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $GPUSTACK_API_KEY" \
  -d '{
    "model": "qwen3.5-0.8b",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Tell me a joke."
      }
    ],
    "stream": true
  }'

Temizleme

Dağıtılan modeli kullanmayı tamamladıktan sonra, GPUStack kullanıcı arayüzünde Deployments sayfasına gidebilir ve kaynakları boşaltmak için modeli silebilirsiniz.