Gözlemlenebilirlik

Bu belge, Prometheus ve Grafana kullanılarak GPUStack Sunucusu/Çalışan/LLM sunan çalışma zamanı ölçümlerinin nasıl izleneceğini açıklamaktadır.

Genel Bakış

GPUStack, model sunumu ve GPU kaynak yönetimi için kapsamlı bir ölçüm seti sağlar. Kullanıcılar, Prometheus ve Grafana'yı entegre ederek bu ölçümleri gerçek zamanlı olarak toplayabilir, saklayabilir ve görselleştirebilir, böylece etkili izleme ve sorun giderme işlemleri yapılabilir.

Dahili Gözlemlenebilirlik (Varsayılan)

Varsayılan olarak GPUStack gömülü Prometheus ve Grafana ile başlar. Bunlara şu yollarla erişebilirsiniz:

• Prometheus: http://your_gpustack_server_host_ip/prometheus
• Grafana: http://your_gpustack_server_host_ip/grafana

Yerleşik Grafana, anonim Görüntüleyici erişimi için yapılandırılmıştır ve oturum açma formu devre dışı bırakılmıştır. Yönetici kimlik bilgileri varsayılan olarak admin / grafana olarak kalır.

Harici Gözlemlenebilirlik (Opsiyonel)

Harici bir Prometheus/Grafana yığını istiyorsanız sağlanan Docker Compose dosyalarını kullanmanızı öneririz:

En son kararlı sürümü kopyalamak için aşağıdaki komutları çalıştırın:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

LATEST_TAG=$(
    curl -s "https://api.github.com/repos/gpustack/gpustack/releases" \
    | grep '"tag_name"' \
    | sed -E 's/.*"tag_name": "([^"]+)".*/\1/' \
    | grep -Ev 'rc|beta|alpha|preview' \
    | head -1
)
echo "Latest stable release: $LATEST_TAG"
git clone -b "$LATEST_TAG" https://github.com/gpustack/gpustack.git
cd gpustack/docker-compose

Başlamadan önce, GPUSTACK_GRAFANA_URL'i tarayıcı tarafından erişilebilen bir Grafana URL'sine ayarlayın (grafana gibi yalnızca kapsayıcı ana bilgisayar adı değil).

Harici Prometheus/Grafana'yı başlatın (bu, yerleşik yığını devre dışı bırakır):

1

sudo docker compose -f docker-compose.external-observability.yaml up -d

Zaten harici bir Prometheus/Grafana yığınınız varsa, bunu manuel olarak yapılandırabilirsiniz:

1. Prometheus'u GPUStack ölçümlerini çıkaracak şekilde yapılandırın GPUStack ölçüm uç noktası (varsayılan :10161) ve çalışan keşif uç noktası için hedefler ekleyin. Örnek:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

scrape_configs:
  - job_name: gpustack-worker-discovery
    scrape_interval: 5s
    http_sd_configs:
      - url: "http://<gpustack_server_host>:10161/metrics/targets"
        refresh_interval: 1m
  - job_name: gpustack-server
    scrape_interval: 10s
    static_configs:
      - targets: ["<gpustack_server_host>:10161"]

Metriklere Erişim

• GPUStack Metrikleri Uç Noktası: http://<gpustack_server_host>:10161/metrics'deki ölçümlere erişim
• GPUStack Çalışan Metrik Hedefleri: http://<gpustack_server_host>:10161/metrics/targets'deki ölçümlere erişim
• Prometheus Kullanıcı Arayüzü: Prometheus'a varsayılan olarak http://<host>:19090 adresinden veya --builtin-prometheus-port / GPUSTACK_BUILTIN_PROMETHEUS_PORT ile yapılandırılan bağlantı noktasından erişin.
• Grafana kullanıcı arayüzü: Grafana'ya varsayılan olarak http://<host>:13000 adresinden veya --builtin-grafana-port / GPUSTACK_BUILTIN_GRAFANA_PORT ile yapılandırılan bağlantı noktasından erişin. Yerleşik Grafana, oturum açma formu devre dışı bırakılarak anonim Görüntüleyici erişimi için yapılandırılmıştır. Yönetici kimlik bilgileri varsayılan olarak admin / grafana olarak kalır.

Eski Oluşturma Kurulumlarından Geçiş

Daha önce Prometheus/Grafana'yı GPUStack ile birlikte çalıştırmak için Docker Compose'u kullandıysanız:

• Harici gözlemlenebilirliği koruyun (süreklilik için önerilir): Mevcut Prometheus/Grafana konteynerlerinizi çalışır durumda bırakın. Prometheus kazıma hedeflerini yeni GPUStack ölçüm uç noktasına güncelleyin ve GPUSTACK_GRAFANA_URL'ı mevcut Grafana'nıza ayarlayın.

• Yerleşik gözlemlenebilirliğe geçin: Eski Prometheus/Grafana kapsayıcılarını durdurun, ardından en yeni docker-compose.server.yaml'yi (yalnızca GPUStack) kullanın. Yerleşik Grafana/Prometheus görevi devralacak. Eski yığını salt okunur olarak tutmadığınız sürece, eski Prometheus'un geçmiş ölçümleri taşınmayacaktır.

Metrik Eşlemeyi Özelleştirme

GPUStack, yapılandırma API'si aracılığıyla metrik eşlemesinin dinamik olarak özelleştirilmesini destekler. Bu, hizmeti yeniden başlatmadan çalışma zamanı motor ölçümlerinin GPUStack ölçümleriyle nasıl eşlendiğini güncellemenize olanak tanır. Yapılandırma sunucuda merkezi olarak yönetilir ve HTTP API aracılığıyla erişilebilir veya değiştirilebilir.

API Uç Noktaları

• Mevcut Metrik Yapılandırmasını Al

• AL http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

• Geçerli metrik eşleme yapılandırmasını JSON formatında döndürür.

• Metrik Yapılandırmasını Güncelle

• POST http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

• Metrik eşleme yapılandırmasını güncellemek için bir JSON yükünü kabul eder. Değişiklikler tüm çalışanlar için anında geçerli olur.

• Varsayılan Metrik Yapılandırmasını Al

• AL http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/default-config
• Referans veya sıfırlama için yararlı olan varsayılan metrik eşleme yapılandırmasını JSON formatında döndürür.

Örnek Kullanım

Mevcut yapılandırmayı al:

1

curl http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

Yapılandırmayı güncelle:

1
2
3

curl -X POST http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config \
     -H "Content-Type: application/json" \
     -d @custom_metrics_config.json

(burada custom_metrics_config.json yeni yapılandırma dosyanızdır)

Varsayılan yapılandırmayı al:

1

curl http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/default-config

Not: Yapılandırma geçerli JSON formatında sağlanmalıdır.

GPUStack Tarafından Ortaya Çıkan Metrikler

Aşağıdaki metrikler GPUStack tarafından ortaya çıkarılmıştır ve Prometheus tarafından kazınabilir. Her metrik, küme, çalışan, model ve örnek tanımlamaya yönelik hiyerarşik etiketleri içerir.

LLM Hizmet Çalışma Zamanı Metrikleri

Bu ölçümler, metrics_config.yaml'da tanımlandığı gibi çeşitli çalışma zamanı motorlarından (vLLM, SGLang, MindIE) eşlenir.

Çalışan Metrikleri

Sunucu Metrikleri

Olay Veri Yolu Metrikleri

Not: Ayrıntılı izleme ve filtreleme için tüm ölçümler ilgili tanımlayıcılarla (küme, çalışan, model, örnek, kullanıcı) etiketlenmiştir.