Наблюдательность

В этом документе описывается, как отслеживать метрики времени выполнения службы GPUStack Server/Worker/LLM с помощью Prometheus и Grafana.

Обзор

GPUStack предоставляет полный набор показателей для обслуживания моделей и управления ресурсами графического процессора. Благодаря интеграции Prometheus и Grafana пользователи могут собирать, хранить и визуализировать эти показатели в режиме реального времени, обеспечивая эффективный мониторинг и устранение неполадок.

Встроенная возможность наблюдения (по умолчанию)

По умолчанию GPUStack запускается со встроенным Prometheus и Grafana. Вы можете получить к ним доступ через:

• Prometheus: http://your_gpustack_server_host_ip/prometheus
• Графана: http://your_gpustack_server_host_ip/grafana

Встроенный Grafana настроен на анонимный доступ к средству просмотра и имеет отключенную форму входа. По умолчанию учетные данные администратора остаются admin/grafana.

Внешняя наблюдаемость (необязательно)

Если вам нужен внешний стек Prometheus/Grafana, мы рекомендуем использовать предоставленные файлы Docker Compose:

Выполните следующие команды, чтобы клонировать последнюю стабильную версию:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

LATEST_TAG=$(
    curl -s "https://api.github.com/repos/gpustack/gpustack/releases" \
    | grep '"tag_name"' \
    | sed -E 's/.*"tag_name": "([^"]+)".*/\1/' \
    | grep -Ev 'rc|beta|alpha|preview' \
    | head -1
)
echo "Latest stable release: $LATEST_TAG"
git clone -b "$LATEST_TAG" https://github.com/gpustack/gpustack.git
cd gpustack/docker-compose

Перед началом установите GPUSTACK_GRAFANA_URL для доступного через браузер URL-адреса Grafana (а не имени хоста только для контейнера, такого как grafana).

Запустите внешний Prometheus/Grafana (это отключает встроенный стек):

1

sudo docker compose -f docker-compose.external-observability.yaml up -d

Если у вас уже есть внешний стек Prometheus/Grafana, вы можете настроить его вручную:

1. Настроить Prometheus для очистки метрик GPUStack Добавьте цели для конечной точки метрик GPUStack (по умолчанию :10161) и конечной точки обнаружения воркеров. Пример:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

scrape_configs:
  - job_name: gpustack-worker-discovery
    scrape_interval: 5s
    http_sd_configs:
      - url: "http://<gpustack_server_host>:10161/metrics/targets"
        refresh_interval: 1m
  - job_name: gpustack-server
    scrape_interval: 10s
    static_configs:
      - targets: ["<gpustack_server_host>:10161"]

Доступ к метрикам

• Конечная точка показателей GPUStack: Доступ к метрикам по адресу http://<gpustack_server_host>:10161/metrics
• Целевые показатели рабочих метрик GPUStack: Доступ к метрикам по адресу http://<gpustack_server_host>:10161/metrics/targets
• Интерфейс Прометея: Получите доступ к Prometheus через http://<host>:19090 по умолчанию или через порт, настроенный --builtin-prometheus-port / GPUSTACK_BUILTIN_PROMETHEUS_PORT.
• Grafana UI: Получите доступ к Grafana через http://<host>:13000 по умолчанию или через порт, настроенный --builtin-grafana-port / GPUSTACK_BUILTIN_GRAFANA_PORT. Встроенный Grafana настроен на анонимный доступ к программе просмотра с отключенной формой входа. По умолчанию учетные данные администратора остаются admin/grafana.

Миграция со старых настроек создания сообщений

Если вы ранее использовали Docker Compose для запуска Prometheus/Grafana вместе с GPUStack:

• Сохранять внешнюю наблюдаемость (рекомендуется для непрерывности): Оставьте существующие контейнеры Prometheus/Grafana работающими. Обновите цели очистки Prometheus до новой конечной точки метрик GPUStack и установите GPUSTACK_GRAFANA_URL для существующей Grafana.

• Переключиться на встроенную наблюдаемость: Остановите старые контейнеры Prometheus/Grafana, затем используйте последнюю версию docker-compose.server.yaml (только GPUStack). Встроенная Grafana/Prometheus возьмет верх. Исторические метрики из старого Prometheus не будут перенесены, если вы не сохраните старый стек только для чтения.

Настройка сопоставления метрик

GPUStack поддерживает динамическую настройку сопоставления метрик через свой API конфигурации. Это позволяет вам обновить способ сопоставления показателей механизма выполнения с метриками GPUStack без перезапуска службы. Конфигурация управляется централизованно на сервере, и к ней можно получить доступ или изменить ее через HTTP API.

Конечные точки API

• Получить текущую конфигурацию метрик

• ПОЛУЧИТЬ http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

• Возвращает текущую конфигурацию сопоставления метрик в формате JSON.

• Обновить конфигурацию метрик

• ПОСТ http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

• Принимает полезную нагрузку JSON для обновления конфигурации сопоставления метрик. Изменения вступают в силу немедленно для всех воркеров.

• Получить конфигурацию метрик по умолчанию

• ПОЛУЧИТЬ http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/default-config
• Возвращает конфигурацию сопоставления метрик по умолчанию в формате JSON, что полезно для справки или сброса.

Пример использования

Получить текущую конфигурацию:

1

curl http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config

Обновить конфигурацию:

1
2
3

curl -X POST http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/config \
     -H "Content-Type: application/json" \
     -d @custom_metrics_config.json

(где custom_metrics_config.json — ваш новый файл конфигурации)

Получить конфигурацию по умолчанию:

1

curl http://<gpustack_server_host>:<gpustack_server_port>/v2/metrics/default-config

Примечание: Конфигурация должна быть предоставлена в допустимом формате JSON.

Метрики, предоставляемые GPUStack

Следующие метрики предоставляются GPUStack и могут собираться Prometheus. Каждая метрика включает иерархические метки для идентификации кластера, воркера, модели и экземпляра.

LLM обслуживает показатели времени выполнения

Эти метрики сопоставляются с различными механизмами выполнения (vLLM, SGLang, MindIE), как определено в metrics_config.yaml.

Метрики воркеров

Метрики сервера

Метрики шины событий

Примечание: Все метрики помечены соответствующими идентификаторами (кластер, рабочий, модель, экземпляр, пользователь) для детального мониторинга и фильтрации.