Бенчмаркинг

GPUStack может запускать бенчмарки работающих экземпляров моделей. Воркеры выполняют их в специальном контейнерном образе; результаты и журналы сохраняются на воркере.

Предварительные условия

• Экземпляр модели работает и исправен.

Адрес шлюза для бенчмарка маршрута

Бенчмарки маршрутов используют базовый URL Higress, доступный с выполняющего их воркера (без /v1). Адрес выбирается в следующем порядке:

1. server_url кластера, к которому относится выполняющий воркер.
2. server_external_url сервера.
3. Origin запроса на создание бенчмарка, явно разрешённый в trusted_hosts сервера.

При использовании origin запроса подстановочные символы не допускаются. Запись только имени хоста разрешает лишь стандартные порты HTTP/HTTPS; нестандартный порт нужно указать явно, например gateway.example:8443. Если URL содержит префикс пути, внешний прокси должен удалить его перед передачей запроса в Higress.

Целевой адрес фиксируется при создании бенчмарка. Чтобы использовать изменённый URL, создайте бенчмарк заново. Для отчётов о ходе выполнения сохраняется адрес управления воркером.

Создать эталонный тест

1. Перейдите на страницу Benchmarks.
2. Нажмите Add Benchmark.
3. Выберите экземпляр и заполните конфигурации.
4. Нажмите кнопку Save.

Длины нагрузки ShareGPT

Для встроенного набора ShareGPT можно задать минимальную и/или максимальную длину входа в токенах. GPUStack оставляет промпты первого хода, число токенов которых по токенизатору соответствует ограничениям. Длина выхода необязательна: если она задана, для каждого отобранного промпта запрашивается один и тот же максимум; иначе используется длина эталонного ответа из набора данных. Если ни один промпт не попадает в диапазон, запуск завершится ошибкой до отправки запросов бенчмарка.

Просмотр результатов тестирования

1. Перейдите на страницу Benchmarks.
2. Найдите тест, который хотите просмотреть.
3. Щелкните имя теста, чтобы просмотреть снимок результатов и конфигурации.

Результаты тестирования экспорта

1. Перейдите на страницу Benchmarks.
2. Найдите тест, который хотите экспортировать.
3. Выберите один или несколько тестов для экспорта.
4. Нажмите кнопку Export, чтобы загрузить результаты.

Редактировать тест

1. Перейдите на страницу Benchmarks.
2. Найдите тест, который хотите редактировать.
3. Нажмите кнопку Edit в столбце Operations.
4. При необходимости измените имя и описание.
5. Нажмите кнопку Save.

Удалить тест

1. Перейдите на страницу Benchmarks.
2. Найдите тест, который хотите удалить.
3. Нажмите кнопку Delete в столбце Operations.
4. Подтвердите удаление.

Тесты на HTTPS-сервере с частным центром сертификации

Отчёты о ходе выполнения и инференс через маршрут следуют политике TLS воркера. Проверка сертификатов включена, если на воркере не включена переменная GPUSTACK_INSECURE_TLS или параметр конфигурации insecure_tls (--insecure-tls). Отдельной настройки TLS для бенчмарка нет.

Если хотя бы одна точка входа использует HTTPS и проверка включена, воркер передаёт свой доверенный набор CA в контейнер бенчмарка как содержимое файла. В него входят частные CA, импортированные на воркере (см. Дополнительные доверенные CA). Клиент отчётов использует --progress-ca-cert; HTTPS-инференс использует переданный набор через SSL_CERT_FILE с включённой проверкой на бэкенде. Адрес управления по HTTP не препятствует передаче CA для HTTPS-шлюза.

Если воркер явно пропускает проверку, бенчмарк пропускает её для обоих каналов и не передаёт набор CA. Если для HTTPS-инференса требуется проверка, но набор CA прочитать невозможно, бенчмарк отказывается запускаться вместо использования другого хранилища доверия. Отчёты о ходе выполнения остаются необязательной телеметрией: ошибки отправки записываются в журнал и не приводят к потере результатов измерений.