Перейти к содержанию


GPUStack


License Discord

Star Watch Fork

Обзор

GPUStack — это менеджер GPU-кластеров с открытым исходным кодом для обслуживания моделей ИИ и предоставления GPU-инстансов. Он настраивает и координирует механизмы вывода — vLLM, SGLang, TensorRT-LLM или ваши собственные — и позволяет запускать GPU-инстансы с доступом по SSH по требованию.

  • Мультикластерное управление графическим процессором


    Управляет GPU-кластерами на локальных серверах, в Kubernetes и у облачных провайдеров. Поддерживает разделение GPU для развертываний моделей и GPU-инстансов с настраиваемыми квотами видеопамяти и вычислительных ресурсов.

  • Подключаемые механизмы вывода


    Автоматически настраивает высокопроизводительные механизмы вывода, такие как vLLM, SGLang и TensorRT-LLM. При необходимости вы также можете добавить собственные механизмы вывода.

  • Оптимизация производительности


    Предлагает предварительно настроенные режимы для низкой задержки или высокой пропускной способности. Поддерживает разделение prefill/decode, общий KV-кеш под управлением платформы и спекулятивное декодирование.

  • Встроенное тестирование производительности


    Auto Tune автоматически изменяет число одновременных запросов или частоту запросов, чтобы определить пиковую пропускную способность или максимальное число одновременных запросов, при котором соблюдаются целевые показатели уровня обслуживания (SLO).

  • GPU-инстансы


    Запускает GPU-инстансы с доступом по SSH по требованию для разработки, дообучения и интерактивных задач.

  • Операции корпоративного уровня


    Предлагает поддержку автоматического восстановления после сбоев, балансировки нагрузки, мониторинга, аутентификации и контроля доступа.

Архитектура

GPUStack позволяет группам разработчиков, ИТ-организациям и поставщикам услуг предоставлять модель как услугу в любом масштабе. Он поддерживает стандартные API для моделей LLM, голоса, изображений и видео. Платформа включает в себя встроенную систему аутентификации пользователей и контроля доступа, мониторинг производительности и использования графического процессора в реальном времени, а также детальный учет использования токенов и частоты запросов API.

На рисунке ниже показано, как один сервер GPUStack может управлять несколькими кластерами графических процессоров как в локальной, так и в облачной среде. Планировщик GPUStack выделяет графические процессоры для максимального использования ресурсов и выбирает подходящие механизмы вывода для оптимальной производительности. Администраторы также получают полную информацию о состоянии и показателях системы через интегрированные информационные панели Grafana и Prometheus.

gpustack-v2-архитектура

Обзор кластера с первого взгляда

Представление топологии кластера графических процессоров в GPUStack Enterprise обеспечивает в реальном времени общий вид всего вашего парка — каждый работник, графический процессор и модель развертываются в одном месте, с данными об использовании, распределении и состоянии работоспособности в реальном времени.

gpustack-кластер-топология

Оптимизированная производительность вывода

Автоматический выбор механизма и оптимизация параметров GPUStack обеспечивают высокую производительность вывода без дополнительной настройки. На следующем рисунке показано улучшение пропускной способности по сравнению с конфигурациями vLLM по умолчанию:

h200-сравнение-пропускной способности

Подробные методы и результаты сравнительного анализа можно найти в нашей Лаборатории производительности вывода.

Узнайте, какую нагрузку выдерживает ваше развертывание, с помощью встроенного тестирования производительности GPUStack. Auto Tune адаптивно изменяет нагрузку, автоматически определяя пиковую пропускную способность или максимальное число одновременных запросов, при котором соблюдаются целевые показатели уровня обслуживания (SLO). Подробные графики пропускной способности и задержки помогают планировать вычислительные ресурсы.

gpustack-benchmark

Поддерживаемые ускорители

GPUStack поддерживает широкий спектр ускорителей для вывода ИИ:

NVIDIA
AMD
Ascend
Hygon
MThreads
Iluvatar
MetaX
Cambricon
T-Head

Подробные требования и инструкции по настройке см. в документации Требования к установке.