Требования к установке

На этой странице описаны требования к программному обеспечению и сети для узлов, на которых работает GPUStack.

Требования к операционной системе

GPUStack поддерживает большинство современных дистрибутивов Linux на архитектурах AMD64 и ARM64.

Требования к базе данных

Сервер GPUStack сохраняет свое состояние в базе данных SQL. Образ серверного контейнера включает в себя встроенную базу данных PostgreSQL, которая работает «из коробки» без какой-либо настройки.

Альтернативно вы можете использовать внешнюю базу данных, установив аргумент --database-url (или переменную среды GPUSTACK_DATABASE_URL). Совместимы следующие базы данных:

Примеры конфигурации см. в разделе Использование внешней базы данных.

Требования к среде выполнения ускорителя

GPUStack поддерживает различные ускорители общего назначения в качестве механизмов вывода, в том числе:

• Графический процессор NVIDIA
• Графический процессор AMD
• Ascend NPU
• Хайгон DCU
• Графический процессор MetaX
• Графический процессор MThreads (экспериментальный)
• Графический процессор Илуватара (экспериментальный)
• Cambricon MLU (экспериментальный)
• T-Head PPU (экспериментальный)

Перед запуском GPUStack убедитесь, что все необходимые драйверы и наборы инструментов установлены.

Графический процессор NVIDIA

Требования

• Драйвер графического процессора NVIDIA, поддерживающий NVIDIA CUDA 12.8 или выше.
• Набор инструментов для контейнеров NVIDIA

Для проверки выполните следующие команды:

1
2
3
4
5
6

sudo nvidia-smi

# If using Docker
sudo docker info 2>/dev/null | grep -q "nvidia" \
    && echo "NVIDIA Container Toolkit OK" \
    || (echo "NVIDIA Container Toolkit not configured"; exit 1)

Поддерживаемые серверы вывода

• vLLM
• SGLang
• VoxBox
• Пользовательский

Графический процессор AMD

Требования

• Драйвер графического процессора AMD, поддерживающий AMD ROCm 7.0 или выше.
• Среда выполнения контейнера AMD

Для проверки выполните следующие команды:

1
2
3
4
5
6

sudo amd-smi static

# If using Docker
sudo docker info 2>/dev/null | grep -q "amd" \
    && echo "AMD Container Toolkit OK" \
    || (echo "AMD Container Toolkit not configured"; exit 1)

Поддерживаемые серверы вывода

• vLLM
• SGLang (требуются графические процессоры серии gfx9)
• Пользовательский

Ascend NPU

Требования

• Драйвер Ascend NPU
• Ascend Docker Runtime

Для проверки выполните следующие команды:

1
2
3
4
5
6

sudo npu-smi info

# If using Docker
sudo docker info 2>/dev/null | grep -q "ascend" \
    && echo "Ascend Container Toolkit OK" \
    || (echo "Ascend Container Toolkit not configured"; exit 1)

Поддерживаемые устройства

• Серия Ascend NPU 910C
• Серия Ascend NPU 910B (910B1 ~ 910B4)
• Восхождение NPU 310P3

Поддерживаемые серверы вывода

• vLLM
• SGLang
• MindIE
• Пользовательский

Хайгон DCU

Требования

• Драйвер Hygon DCU
• Набор инструментов Hygon DTK

Для проверки выполните следующие команды:

1

sudo hy-smi

Поддерживаемые устройства

• Блоки DCU Hygon

Поддерживаемые серверы вывода

• vLLM
• Пользовательский

Графический процессор MetaX

Требования

• Драйвер графического процессора MetaX
• MetaX MACA SDK

Для проверки выполните следующие команды:

1

sudo mx-smi

Поддерживаемые серверы вывода

• vLLM
• SGLang
• Пользовательский

Графический процессор MThreads

Требования

• Драйвер графического процессора MThreads
• Набор инструментов для контейнеров MThreads

Для проверки выполните следующие команды:

1
2
3
4
5
6

sudo mthreads-gmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "mthreads" \
    && echo "MThreads Container Toolkit OK" \
    || (echo "MThreads Container Toolkit not configured"; exit 1)

Поддерживаемые серверы вывода

• vLLM
• SGLang
• Пользовательский

Графический процессор Илуватара

Требования

• Драйвер графического процессора Iluvatar
• Набор инструментов для контейнеров Илуватара

Для проверки выполните следующие команды:

1
2
3
4
5
6

sudo ixsmi

# If using Docker
sudo docker info 2>/dev/null | grep -q "iluvatar" \
    && echo "Iluvatar Container Toolkit OK" \
    || (echo "Iluvatar Container Toolkit not configured"; exit 1)

Поддерживаемые серверы вывода

• vLLM
• Пользовательский

Камбрикон MLU

Требования

• Драйвер Cambricon MLU
• Набор инструментов Cambricon NeuWare

Для проверки выполните следующие команды:

1

sudo cnmon

Поддерживаемые серверы вывода

• Пользовательский

T-Head PPU

Требования

• Драйвер T-Head PPU
• SDK T-Head PPU

Для проверки выполните следующие команды:

1

sudo ppu-smi

Поддерживаемые серверы вывода

• vLLM
• SGLang
• Пользовательский

Требования к сети

Требования к подключению

Для правильной работы GPUStack требуется следующее сетевое подключение:

Сервер-рабочий: Сервер должен иметь возможность обращаться к работникам для выполнения запросов на вывод прокси.

От рабочего к серверу: Рабочие должны иметь возможность подключаться к серверу для регистрации и отправки обновлений.

От рабочего к рабочему: Требуется для распределенного вывода между несколькими рабочими процессами.

Требования к порту

GPUStack использует эти порты для связи:

Серверные порты

Рабочие порты

Распределенная vLLM с портами Ray

При использовании распределенной vLLM GPUStack анализирует указанный выше диапазон портов для служб Ray и назначает их в следующем порядке:

1. Порт сервера GCS (первый порт диапазона)
2. Порт клиента-сервера (зарезервирован для совместимости, больше не используется, см. https://github.com/gpustack/gpustack/issues/4171)
3. Порт приборной панели
4. Порт gRPC Dashboard (больше не используется, начиная с Ray 2.45.0, сохранен для обратной совместимости)
5. Порт gRPC агента информационной панели
6. Порт прослушивания агента информационной панели
7. Порт экспорта метрик
8. Порт диспетчера узлов
9. Порт диспетчера объектов
10. Порт агента среды выполнения Raylet
11. Минимальный номер порта для работника.
12. Максимальный номер порта для работника (последний порт диапазона)

Более подробную информацию о портах Ray см. в документации Ray.

Порты встроенного шлюза

Встроенный шлюз для сервера и работника использует следующие порты для внутренней связи.