Добавление кластера графических процессоров с помощью DigitalOcean.

При создании кластера GPUStack может использовать DigitalOcean для создания рабочих процессов и добавления их в кластер GPUStack.

Подготовка

Вам необходимо зарегистрировать учетную запись DigitalOcean и создать токен личного доступа на странице API.

Примечание. Область токена должна быть установлена на «Полный доступ». Если вы выбираете разрешения с помощью пользовательских областей, вы можете столкнуться с проблемами при удалении Droplet.

При запуске сервера GPUStack необходимо указать параметр --server-external-url. Этот параметр используется для настройки --server-url работника после создания Droplet и запуска работника. Если ваш сервер работает через прокси-сервер, установите адрес прокси-сервера, чтобы гарантировать, что Droplet, работающие в общедоступной сети, смогут получить доступ к API сервера GPUStack, используя этот адрес после запуска.

Создать кластер DigitalOcean

См. шаги в разделе Создание кластера DigitalOcean.

Создать облачные учетные данные

Создайте облачные учетные данные DigitalOcean на странице Cloud Credentials.

Создание кластера с использованием облачных учетных данных.

На странице создания кластера выберите DigitalOcean в качестве Cloud Provider:

Введите имя, выберите только что созданные облачные учетные данные и выберите регион, поддерживающий Droplet графического процессора.

Нажмите Next, чтобы создать рабочий пул для кластера.

Создать пул рабочих

Заполните Name, Replicas и Batch Size по мере необходимости. Затем выберите Instance Type (размер Droplet в терминах DigitalOcean) для рабочего пула.

Далее выберите OS Image.

В настоящее время поддерживаются только Droplet графического процессора серии Nvidia, поскольку Droplet графического процессора AMD часто недоступны. Поддерживаются только операционные системы на базе Debian.

Для Nvidia AI/ML Ready (Рекомендуется), которая основана на Ubuntu 22.04 и включает в себя предустановленные драйверы, CUDA и набор инструментов для контейнеров, дополнительные пакеты не требуются.
Для дистрибутивов Debian Droplet загружается с помощью драйвера nvidia-open, CUDA 12.8 и nvidia-container-toolkit 1.17.8-1 через Cloud-init.
Для дистрибутивов Ubuntu Droplet загружается с помощью драйвера nvidia-driver-570, CUDA 12.8 и nvidia-container-toolkit 1.17.8-1 через Cloud-init.

Поддерживаются метки и тома, которые можно установить в пуле рабочих для подготовки рабочего. Тома, созданные и подключенные для Droplet, не будут автоматически монтироваться в рабочий контейнер. Вы можете изменить рабочий сценарий запуска в /opt/gpustack-run-worker.sh, чтобы при необходимости монтировать тома.

Нажмите Save, если все настроено.

Ожидание предоставления рабочих

После сохранения кластера перейдите на страницу Workers, чтобы просмотреть ход подготовки рабочих процессов DigitalOcean.

Процесс подготовки включает в себя несколько этапов:

Создайте ключ SSH.
Создайте Droplet с помощью ключа SSH.
Подождите, пока Droplet запустится.
Подождите, пока будет присвоен общедоступный IP-адрес.
Создайте объёмы и прикрепите их к Droplet.
Рабочий переходит в статус Initialized и ждет, пока рабочий контейнер запустится и подключится к серверу.

Как только рабочий достигнет статуса Ready, на нем можно будет развернуть модели.

Безопасное уменьшение числа воркеров DigitalOcean

Если работник DigitalOcean больше не нужен, выполните следующие действия, чтобы безопасно уничтожить Droplet:

Отрегулируйте количество реплик рабочего пула, чтобы оно соответствовало количеству рабочих, которое вы хотите удалить. Обратите внимание, что работники не удаляются автоматически на этом этапе.
Убедитесь, что ни один экземпляр модели не развернут на рабочих процессах, которые вы собираетесь удалить.
Удалите рабочих при необходимости. Соответствующие Droplet будут соответственно удалены.