Добавление кластера графических процессоров с помощью Kubernetes.

GPUStack поддерживает добавление кластера Kubernetes в качестве кластера графического процессора.

Подготовка

Кластер Kubernetes должен быть построен с установленным и настроенным классом времени выполнения на всех узлах. В этом уроке в качестве примера мы будем использовать кластер k3s.

Создание кластера Kubernetes.

См. шаги в разделе Регистрация кластера Kubernetes.

При создании кластера Kubernetes вы можете настроить следующие параметры:

Нажмите Save, чтобы создать кластер.

После создания кластера поставщиков Kubernetes выберите нужный вам GPU Vendors. Вы можете выбрать нескольких поставщиков или не выбрать ни одного.

Нажмите Next, чтобы получить сценарий проверки среды, который проверяет готовность кластера к регистрации. Запустите скрипт на хосте, где установлен k3s.

Имейте в виду, что ресурс runtimeclass в k8s — это просто запись данных и не означает, что среда выполнения контейнера правильно настроена на каждом узле. Убедитесь, что среда выполнения контейнера для указанного поставщика графического процессора настроена, иначе рабочий процесс не сможет запуститься.

Скопируйте сценарий из шага Run Command и запустите его на установленном хосте k3s.

Ожидание предоставления рабочих

После применения манифестов в кластере Kubernetes мы можем дождаться заполнения рабочих узлов на странице Workers.

Как только рабочий достигнет статуса Ready, на нем можно будет развернуть модели.