Управление бэкендом инференса

GPUStack позволяет администраторам настраивать бэкенды инференса и версии серверной части.

Эта статья служит руководством по работе со страницей Inference Backend. Информацию о поддерживаемых встроенных бэкендах и их возможностях см. в разделе Встроенные бэкенды вывода.

Рекомендации по настройке пользовательских серверных частей и примеры пользовательских серверных частей, работа которых проверена, см. в разделе Пользовательские серверные части.

Бэкэнд-исходники

GPUStack поддерживает три типа серверных модулей вывода:

• Встроенные: предварительно настроенные серверные части, поддерживаемые GPUStack (например, vLLM, MindIE, VoxBox). Их нельзя удалить.
• Сообщество: бэкенды, доступные на торговой площадке бэкендов сообщества. Вы можете включить их по мере необходимости.
• Пользовательский: серверные части, которые вы создаете со своими собственными конфигурациями. Их можно свободно добавлять, редактировать и удалять.

Списки «Встроенные» и «Сообщество» обновляются «по беспроводной сети», без обновления GPUStack. Вы также можете указать любой список на собственный документ. См. Обновления контента OTA.

Описание параметра

Переменные среды

Вы можете определить переменные среды на двух уровнях:

• Уровень серверной части (Default Environment Variables): применяется ко всем версиям серверной части.
• Уровень версии (Environment Variables): специфично для версии, переопределяет переменные внутреннего уровня.

На переменные среды можно ссылаться в командах, используя синтаксис {{VAR_NAME}}.

Пример:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

backend_name: my-backend-custom
default_env:
  MODEL_CACHE_DIR: /cache
  LOG_LEVEL: info
version_configs:
  v1:
    image_name: my-image:v1
    custom_framework: cuda
    run_command: "serve {{model_path}} --cache {{MODEL_CACHE_DIR}} --log-level {{LOG_LEVEL}} --port {{port}}"
    env:
      MODEL_CACHE_DIR: /custom-cache # Overrides backend-level value

В этом примере:

• MODEL_CACHE_DIR установлено на /cache на внутреннем уровне
• Версия v1 заменяет его на /custom-cache
• LOG_LEVEL остаётся info для всех версий
• Обе переменные упоминаются в команде с использованием синтаксиса {{VAR_NAME}}.

Описание параметра конфигурации версии:

Формат флага

Flag Format управляет тем, как GPUStack отображает каждую пару --key value при сборке команды запуска бэкенда. Он настраивается на внутреннем уровне, применяется ко всем развертываниям модели, использующим этот серверный интерфейс, и вступает в силу, когда воркер собирает команду запуска контейнера.

Доступные значения:

• Space Separated (--key value): разделены пробелом и отображаются как --key value.
• Equal Sign (--key=value): к ним присоединяется =, отображается как --key=value.
• Пусто (по умолчанию): без нормализации; параметры сохраняются точно так, как введено в Backend Parameters.

Используйте это поле, чтобы обеспечить согласованный стиль параметров, когда анализатор командной строки движка инференса принимает только одну из двух форм, без переписывания каждого параметра вручную.

Пример:

Если для Flag Format бэкенда установлено значение Equal Sign (--key=value), развертывание с использованием этого бэкенда со следующим Backend Parameters:

1

--tensor-parallel-size 2 --max-model-len 8192 --lora-modules a=/path1 b=/path2

нормализуется в команде запуска как:

1

vllm serve Qwen/Qwen3.5-0.8B --tensor-parallel-size=2 --max-model-len=8192 --lora-modules a=/path1 b=/path2

--tensor-parallel-size и --max-model-len преобразуются в форму со знаком равенства, а --lora-modules сохраняет форму, разделенную пробелами, поскольку она содержит несколько значений.

Добавить пользовательский бэкенд инференса

1. Нажмите кнопку «Добавить серверную часть» в правом верхнем углу.
2. Вы можете добавить собственный бэкенд инференса, заполнив форму или вставив определение YAML. Значения полей см. в описании параметров выше.
3. Имя серверной части нельзя изменить после создания. Имена пользовательских серверов должны заканчиваться на «-custom» (заранее заполненный в форме).
4. Нажмите «Сохранить», чтобы отправить.

Есть два способа добавить собственный бэкенд инференса:

• Через форму пользовательского интерфейса: перейдите на страницу Служба модели > Серверы вывода и нажмите кнопку Добавить пользовательский бэкенд инференса.
• Через конфигурацию YAML: импортируйте файл YAML, содержащий конфигурацию серверной части.

Включить серверную часть Community Inference

По сути, это пользовательские серверные части с меткой источника «сообщество», позволяющие быстро создавать собственные серверные части без ручной настройки.

1. На странице бэкенда инференса нажмите кнопку «Добавить серверную часть» в правом верхнем углу.
2. Выберите опцию «Сообщество», чтобы просмотреть доступные серверные части сообщества на торговой площадке.
3. Найдите серверную часть, которую вы хотите использовать, и нажмите «Включить» в меню действий карты.
4. После включения серверная часть становится доступной для развертывания модели. Чтобы отключить, удалите серверную часть со страницы Inference Backend.

Редактирование бэкенда инференса или добавление пользовательской версии.

1. На странице Серверная часть вывода найдите целевую серверную часть. В правом верхнем раскрывающемся меню карты выберите «Изменить».
2. Измените свойства серверной части (имя не может быть изменено) или добавьте новую версию.
3. Для встроенных бэкендов пользовательские версии должны заканчиваться на «-custom» (заранее заполненный в форме).
4. Нажмите «Сохранить», чтобы отправить.

Пример: добавление пользовательской версии во встроенный движок инференса vLLM.

1. На странице Серверная часть вывода найдите бэкенд инференса vLLM. В правом верхнем раскрывающемся меню карты выберите «Изменить».
2. В разделе «Конфигурации версий» нажмите «Добавить версию».
3. Заполните поля следующим образом:

• Версия: 0.19.0
• Имя изображения: vllm/vllm-openai:v0.19.0
• Рамка: cuda
• Переопределить точку входа изображения: vllm serve
• Команда выполнения: {{model_path}} --host {{worker_ip}} --port {{port}} --served-model-name {{model_name}}

4. Нажмите «Сохранить», чтобы отправить.

Пример: добавление пользовательской версии во встроенный движок инференса SGLang.

1. На странице модуля вывода найдите бэкенд инференса SGLang. В правом верхнем раскрывающемся меню карты выберите «Изменить».
2. В разделе «Конфигурации версий» нажмите «Добавить версию».
3. Заполните поля следующим образом:

• Версия: 0.5.10
• Имя изображения: lmsysorg/sglang:v0.5.10
• Рамка: cuda
• Переопределить точку входа изображения: sglang serve
• Команда выполнения: --model-path {{model_path}} --host {{worker_ip}} --port {{port}}

4. Нажмите «Сохранить», чтобы отправить.

Удалить пользовательский бэкенд инференса

1. На странице Inference Backend найдите целевой сервер и выберите «Удалить» в правом верхнем раскрывающемся меню карты.
2. Встроенные бэкенды удалить нельзя.
3. Нажмите «Удалить» в диалоговом окне подтверждения.

Список версий бэкенда инференса

На странице бэкенда инференса щелкните в любом месте карточки серверной части (кроме кнопок действий), чтобы открыть модальное окно, в котором вы можете просмотреть все встроенные и добавленные пользователем версии.

Гибкое развертывание тестирования

Используйте этот режим для быстрой проверки или настройки образа и команды запуска без редактирования определения серверной части.

1. Перейдите на страницу «Развертывания», нажмите кнопку «Развернуть модель» и выберите любой источник модели.
2. На вкладке «Основные» откройте раскрывающийся список «Бэкэнд» и выберите «Пользовательский» в разделе «Встроенный».
3. Появятся два поля: image_name и run_command. Они переопределяют серверную конфигурацию только для этого развертывания.
4. Просмотрите оставшиеся необходимые настройки и отправьте развертывание.

Ограничения пользовательских бэкендов инференса

Пользовательские бэкенды инференса не поддерживают распределённый инференс между несколькими воркерами.