Встроенные движки инференса

GPUStack поддерживает следующие движки инференса:

• vLLM
• SGLang
• MindIE
• VoxBox

При запуске развертывания модели пользовательский интерфейс автоматически предварительно выбирает серверную часть на основе следующих критериев:

• Если модель является известной моделью Text-to-Speech или Speech-to-Text, используется VoxBox.
• Если модель является известной моделью Image, используется SGLang.
• В противном случае используется vLLM.

Этот предварительный выбор заполняет только значение по умолчанию в форме развертывания. Фактическая серверная часть, используемая для развертывания, будет той, которая будет явно выбрана пользователем при отправке запроса на развертывание. Пользователи могут выбирать из списка поддерживаемых серверов, представленного выше.

vLLM

vLLM — это бэкенд инференса LLM с высокой пропускной способностью и эффективным использованием памяти. Это популярный выбор для запуска LLM в производстве.

vLLM полностью поддерживает большинство современных моделей с открытым исходным кодом, в том числе:

• LLM, подобные трансформаторам (например, Qwen3)
• LLM с архитектурой смеси экспертов (например, DeepSeek V3/R1)
• Мультимодальные LLM (например, Qwen3-VL)
• Модели эмбеддингов (например, Qwen3-Embedding)
• Модели реранкера (например, Qwen3-Reranker)

По умолчанию GPUStack оценивает требования к видеопамяти для экземпляра модели на основе метаданных модели.

Вы можете настроить параметры в соответствии со своими потребностями. Следующие параметры vLLM могут быть полезны:

• --gpu-memory-utilization (по умолчанию: 0.9): доля памяти графического процессора, используемая для экземпляра модели.
• --max-model-len: Длина контекста модели. Для моделей с большим контекстом GPUStack автоматически устанавливает для этого параметра значение 8192, чтобы упростить развертывание модели, особенно в средах с ограниченными ресурсами. Вы можете настроить этот параметр в соответствии со своими потребностями.
• --tensor-parallel-size: количество параллельных реплик тензора. По умолчанию GPUStack устанавливает этот параметр с учетом доступных ресурсов графического процессора и оценки требований к памяти модели. Вы можете настроить этот параметр в соответствии со своими потребностями.

Более подробную информацию см. в Справочнике по vLLM CLI.

Поддерживаемые модели

Информацию о поддерживаемых моделях см. в документации vLLM.

Поддерживаемые функции

Омнимодальная поддержка

vLLM-Omni — это расширение vLLM, предназначенное для омнимодального вывода и поддерживающее:

• Омни-модели: одновременная обработка текста, аудио, изображений и видео (например, Qwen3-Omni)
• Задачи изображения: создание и редактирование изображений (например, Z-Image-Turbo)
• Задачи видео: создание и редактирование видео (например, Wan2.2)
• Аудио задачи: синтез речи, клонирование голоса и многое другое (например, Qwen3-TTS)

GPUStack интегрируется с vLLM-Omni, обеспечивая удобство развертывания и управления омнимодальными моделями. Когда модель развертывается через серверную часть vLLM, GPUStack автоматически определяет, является ли она омнимодальной, на основе ее метаданных, и устанавливает необходимые параметры для vLLM-Omni.

Распределенный вывод по воркерам (экспериментальный)

Если одному воркеру не хватает видеопамяти или вычислительных ресурсов для размещения модели, vLLM может разделить один экземпляр модели на несколько воркеров и совместно выполнить логический вывод. GPUStack организует эти межузловые процессы как единый экземпляр модели и по-прежнему предоставляет внешне только одну OpenAI-совместимую конечную точку.

Установите флажок Allow Distributed Inference Across Workers при развертывании модели, чтобы включить ее.

GPUStack предоставляет два пути выполнения для распределённого инференса vLLM, выбираемых параметром --distributed-executor-backend vLLM. Обычно вам не нужно устанавливать его вручную — GPUStack выбирает его автоматически на основе образа контейнера и версии vLLM.

Ray Бэкэнд

• При использовании: путь по умолчанию для официальных образов runner GPUStack — образы runner всегда поставляются вместе с Ray, независимо от версии vLLM. Также используется, когда --distributed-executor-backend явно установлено в ray или любое значение, отличное от mp (например, external_launcher) в параметрах серверной части.
• Как работает: GPUStack запускает вспомогательный процесс Ray на каждом участвующем узле, образуя кластер. Лидер запускает основной процесс vLLM и сервер API, а Ray координирует планирование задач между узлами.

Бэкенд MultiProcessing

• При использовании: Когда --distributed-executor-backend=mp задано явно в параметрах серверной части; или при запуске пользовательского образа (бэкенд-версия с суффиксом -custom) на vLLM ≥ 0.18.0 — vLLM удалила Ray из зависимостей по умолчанию в 0.18.0, поэтому пользовательский образ может не включать Ray, а GPUStack возвращается к mp во избежание сбоев при запуске.
• Как работает: напрямую используется многопроцессное многоузловое выполнение vLLM без вспомогательного процесса Ray. GPUStack подставляет аргументы топологии, например --nnodes, --node-rank, --master-addr и --master-port, исходя из структуры кластера.
• Ведомые экземпляры без API-сервера: экземпляры с ролью ведомого автоматически получают --headless, поэтому участвуют только в распределённых вычислениях и не запускают сервер API OpenAI. Только лидер предоставляет HTTP-конечную точку: все внешние запросы поступают через него и передаются ведомым. Наличие --headless в журнале ведомого — нормальное поведение; поэтому такие экземпляры не занимают порт API.
• Форма топологии: GPUStack автоматически выбирает один из макетов параметров dp_only, mp_only или nested на основе конфигурации параллелизма (TP/PP/DP).

Автоматическое планирование поддерживается при следующих условиях:

• Участвующие воркеры имеют одинаковое количество графических процессоров.
• Все GPU воркера должны удовлетворять требованию gpu_memory_utilization (по умолчанию 0.9).
• При тензорном параллелизме графические процессоры делятся по количеству голов внимания.
• Общая заявка на VRAM превышает предполагаемую заявку на VRAM.

Если вышеуказанные условия не соблюдены, экземпляр модели не будет запланирован автоматически. Однако вы можете запланировать его вручную, выбрав нужных воркеров/GPU в конфигурации модели.

Справочник параметров

Полный список поддерживаемых параметров для vLLM см. здесь.

SGLang

SGLang — это высокопроизводительная платформа обслуживания для больших языковых моделей и моделей визуального языка.

Он предназначен для обеспечения вывода с малой задержкой и высокой пропускной способностью в широком диапазоне настроек, от одного графического процессора до больших распределенных кластеров.

По умолчанию GPUStack оценивает требования к видеопамяти для экземпляра модели на основе метаданных модели.

При необходимости GPUStack также автоматически устанавливает несколько параметров для моделей с большим контекстом. Общие параметры SGLang включают:

• --mem-fraction-static (по умолчанию: 0.9): доля видеопамяти, выделяемая для каждого графического процессора. Планировщик использует это значение для сопоставления ресурсов и выбора кандидатов. Вы можете переопределить его с помощью backend_parameters модели.
• --context-length: Длина контекста модели. Для моделей с большим контекстом, если автоматически оцененная длина контекста превышает возможности устройства, GPUStack устанавливает для этого параметра значение 8192, чтобы упростить развертывание в средах с ограниченными ресурсами. Вы можете настроить этот параметр по мере необходимости.
• --tp-size: Размер тензорной параллели. Если это не указано явно, GPUStack выводит и устанавливает этот параметр на основе выбранных графических процессоров.
• --pp-size: Размер параллельности трубопровода. При развертывании с несколькими узлами GPUStack определяет комбинацию --tp-size и --pp-size в соответствии с моделью и конфигурацией кластера.
• Многоузловые аргументы: --nnodes, --node-rank, --dist-init-addr. Когда распределённый инференс включен, GPUStack вводит эти аргументы для инициализации многоузловой связи.

Более подробную информацию можно найти в документации SGLang.

Поддерживаемые модели

Информацию о поддерживаемых моделях см. в документации SGLang.

SGLang также поддерживает модели изображений. Мы проверили: Qwen-Image, Flux 1 Dev. Для получения дополнительной информации обратитесь к документации SGLang Diffusion.

Поддерживаемые функции

Распределенный вывод по воркерам (экспериментальный)

Вы можете включить распределённый инференс SGLang для нескольких воркеров в GPUStack.

При выборе кандидата для автоматического планирования учитываются следующие условия:

• Участвующие графические процессоры удовлетворяют требованию --mem-fraction-static (по умолчанию 0.9).
• В сценариях с одним узлом и несколькими графическими процессорами или несколькими узлами с несколькими графическими процессорами общая эффективная выделяемая видеопамять должна соответствовать требованиям модели.
• Должны быть соблюдены требования к параллелизму модели (например, общее количество голов внимания, кратное размеру тензорного параллелизма), в противном случае кандидат отклоняется.

Если вышеуказанные условия не соблюдены, вы все равно можете вручную запланировать экземпляр модели, выбрав рабочие/графические процессоры в конфигурации, хотя может быть указан риск превышения обязательств.

Диффузионные модели (экспериментальные)

SGLang Diffusion — это высокопроизводительный движок инференса, разработанный специально для моделей диффузии и призванный ускорить процесс генерации изображений и видео. Благодаря методам параллельной обработки SGLang и оптимизированным ядрам он достигает скорости генерации в 1.2 раза выше по сравнению с основными базовыми моделями (например, диффузорами Hugging Face Diffusers).

Более подробную информацию можно найти в разделе SGLang Diffusion.

Другие расширенные функции

Доступны дополнительные расширенные функции, такие как:

• Спекулятивное декодирование
• Иерархическое KV-кэширование

Инструкции по использованию см. в официальной документации.

Справочник параметров

Полный список поддерживаемых параметров для SGLang см. здесь.

MindIE

MindIE — это высокопроизводительная служба вывода на оборудовании Ascend.

Поддерживаемые модели

MindIE поддерживает различные модели, перечисленные здесь.

В GPUStack поддерживается большие языковые модели (LLM) и мультимодальные языковые модели (VLM).

Однако встраиваемые модели и модели мультимодального создания пока не поддерживаются.

Поддерживаемые функции

MindIE обладает множеством функций, описанных здесь.

В настоящее время GPUStack поддерживает подмножество этих возможностей, включая Квантование, Расширение размера контекста, Распределенный вывод, Mixture of Experts (MoE), Split Fuse, Спекулятивное декодирование, Многотокенное предсказание, Кэширование префиксов, Вызов функции, Мультимодальное понимание, Многоголовое скрытое внимание (MLA), Тензорный параллелизм, Контекстный параллелизм, Последовательность Параллелизм, Экспертный параллелизм, Параллелизм данных, Ответ буфера (начиная с Ascend MindIE 2.0.RC1). Пул КВ (начиная с Ascend MindIE 2.2.RC1).

Справочник параметров

MindIE имеет настраиваемые параметры и переменные среды.

Чтобы избежать непосредственной настройки JSON, GPUStack предоставляет набор параметров командной строки, как показано ниже.

VoxBox

VoxBox — это движок инференса, предназначенный для развертывания моделей преобразования текста в речь и речи в текст. Он также предоставляет API, полностью совместимый с аудио API OpenAI.

Поддерживаемые модели

Поддерживаемые функции

Разрешить разгрузку графического процессора/процессора

VoxBox поддерживает развертывание моделей на графических процессорах NVIDIA. Если ресурсов графического процессора недостаточно, модели автоматически развертываются в процессоре.