Проверка совместимости
GPUStack выполняет проверку совместимости перед развертыванием модели. Эта проверка предоставляет подробную информацию о совместимости модели с текущей средой GPUStack. Выполняются следующие проверки совместимости:
Совместимость бэкенда инференса
Проверяет, совместим ли выбранный бэкенд инференса с текущей средой, включая операционную систему, графический процессор и архитектуру.
Совместимость моделей
Определяет, поддерживается ли модель выбранным бэкендом инференса. Сюда входит проверка поддерживаемых форматов и архитектур моделей (например, LlamaForCausalLM, Qwen3ForCausalLM и т. д.). Эта проверка основана на встроенных движках инференса и поддерживаемых ими моделях. Если используется пользовательский бэкенд или его версия, эта проверка будет пропущена.
Проверка возможности планирования
Оценивает, можно ли запланировать модель в текущей среде. Сюда входит проверка доступных ресурсов, таких как ОЗУ и видеопамять, а также настроенных правил планирования.
Правила планирования
Правила планирования (включая селекторы воркеров, селекторы графических процессоров и политики планирования) используются для определения того, можно ли запланировать модель в текущей среде.
Проверка ресурсов
Проверка ресурсов гарантирует наличие достаточных системных ресурсов для развертывания модели. GPUStack оценивает необходимые ресурсы и сравнивает их с доступными ресурсами в среде. Оценки производятся с использованием следующих методов:
- Для моделей GGUF: GPUStack использует синтаксический анализатор GGUF для оценки требований к ресурсам модели.
- Для других моделей: GPUStack оценивает использование видеопамяти по следующей формуле:
WEIGHT_SIZEотносится к размеру весов модели в байтах.FRAMEWORK_FOOTPRINT— константа, представляющая накладные расходы памяти платформы. Например, vLLM может использовать несколько гигабайт видеопамяти для графиков CUDA.- Множитель 1.2x является эмпирической оценкой. Для получения более подробной информации обратитесь к данному объяснению.
Эта формула дает приблизительную оценку и может быть неточной для всех моделей. Обычно он отражает нижнюю оценку требуемой видеопамяти. Если оценки недостаточно, пользователи могут выполнить детальное планирование, вручную выбрав воркеры и графические процессоры или настроив расширенные параметры серверной части. Например, с помощью vLLM пользователи могут указать --tensor-parallel-size и --pipeline-parallel-size, чтобы управлять распределением графического процессора для модели.
Выгрузка таблиц поиска
Примечание
Автоматическая оценка таблиц поиска охватывает только поддерживаемые архитектуры, форматы и настройки выгрузки vLLM и SGLang. Нативный MindIE, бэкенды custom и еще не адаптированные варианты vLLM Ascend не охватываются автоматически. Если автоматические оценки не соответствуют ожиданиям для вашего развертывания, их можно скорректировать с помощью пользовательских требований к ресурсам.
Для поддерживаемых моделей с выгрузкой таблиц поиска в память CPU, например Engram и PLE, GPUStack оценивает размер таблиц по конфигурации модели и метаданным точности. Объем выгруженных данных вычитается из WEIGHT_SIZE перед применением формулы VRAM выше. На каждом участвующем воркере также резервируется RAM для таблиц в дополнение к RAM локального расширенного KV-кэша.
Оценка RAM предполагает совместное хранение таблиц локальными репликами параллелизма данных и учитывает независимые копии, необходимые для выбранной параллельной конфигурации, без дополнительного запаса. Фактическое использование памяти может быть выше. Если размер таблиц или поведение выгрузки определить невозможно, GPUStack сохраняет оценку VRAM по полному размеру весов.
Пользовательские требования к ресурсам
Если автоматические оценки не соответствуют требованиям вашего развертывания, задайте требования к RAM и VRAM в байтах через переменные окружения для требований к ресурсам модели. Заявленный объем RAM заменяет общую оценку на каждый воркер, включая память таблиц и локального кэша. Эти значения используются для планирования и не задают фактическое использование памяти бэкендом. RAM и VRAM можно задавать независимо. Для ресурсов, не заданных явно, сохраняется оценка соответствующего бэкенда.
Например, чтобы заявить 64 GiB RAM на каждый воркер и 32 GiB VRAM для всей модели, добавьте следующие переменные окружения модели (1 GiB = 1024^3 bytes). Значение VRAM задает суммарную оценку потребности модели на используемых GPU, а не резервирование на каждом GPU.