Проверка совместимости

GPUStack выполняет проверку совместимости перед развертыванием модели. Эта проверка предоставляет подробную информацию о совместимости модели с текущей средой GPUStack. Выполняются следующие проверки совместимости:

Совместимость бэкенда инференса

Проверяет, совместим ли выбранный бэкенд инференса с текущей средой, включая операционную систему, графический процессор и архитектуру.

Совместимость моделей

Определяет, поддерживается ли модель выбранным бэкендом инференса. Сюда входит проверка поддерживаемых форматов и архитектур моделей (например, LlamaForCausalLM, Qwen3ForCausalLM и т. д.). Эта проверка основана на встроенных движках инференса и поддерживаемых ими моделях. Если используется пользовательский бэкенд или его версия, эта проверка будет пропущена.

Проверка возможности планирования

Оценивает, можно ли запланировать модель в текущей среде. Сюда входит проверка доступных ресурсов, таких как ОЗУ и видеопамять, а также настроенных правил планирования.

Правила планирования

Правила планирования (включая селекторы воркеров, селекторы графических процессоров и политики планирования) используются для определения того, можно ли запланировать модель в текущей среде.

Проверка ресурсов

Проверка ресурсов гарантирует наличие достаточных системных ресурсов для развертывания модели. GPUStack оценивает необходимые ресурсы и сравнивает их с доступными ресурсами в среде. Оценки производятся с использованием следующих методов:

1. Для моделей GGUF: GPUStack использует синтаксический анализатор GGUF для оценки требований к ресурсам модели.
2. Для других моделей: GPUStack оценивает использование видеопамяти по следующей формуле:

• WEIGHT_SIZE относится к размеру весов модели в байтах.
• FRAMEWORK_FOOTPRINT — константа, представляющая накладные расходы памяти платформы. Например, vLLM может использовать несколько гигабайт видеопамяти для графиков CUDA.
• Множитель 1.2x является эмпирической оценкой. Для получения более подробной информации обратитесь к данному объяснению.

Эта формула дает приблизительную оценку и может быть неточной для всех моделей. Обычно он отражает нижнюю оценку требуемой видеопамяти. Если оценки недостаточно, пользователи могут выполнить детальное планирование, вручную выбрав воркеры и графические процессоры или настроив расширенные параметры серверной части. Например, с помощью vLLM пользователи могут указать --tensor-parallel-size и --pipeline-parallel-size, чтобы управлять распределением графического процессора для модели.