Выполнение вывода на процессорах

GPUStack поддерживает выполнение инференса на CPU. Это полезно при нехватке GPU или когда размер модели превышает доступную видеопамять. Доступны следующие режимы выполнения на CPU:

Гибридный инференс CPU+GPU: частичное ускорение с переносом части большой модели на CPU при нехватке VRAM.
Полный вывод ЦП: работает полностью на ЦП, когда ресурсы графического процессора недоступны.

Примечание

Доступно только для пользовательских механизмов вывода.

Если разгрузка ЦП включена, GPUStack выделит память ЦП, если ресурсов ГП недостаточно. Необходимо правильно настроить серверную часть вывода для использования гибридного вывода ЦП+ГП или полного вывода ЦП.

Настоятельно рекомендуется использовать вывод ЦП только для рабочих ЦП.

Например, чтобы развернуть модель с выводом ЦП с помощью Text Embeddings Inference, следуйте приведенной ниже конфигурации:

Источник: HuggingFace

Идентификатор репо: BAAI/bge-large-en-v1.5

Бэкэнд: Custom

Имя образа: ghcr.io/huggingface/text-embeddings-inference:cpu-1.8

Команда выполнения: --model-id BAAI/bge-large-en-v1.5 --huggingface-hub-cache /var/lib/gpustack/cache/huggingface --port {{port}}

Примечание

TEI (Text Embeddings Inference) поддерживает развертывание только моделей из HuggingFace.

ghcr.io/huggingface/text-embeddings-inference:cpu-1.8 — это образ вывода ЦП для TEI. См.: Оборудование, поддерживаемое TEI.

--huggingface-hub-cache /var/lib/gpustack/cache/huggingface устанавливает расположение кэша HuggingFace Hub для TEI по пути, по которому GPUStack хранит загруженные модели HuggingFace. Путь по умолчанию — /var/lib/gpustack/cache/huggingface. См.: Аргументы TEI CLI.

{{port}} — это заполнитель, который представляет порт, автоматически назначенный GPUStack.

И в дополнительных настройках отметьте Allow CPU Offloading:

Если вам нужен доступ к API, не совместимым с OpenAI, вы также можете отметить Enable Generic Proxy.

Более подробную информацию см. в разделе Включить универсальный прокси.