Перейти к содержанию

Использование языковых моделей видения

Визуально-языковые модели одновременно обрабатывают визуальные данные (изображения) и язык (текст). Они применяются для создания описаний изображений, ответов на вопросы об изображениях и других задач. В этом руководстве вы узнаете, как развертывать визуально-языковые модели (VLM) в GPUStack и взаимодействовать с ними.

Процедура развертывания и взаимодействия с этими моделями в GPUStack аналогична. Основное отличие заключается в параметрах, которые необходимо задать при развертывании моделей. Дополнительную информацию о параметрах, которые вы можете установить, см. в разделе Параметры серверной части.

В этом руководстве мы рассмотрим развертывание следующих моделей:

  • Qwen3-VL
  • Llama3.2-Vision
  • Pixtral
  • Phi3.5-Vision

Предварительные условия

Прежде чем начать, убедитесь, что у вас есть следующее:

  • Компьютер Linux с одним или несколькими графическими процессорами и общим объемом видеопамяти не менее 30 ГБ. Мы будем использовать серверную часть vLLM, которая поддерживает только Linux.
  • Доступ к Hugging Face и Hugging Face API-ключ для загрузки файлов модели.
  • Вам предоставлен доступ к вышеуказанным моделям на Hugging Face. Llama3.2-VL и Pixtral являются закрытыми моделями, и вам необходимо запросить доступ к ним.

Примечание

В этом руководстве используется узел Ubuntu, оснащенный одним графическим процессором H100 (80 ГБ).

Шаг 1. Установите GPUStack.

Следуйте Документации по установке, чтобы установить GPUStack.

Шаг 2. Войдите в пользовательский интерфейс GPUStack.

После запуска сервера выполните следующую команду, чтобы получить пароль администратора по умолчанию:

1
docker exec gpustack cat /var/lib/gpustack/initial_admin_password

Откройте браузер и перейдите к http://your_host_ip, чтобы получить доступ к пользовательскому интерфейсу GPUStack. Для входа используйте имя пользователя по умолчанию admin и пароль, который вы получили выше.

Шаг 3. Развертывание языковых моделей Vision с помощью vLLM

Развертывание Qwen3-VL

  1. Перейдите на страницу Deployments в пользовательском интерфейсе GPUStack.
  2. Нажмите кнопку Deploy Model, затем выберите Hugging Face в раскрывающемся списке.
  3. Найдите Qwen/Qwen3-VL-4B-Instruct в строке поиска.
  4. Нажмите кнопку Save. Конфигурации по умолчанию должны работать, если у вас достаточно ресурсов графического процессора.

Развертывание Llama3.2-Vision

  1. Перейдите на страницу Deployments в пользовательском интерфейсе GPUStack.
  2. Нажмите кнопку Deploy Model, затем выберите Hugging Face в раскрывающемся списке.
  3. Найдите meta-llama/Llama-3.2-11B-Vision-Instruct в строке поиска.
  4. Разверните раздел Advanced в конфигурациях и прокрутите вниз до раздела Backend Parameters.
  5. Нажмите кнопку Add Parameter несколько раз и добавьте следующие параметры:
  • --enforce-eager
  • --max-num-seqs=16
  • --max-model-len=8192
  1. Нажмите кнопку Save.

Развертывание Pixtral

  1. Перейдите на страницу Deployments в пользовательском интерфейсе GPUStack.
  2. Нажмите кнопку Deploy Model, затем выберите Hugging Face в раскрывающемся списке.
  3. Найдите mistralai/Pixtral-12B-2409 в строке поиска.
  4. Разверните раздел Advanced в конфигурациях и прокрутите вниз до раздела Backend Parameters.
  5. Нажмите кнопку Add Parameter несколько раз и добавьте следующие параметры:
  • --tokenizer-mode=mistral
  • --limit-mm-per-prompt=image=4
  1. Нажмите кнопку Save.

Развертывание Phi3.5-Vision

  1. Перейдите на страницу Deployments в пользовательском интерфейсе GPUStack.
  2. Нажмите кнопку Deploy Model, затем выберите Hugging Face в раскрывающемся списке.
  3. Найдите microsoft/Phi-3.5-vision-instruct в строке поиска.
  4. Разверните раздел Advanced в конфигурациях и прокрутите вниз до раздела Backend Parameters.
  5. Нажмите кнопку Add Parameter и добавьте следующий параметр:
  • --trust-remote-code
  1. Нажмите кнопку Save.

Шаг 4. Взаимодействие с языковыми моделями визуального представления

  1. Перейдите на страницу Chat в пользовательском интерфейсе GPUStack.
  2. Выберите развернутую модель в раскрывающемся списке в правом верхнем углу.
  3. Нажмите кнопку Upload Image над областью ввода текста и загрузите изображение.
  4. Введите подсказку в область ввода текста. Например, «Опишите изображение».
  5. Нажмите кнопку Submit, чтобы сгенерировать выходные данные.

Песочница-vl