Перейти к содержанию

Управление модельными маршрутами

В этом руководстве рассказывается, как использовать модельные маршруты, и рассматриваются несколько распространенных случаев использования и методы их настройки.

Создайте маршрут при развертывании модели.

При развертывании моделей флажок Enable Model Route автоматически включается. Для этого развертывания будет создан маршрут модели с тем же именем. Это позволяет пользователям получать доступ к модели напрямую, используя то же имя после развертывания.

Обновление модели с использованием псевдонима модели

При выпуске новой версии модели администратор может захотеть обновить модель, сохранив то же название модели. В этом случае администратор может развернуть новую версию модели с отключенным маршрутом модели и переключить трафик, отредактировав существующий маршрут модели.

  1. Добавьте в GPUStack достаточно ресурсов графического процессора для новой версии модели.
  2. Разверните модель с новой версией, снимите флажок с опции Enable Model Route в панели развертывания модели.
  3. Найдите маршрут модели, ориентированный на старую версию модели, на странице Routes.
  4. Отредактируйте этот маршрут и замените цель развертыванием модели новой версии.
  5. Новые запросы к этому маршруту модели будут перенаправляться в модель новой версии.

Модель обслуживания для моделей с самостоятельным размещением и общедоступных моделей MaaS.

Когда число запросов к самостоятельно размещённой модели растёт, задержка может увеличиваться. Если ресурсов для масштабирования нет, можно подключить общедоступный сервис MaaS. Укажите в маршруте одновременно цель из развернутых моделей и цель из моделей провайдера, задайте им веса — и сервис MaaS поможет обрабатывать нагрузку текущей модели.

  1. Перейдите на страницу Providers.
  2. При необходимости добавьте поставщика и выберите модели, которые будут использоваться в поставщике.
  3. Перейдите на страницу Routes и найдите модель для редактирования.
  4. Отредактируйте модель и добавьте цели маршрута для маршрута этой модели.
  5. Обе модели из GPUStack Deployments и модели из Providers могут быть выбраны в качестве целей на одном маршруте.
  6. Вес (по умолчанию — 100) для каждой цели определяет процент трафика для этого маршрута. Например, если цель A имеет вес 100, а цель B — 200, 33% запросов будут перенаправлены к A, а 67% — к B.

Резервный вариант маршрута модели

Хотя назначение целевой модели общедоступной модели MaaS модельному маршруту является удобным подходом, оно также может повлечь за собой значительные затраты. Правила распределения трафика действуют всегда, поэтому даже если самостоятельная модель не испытывает большой нагрузки, трафик все равно будет перенаправляться в Public MaaS в соответствии с конфигурацией. В таких случаях использование функции «Модель маршрута Fallback» может быть очень эффективным.

  1. Перейдите на страницу Routes и найдите маршрут модели, для которого вы хотите установить резервный вариант.
  2. Отредактируйте этот маршрут и настройте Fallback Route Target. Как и другие цели маршрута, это может быть модель из GPUStack Deployments или из Providers.
  3. Резервная цель взаимоисключается со стратегией распределения трафика, поэтому настройка веса для неё не предусмотрена.

Прокси-служба вывода, совместимая с OpenAI, через модельный маршрут

Если работающая служба вывода (например, ollama или lm-studio) хочет использовать GPUStack для проксирования, контроля доступа и статистики использования токенов, вы можете создать поставщика модели OpenAI с собственным путем для хостинга.

  1. Перейдите на страницу Providers и нажмите кнопку Add Provider.
  2. Выберите OpenAI в качестве типа и установите Custom Base URL в форме http://<ip>:<port>/v1 для вашего сервера вывода, совместимого с OpenAI. При необходимости задайте имя, ключ API и описание.
  3. Добавьте модели для этого поставщика. Доступные модели будут перечислены для выбора, если сервер вывода поддерживает API /v1/models.
  4. Нажмите кнопку Save.
  5. Нажмите Add Route в столбце Operations для этого провайдера.
  6. Первая модель провайдера будет использоваться для предварительной настройки маршрута. При необходимости настройте конфигурацию маршрута.
  7. Нажмите кнопку Save, чтобы применить маршрут модели. Ваша модель теперь проксируется GPUStack.
  8. Разрешите доступ к этому маршруту, используя Access Setting в столбце Operations.