Перейти к содержанию

Управление поставщиком моделей

GPUStack использует возможности Higress для обеспечения публичной интеграции MaaS. На странице Model - Provider вы можете управлять интеграцией сервисов общедоступных моделей.

В настоящее время поддерживаются следующие поставщики:

  • AI360
  • Microsoft Azure
  • Baichuan Intelligent Technology
  • Baidu AI Cloud
  • Amazon Bedrock
  • Anthropic Claude
  • Cloudflare AI
  • Cohere
  • Coze
  • DeepL
  • DeepSeek
  • Dify
  • Doubao
  • Fireworks AI
  • Galadriel
  • Google Gemini
  • Generic Provider
  • GitHub Copilot
  • xAI Grok
  • Groq
  • Tencent Hunyuan
  • LongCat AI
  • MiniMax
  • Mistral AI
  • Moonshot AI
  • Ollama
  • OpenAI
  • OpenRouter
  • Alibaba Qwen
  • iFLYTEK SparkDesk
  • StepFun
  • Together AI
  • NVIDIA Triton Inference Server
  • 01 AI
  • Zhipu AI

Создать поставщика

  1. Перейти на страницу Providers.
  2. Нажмите Add Provider.
  3. Заполните необходимые параметры, например Name, Type, API Key.
  4. Нажмите Add Model, чтобы настроить хотя бы одну модель для этого поставщика.
  5. Нажмите кнопку Save.

Использование конечной точки, совместимой с Anthropic

Провайдер Anthropic Claude по умолчанию обращается к api.anthropic.com. Чтобы использовать собственный или проксируемый сервис с тем же API, задайте в claudeCustomUrl абсолютный URL http(s) с портом и префиксом пути, например http://192.168.50.14:8080 или https://gateway.example.com/anthropic.

Указывайте адрес сервиса и префикс, под которым он размещён, а не полный базовый путь API: пути Anthropic добавляются автоматически. Поэтому claudeCustomUrl не должен оканчиваться на /v1, хотя в документации большинства совместимых сервисов этот суффикс входит в базовый URL. При http://192.168.50.14:8080/v1 GPUStack обратится к /v1/v1/models и /v1/v1/messages: обычно Test Model завершается ошибкой, хотя сам инференс достигает сервиса. У openaiCustomUrl правило обратное: это полный базовый путь API с /v1. Учётные данные, строка запроса и фрагмент в URL не допускаются; API-ключ указывается в отдельном поле провайдера.

По умолчанию такой провайдер всё равно доступен через API OpenAI: на пути к сервису запросы преобразуются в протокол Anthropic, а ответы преобразуются обратно. Чтобы передавать их без изменений, добавьте protocol: original в конфигурацию провайдера. Сквозная передача сохраняет возможности, которых нет в схеме OpenAI: кэширование промптов, блоки рассуждений и вызовов инструментов. Однако провайдер в этом случае обслуживает только протокол Anthropic: запросы OpenAI к /v1/chat/completions больше не преобразуются. Используйте пути Anthropic (/v1/messages).

Использование моделей Qwen через провайдер

Провайдер Alibaba Qwen по умолчанию обращается к dashscope.aliyuncs.com и предоставляет:

  • LLM — /v1/chat/completions
  • Embedding — /v1/embeddings
  • Rerank — /v1/rerank
  • Генерация изображений — /v1/images/generations (например, модели qwen-image)

Генерация изображений — единственное исключение на домене по умолчанию: DashScope обслуживает этот API только на доменах рабочих пространств maas.aliyuncs.com, а dashscope.aliyuncs.com отвечает на него 404. Чтобы использовать модели изображений, задайте в qwenDomain домен своего рабочего пространства (его можно посмотреть на странице рабочего пространства DashScope, то есть Bailian); остальные категории продолжают работать через тот же вход. Самостоятельно размещённый или проксируемый Qwen-совместимый сервис настраивается так же.

qwenDomain принимает имя хоста и порт, если он не 443, например maas.aliyuncs.com: значение становится одновременно адресом, к которому подключается GPUStack, и заголовком Host, отправляемым upstream. Схема всегда https.

Ответы генерации изображений содержат data[].url — подписанную ссылку OSS, действительную 24 часа, — а не встроенный base64, поэтому скачайте или перенесите изображение в этом окне. Объект usage специфичен для DashScope (width, height, image_count), а не является токен-использованием OpenAI.

Добавить маршрут для провайдера

  1. Перейти на страницу Providers.
  2. Найдите Провайдера, для которого вы хотите создать маршрут.
  3. Нажмите Add Route в Operations этого провайдера.
  4. При необходимости измените маршрут Name и Route Targets для провайдера.
  5. Нажмите кнопку Save.

Редактировать поставщика

  1. Перейти на страницу Providers.
  2. Найдите поставщика, которого хотите изменить.
  3. При необходимости измените имя, тип и атрибуты ключа API. При необходимости добавляйте/удаляйте модели из списка моделей.
  4. Нажмите кнопку Save.

Удалить поставщика

  1. Перейти на страницу Providers.
  2. Найдите поставщика, которого хотите удалить.
  3. Нажмите кнопку Delete в столбце Operations.
  4. Подтвердите удаление.