Интеграция с NewAPI

NewAPI может интегрироваться с GPUStack, объединяя локально развернутые LLM, модели эмбеддингов и переранжирования, а также преобразование речи в текст и текста в речь в единый API-шлюз, совместимый с OpenAI, для сотрудников организации.

Развертывание моделей в GPUStack

1. В пользовательском интерфейсе GPUStack перейдите на страницу Deployments и нажмите Deploy Model, чтобы развернуть нужные вам модели. Вот несколько примеров моделей:

• qwen3-8b
• qwen2.5-vl-3b-instruct
• bge-m3
• bge-reranker-v2-m3

2. В разделе «Операции» модели откройте API Access Info, чтобы узнать, как интегрироваться с этой моделью.

Создайте ключ API в GPUStack.

1. Перейдите на страницу Access Control > API Keys в GPUStack, затем нажмите New API Key.

2. Введите имя, затем нажмите Save.

3. Скопируйте ключ API и сохраните его для дальнейшего использования.

Интеграция GPUStack в NewAPI.

1. Откройте консоль управления NewAPI, перейдите к Channels на левой боковой панели и нажмите Add Channel.

2. Настройте параметры канала следующим образом:

• Тип: выберите OpenAI или Custom (GPUStack предоставляет стандартные OpenAI-совместимые и конечные точки Anthropic).

• Имя: введите имя канала, часто такое же, как и идентификатор модели, например, qwen3-8b.

• Базовый URL-адрес (Базовый URL-адрес): http://your-gpustack-url, URL-адрес должен указывать на URL-адрес доступа к GPUStack или имя домена, как OpenAI-совместимое, так и Anthropic (удалите v1, потому что newapi добавит его автоматически). Не используйте localhost, если NewAPI работает в контейнере Docker, поскольку он относится к внутренней сети контейнера. также можно использовать https, если сервер gpustack запускается с tls

• Ключ (密钥): введите ключ API GPUStack, который вы скопировали на предыдущем шаге.

• Модели (模型): введите или выберите точные имена моделей, развернутых в GPUStack (например, qwen3-8b, bge-m3, bge-reranker-v2-m3). Убедитесь, что имена моделей соответствуют именам развертывания GPUStack.

3. Настройка цен на модели.

4. Вы можете нажать Test в списке каналов, чтобы проверить соединение между NewAPI и GPUStack.

Проверка и использование интегрированных моделей в NewAPI

1. Перейдите на страницу api keys в NewAPI, нажмите create api key.

• примечание: ключ API должен выбирать группу, аналогичную группе конфигурации каналов, иначе вы не сможете получить доступ к модели.

2. Скопируйте вновь созданный ключ NewAPI (начинается с sk-).

3. Теперь вы можете получить доступ ко всем моделям, поддерживаемым GPUStack, через единую конечную точку NewAPI:

• Единый базовый URL: http://your-newapi-url/v1
• Единый ключ API: sk-xxxxxx (Ваш новый ключ API)

Пример запроса с использованием curl:

1
2
3
4
5
6
7

curl http://your-newapi-url/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-your-newapi-token" \
  -d '{
    "model": "qwen3-8b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'