API вывода
API-интерфейсы, совместимые с OpenAI
GPUStack предоставляет OpenAI-совместимые API в конечной точке /v1.
Вы можете интегрировать и использовать модели, развернутые на GPUStack, с любым приложением или платформой, поддерживающей OpenAI-совместимый API, просто указав его на OpenAI-совместимую конечную точку GPUStack.
Поддерживаемые конечные точки
Поддерживаются следующие конечные точки API:
- Список моделей
- Создать завершение
- Завершение создания чата
- Создать ответ
- Создать эмбеддинги
- Создать изображение
- Создать редактирование изображения
- Создать речь
- Создать транскрипцию
Использование
Пример cURL
API, совместимые с Anthropic
GPUStack предоставляет Anthropic-совместимый API /v1/messages API.
Использование
Jina-совместимый API реранга
В контексте поисково-дополненной генерации (RAG) под реранжированием понимается процесс выбора наиболее актуальной информации из извлеченных документов или источников знаний перед ее представлением пользователю или использованием для генерации ответов.
Обратите внимание, что OpenAI-совместимые API не предоставляют конечную точку rerank. Чтобы восполнить этот пробел, GPUStack предоставляет Jina-совместимый API Rerank по пути /v1/rerank.
Использование
Пример cURL
Пример вывода:
System One API принятия решений
Модели принятия решений — развертывания в категории decision — отвечают по контракту System One (Jev), а не генерируют текст: получив state и набор questions, они возвращают типизированные ответы, а не дополнения. GPUStack предоставляет этот контракт по пути /v1/systemone.
Поле model обязательно и принимает имя маршрута модели, точно как в /v1/chat/completions. GPUStack разрешает модель и передает остальную часть тела запроса и весь ответ движку решений без изменений.
Использование
Пример cURL
Пример вывода:
state — ситуация, относительно которой принимается решение: простой текст или структурированный JSON, например сообщения чата. Каждая запись в questions сопоставляет идентификатор вопроса с его определением; распространены три типа:
| Тип | Значение | criteria | Поле ответа |
|---|---|---|---|
choice | Выбрать один вариант | Имя варианта → описание | choice — имя выбранного варианта |
score | Оценить state по упорядоченным уровням | Упорядоченный список описаний уровней | score — индекс уровня |
noul | Бинарный вопрос (да/нет) | Необязательные описания сторон true / false | noul — логическое значение |
Ответ на вопрос возвращается в answers под тем же идентификатором, вместе с вердиктом несутся confidence и probabilities. Набор вопросов в контракте открыт — движки могут принимать дополнительные поля — а GPUStack проверяет только model, остальное пересылает без изменений. О развертывании моделей принятия решений см. Использование моделей принятия решений.
Другие API
Для других типов API GPUStack позволяет включить функцию Generic Proxy при развертывании модели.
После включения существует два способа обращения к целевой модели:
Форма на основе пути (рекомендуется) — закодируйте идентификатор маршрута модели непосредственно в URL-адресе как /model/proxy/<model_route_id>/<upstream-path>. Дополнительный заголовок не требуется:
Форма на основе заголовка (устарела) — отправьте на /model/proxy/<upstream-path> и укажите целевую модель через заголовок X-GPUStack-Model или поле model в теле JSON:
Форма на основе заголовка сохранена для обратной совместимости и будет удалена в будущем выпуске; новые интеграции должны использовать форму на основе пути.
Более подробную информацию см. в разделе Включить универсальный прокси.