Интеграция с LiteLLM

LiteLLM может интегрироваться с GPUStack для объединения локально развернутых LLM, эмбеддингов, переранжирования, функций преобразования речи в текст и преобразования текста в речь в единый OpenAI-совместимый/шлюз Anthropic API для сотрудников предприятия.

Развертывание моделей в GPUStack

1. В пользовательском интерфейсе GPUStack перейдите на страницу Deployments и нажмите Deploy Model, чтобы развернуть нужные вам модели. Вот несколько примеров моделей:

• qwen3-8b
• qwen2.5-vl-3b-instruct
• bge-m3
• bge-reranker-v2-m3

2. В разделе «Операции» модели откройте API Access Info, чтобы узнать, как интегрироваться с этой моделью.

Создайте ключ API в GPUStack.

1. Перейдите на страницу Access Control > API Keys в GPUStack, затем нажмите New API Key.

2. Введите имя, затем нажмите Save.

3. Скопируйте ключ API и сохраните его для дальнейшего использования.

Интеграция GPUStack в LiteLLM

1. Откройте интерфейс управления LiteLLM.

1

http://your-litellm-url:4000/ui

2. откройте меню модели+конечные точки -> добавить модель

3. тест в лителлме -> Песочница