Интеграция с Dify

Dify может интегрироваться с GPUStack для использования локально развернутых LLM, эмбеддингов, переранжирования, генерации изображений, возможностей преобразования речи в текст и текста в речь.

Развертывание моделей

1. В пользовательском интерфейсе GPUStack перейдите на страницу Deployments и нажмите Deploy Model, чтобы развернуть нужные вам модели. Вот несколько примеров моделей:

• qwen3-8b
• qwen2.5-vl-3b-instruct
• bge-m3
• bge-reranker-v2-m3

2. В разделе «Операции» модели откройте API Access Info, чтобы узнать, как интегрироваться с этой моделью.

Создайте ключ API.

1. Перейдите на страницу Access Control > API Keys, затем нажмите New API Key.

2. Введите имя, затем нажмите Save.

3. Скопируйте ключ API и сохраните его для дальнейшего использования.

Интеграция GPUStack в Dify

1. Откройте пользовательский интерфейс Dify, перейдите в верхний правый угол и нажмите PLUGINS, выберите Install from Marketplace, найдите плагин GPUStack и выберите его установку.

2. После установки перейдите к Settings > Model Provider > GPUStack, затем выберите Add Model и заполните:

• Тип модели: выберите тип модели на основе модели.

• Имя модели: имя должно соответствовать названию модели, развернутой в GPUStack.

• URL-адрес сервера: http://your-gpustack-url, не используйте localhost, так как он относится к внутренней сети контейнера. Если вы используете собственный порт, обязательно включите его. Также убедитесь, что URL-адрес доступен изнутри контейнера Dify (вы можете проверить это с помощью curl).

• Ключ API: введите ключ API, который вы скопировали на предыдущих шагах.

Нажмите Save, чтобы добавить модель:

При необходимости добавьте другие модели, затем выберите добавленные модели в поле System Model Settings и сохраните:

Теперь вы можете использовать модели Studio и Knowledge, вот простой случай:

1. Перейдите к Knowledge, чтобы создать знания, и загрузите свои документы:

2. Настройте разбиение на фрагменты и параметры поиска. Используйте модель эмбеддингов для создания векторных представлений документов, а модель переранжирования — для ранжирования результатов поиска.

3. После успешного импорта документов создайте приложение в Studio, добавьте ранее созданные знания, выберите модель чата и взаимодействуйте с ним:

4. Переключите модель на qwen2.5-vl-3b-instruct, удалите ранее добавленную базу знаний, включите Vision и загрузите изображение в чат для активации мультимодального ввода: