Интеграция с RAGFlow
RAGFlow может интегрироваться с GPUStack для использования локально развернутых LLM, моделей зрения, эмбеддингов, переранжирования, преобразования речи в текст и текста в речь. RAGFlow сам обнаруживает модели, запущенные в GPUStack, поэтому достаточно один раз подключиться и выбрать модели для добавления.
Примечание
Для этого руководства нужна версия RAGFlow новее v1.0.0-rc3, в которой появилась карточка настройки GPUStack.
Развертывание моделей
-
В пользовательском интерфейсе GPUStack перейдите на страницу
Deploymentsи нажмитеDeploy Model, чтобы развернуть нужные модели. Оставьте параметрEnable Model Routeвключённым, поскольку RAGFlow обнаруживает только запущенные модели с маршрутом. Примеры моделей:Модель Тип в RAGFlow qwen3-4bChat qwen2.5-vl-3b-instructChat + Vision bge-m3Embedding bge-reranker-v2-m3Rerank faster-whisper-smallSpeech to text cosyvoice2-0.5bText to speech -
Дождитесь готовности реплик каждой модели:
Создание API-ключа
-
Перейдите на страницу
Access Control>API Keysи нажмитеAdd API Key. -
Введите имя и в разделе
Access Permissionsоставьте включённымModel Accessсо значениемAll models. По умолчаниюExpirationравно1 month, поэтому выберите больший срок, если RAGFlow будет использовать этот ключ постоянно. Затем нажмитеSave. -
Скопируйте API-ключ и сохраните его. Позже на странице
API Keysотображается только маскированное значение.
Интеграция GPUStack в RAGFlow
-
Откройте интерфейс RAGFlow, нажмите на аватар в правом верхнем углу, чтобы открыть
Model providers, затем выберитеGPUStackв разделеAvailable models. -
Заполните следующие поля и нажмите
Connect:- Instance name: любое имя для этого сервера GPUStack в RAGFlow, например
gpustack. - GPUStack server URL:
http://your-gpustack-url, без пути/v1. Если используется нестандартный порт, укажите его. Не используйтеlocalhost, так как он указывает на контейнер RAGFlow. Если GPUStack работает на одном хосте с RAGFlow, можно использоватьhttp://host.docker.internal:<port>. - API key: API-ключ, скопированный на предыдущих шагах.
- Instance name: любое имя для этого сервера GPUStack в RAGFlow, например
-
RAGFlow показывает запущенные модели, сгруппированные по типам, с длиной контекста. Снимите флажки с моделей, которые не нужно добавлять. GPUStack не сообщает, принимает ли модель изображения, поэтому для моделей зрения, таких как
qwen2.5-vl-3b-instruct, выберитеChat + Vision:Если подключиться не удалось, RAGFlow показывает причину под формой:
GPUStack rejected this API key.: проверьте API-ключ в разделеAccess Control>API Keys.-
Cannot reach this server from RAGFlow.: проверьте URL и порт изнутри контейнера RAGFlow. Например, выполните следующую команду в каталогеdockerRAGFlow, она должна вернуть"ok":
-
Нажмите
Add 6 modelsвнизу списка (число зависит от выбранных моделей). Добавленные модели появятся в экземпляре:Если позже вы развернёте в GPUStack другие модели, нажмите
Refreshв экземпляре, чтобы обнаружить и добавить их. -
Нажмите
Set default modelsи выберите модель для каждого типа. Каждый выбор сохраняется сразу:
Использование моделей
Теперь модели можно использовать в Dataset и Chat. Простой пример:
-
Перейдите в
Datasetи создайте набор данных. Модель эмбеддингов по умолчанию уже выбрана: -
Нажмите
Add file>Upload file, включитеParse on creation, выберите файл и нажмитеSave. Когда разбор завершится, у файла появится количество фрагментов: -
Перейдите в
Retrieval testing, установите дляRerank modelзначениеbge-reranker-v2-m3, введите вопрос и нажмитеRun: -
В
Chatсоздайте чат и откройте его. Нажмите значок настроек в правом верхнем углу, выберите набор данных вDatasets, проверьте модель чата вModelи нажмитеSave:Модель переранжирования, выбранная в
Retrieval testing, к чатам не применяется. Чтобы переранжировать результаты поиска в чате, в тех же настройках развернитеAdvanced settings>Naive, установите дляRerank modelзначениеbge-reranker-v2-m3и нажмитеSave. -
Отправьте сообщение. Теперь можно взаимодействовать с моделью и выполнять запросы к набору данных:
-
Чтобы ответы зачитывались вслух, включите
Text to speechвAdvanced settingsи нажмитеSave. Наведите указатель на ответ и нажмите значок динамика. Во время воспроизведения он сменится значком паузы: -
Для голосового ввода нажмите значок микрофона в поле сообщения, произнесите текст и нажмите значок ещё раз, чтобы остановить запись. RAGFlow преобразует запись в текст с помощью модели Speech to text по умолчанию и отправит его как ваше сообщение.
-
Чтобы обсудить изображение, в настройках чата переключите
Modelнаqwen2.5-vl-3b-instructи очиститеDatasets, чтобы в ответы не попадали ссылки на посторонние документы. НажмитеSave, начните новый диалог, прикрепите изображение с помощью значка скрепки и отправьте вопрос:











