Интеграция с MaxKB

MaxKB может интегрироваться с GPUStack, используя локально развернутые LLM, модели эмбеддингов и модели переранжирования для создания ИИ-помощников на основе базы знаний.

Развертывание моделей

1. В пользовательском интерфейсе GPUStack перейдите на страницу Deployments и нажмите Deploy Model, чтобы развернуть нужные вам модели. Вот несколько примеров моделей:

• qwen3.5-35b-a3b

• qwen3-embedding-4b

• qwen3-reranker-4b

2. После развертывания вы можете протестировать модель в Playground.

Получение информации о доступе к модели.

1. На боковой панели GPUStack откройте страницу Routes.

2. Нажмите меню Дополнительные действия рядом с маршрутом и выберите Информация о доступе к API.

Запишите следующую информацию:

1
2
3

Base URL
Model Name
API Key

Пример:

1
2
3
4
5
6
7
8
9

Base URL: http://your-gpustack-url/v1

Model Name:
qwen3.5-35b-a3b
qwen3-embedding-4b
qwen3-reranker-4b

API Key:
gpustack_xxxxxxxxxxxxx

Развертывание MaxKB

MaxKB можно развернуть с помощью Docker:

1
2
3
4
5
6

docker run -d \
  --name maxkb \
  --restart always \
  -p 8080:8080 \
  -v ~/.maxkb:/opt/maxkb \
  1panel/maxkb

Учетные данные по умолчанию:

1

admin / MaxKB@123..

После первого входа в систему следуйте инструкциям, чтобы изменить пароль.

Интеграция GPUStack в MaxKB

1. В пользовательском интерфейсе MaxKB перейдите к Model на верхней панели навигации.

2. Нажмите Добавить модель и настройте модель.

При настройке модели:

• Базовая модель: должно соответствовать имени модели, развернутому в GPUStack.
• URL API: http://your-gpustack-url/v1
• API Key: ключ API, созданный в GPUStack.

3. Добавьте модели эмбеддингов и переранжирования, используя тот же метод:

• qwen3-embedding-4b

• qwen3-reranker-4b

Для qwen3-reranker-4b включите Generic Proxy.

Это необходимо, поскольку MaxKB использует следующую конечную точку:

1

/v2/rerank

После настройки модели должны появиться в списке моделей.

Создайте базу знаний

1. Перейдите на страницу Знания.

2. Нажмите Создать и выберите Web Knowledge.

3. Введите URL-адрес документации или другой источник данных. MaxKB автоматически просканирует и проанализирует контент.

После завершения сканирования:

Создайте ИИ-агента.

1. Перейдите на страницу Агент.

2. Нажмите Создать, чтобы создать нового агента.

3. Настройте агент с помощью:

• Модель чата
• База знаний
• Настройки получения

4. Нажмите Опубликовать, чтобы активировать агент.

Чат с базой знаний

Откройте интерфейс чата, чтобы начать взаимодействовать с помощником.

Теперь помощник может отвечать на вопросы на основе подключенной базы знаний и моделей, развернутых в GPUStack.