与 MaxKB 集成

MaxKB 可接入 GPUStack，使用本地部署的 LLM、向量嵌入模型和重排序模型构建基于知识库的 AI 助手。

部署模型

1. 在 GPUStack 界面中打开 Deployments 页面，点击 Deploy Model 部署所需模型，例如：

• qwen3.5-35b-a3b

• qwen3-embedding-4b

• qwen3-reranker-4b

2. 部署后，可在 Playground 中测试模型。

获取模型访问信息

1. 在 GPUStack 侧边栏打开 Routes 页面。
2. 点击路由旁的 More actions menu，选择 API Access Info。

记录以下信息：

1
2
3

Base URL
Model Name
API Key

示例：

1
2
3
4
5
6
7
8
9

Base URL: http://your-gpustack-url/v1

Model Name:
qwen3.5-35b-a3b
qwen3-embedding-4b
qwen3-reranker-4b

API Key:
gpustack_xxxxxxxxxxxxx

部署 MaxKB

可以使用 Docker 部署 MaxKB：

1
2
3
4
5
6

docker run -d \
  --name maxkb \
  --restart always \
  -p 8080:8080 \
  -v ~/.maxkb:/opt/maxkb \
  1panel/maxkb

默认凭据：

1

admin / MaxKB@123..

首次登录后，请按照提示修改密码。

在 MaxKB 中接入 GPUStack

1. 在 MaxKB 顶部导航栏打开 Model。

2. 点击 Add Model，配置模型。

模型配置如下：

• Base Model：必须与 GPUStack 中部署的模型名称一致。
• API URL：http://your-gpustack-url/v1
• API Key：在 GPUStack 中创建的 API 密钥。

3. 使用同样的方法添加向量嵌入模型和重排序模型：

• qwen3-embedding-4b

• qwen3-reranker-4b

对 qwen3-reranker-4b 启用 Generic Proxy。

这是因为 MaxKB 使用以下端点：

1

/v2/rerank

配置完成后，模型应出现在模型列表中。

创建知识库

1. 打开 Knowledge 页面。
2. 点击 Create，选择 Web Knowledge。

3. 输入文档 URL 或其他数据源，MaxKB 会自动抓取并解析内容。

抓取完成后：

创建 AI 智能体

1. 打开 Agent 页面。
2. 点击 Create，创建新智能体。

3. 为智能体配置：

• 对话模型
• 知识库
• 检索设置

4. 点击 Publish 发布并启用智能体。

与知识库对话

打开聊天界面，开始与助手交互。

助手现在可以根据接入的知识库和 GPUStack 上部署的模型回答问题。