Интеграция с Cherry Studio

Cherry Studio интегрируется с GPUStack для использования локально размещенных LLM, эмбеддингов и возможностей переранжирования.

Развертывание моделей

1. В пользовательском интерфейсе GPUStack перейдите на страницу Deployments и нажмите Deploy Model, чтобы развернуть нужные вам модели. Вот несколько примеров моделей:

   • qwen3-instruct-2507
   • qwen2.5-vl-7b
   • bge-m3
   • bge-reranker-v2-m3

2. В разделе «Операции» модели откройте API Access Info, чтобы увидеть, как интегрироваться с этой моделью:

Создайте ключ API.

1. Перейдите на страницу Access Control > API Keys, затем нажмите New API Key.

2. Введите имя, затем нажмите Save.

3. Скопируйте ключ API и сохраните его для дальнейшего использования.

Интеграция GPUStack в Cherry Studio

1. Откройте Cherry Studio, перейдите в Settings → Model Provider, найдите GPUStack, включите его и настройте, как показано:

   • API Key: введите ключ API, который вы скопировали на предыдущих шагах.

   • API Host: Access URL на панели API Access Info.

2. В конфигурации провайдера GPUStack нажмите «Управление» и включите нужные вам модели:

3. (Необязательно) Проверьте API:

После настройки вернитесь на домашнюю страницу Cherry Studio и начните использовать свои модели.

Использование LLM

Использование мультимодальных моделей

1. Выберите мультимодальную модель:

2. Задайте мультимодальные вопросы:

Использование эмбеддингов и переранжирования для улучшения базы знаний. Вопросы и ответы.

1. Откройте страницу конфигурации Базы знаний:

2. Добавить базу знаний:

3. Добавьте контент в базу знаний (на примере «Заметок»):

4. Вернитесь на домашнюю страницу и воспользуйтесь базой знаний «Вопросы и ответы»: