Ana içeriğe geç

MaxKB ile entegrasyon

MaxKB, bilgiye dayalı yapay zeka asistanları oluşturmak için yerel olarak dağıtılan LLM'lerden, gömme modellerinden ve yeniden sıralama modellerinden yararlanmak için GPUStack ile entegre olabilir.

Modelleri Dağıtma

  1. GPUStack kullanıcı arayüzünde, Deployments sayfasına gidin ve ihtiyacınız olan modelleri dağıtmak için Deploy Model'e tıklayın. İşte bazı örnek modeller:
  • qwen3.5-35b-a3b

  • qwen3-embedding-4b

  • qwen3-reranker-4b

  1. Dağıtımdan sonra modeli Playground'de test edebilirsiniz.

Model Erişim Bilgilerini Alın

  1. GPUStack kenar çubuğunda Routes sayfasını açın.

  2. Rotanın yanındaki Diğer eylemler menüsüne tıklayın ve API Erişim Bilgisi'yi seçin.

Aşağıdaki bilgileri kaydedin:

1
2
3
Base URL
Model Name
API Key

Örnek:

1
2
3
4
5
6
7
8
9
Base URL: http://your-gpustack-url/v1

Model Name:
qwen3.5-35b-a3b
qwen3-embedding-4b
qwen3-reranker-4b

API Key:
gpustack_xxxxxxxxxxxxx

Not

Kullanıcı arayüzündeki talimatları izleyerek API Anahtarı oluşturabilirsiniz.

MaxKB'yi dağıtın

MaxKB, Docker kullanılarak dağıtılabilir:

1
2
3
4
5
6
docker run -d \
  --name maxkb \
  --restart always \
  -p 8080:8080 \
  -v ~/.maxkb:/opt/maxkb \
  1panel/maxkb

Varsayılan kimlik bilgileri:

1
admin / MaxKB@123..

İlk kez giriş yaptıktan sonra şifreyi değiştirmek için yönlendirmeyi takip edin.

GPUStack'i MaxKB'ye entegre etme

  1. MaxKB kullanıcı arayüzünde, üst gezinme çubuğunda Model seçeneğine gidin.

  1. Model Ekle seçeneğine tıklayın ve modeli yapılandırın.

Modeli yapılandırırken:

  • Temel Model: GPUStack'te dağıtılan model adıyla eşleşmelidir.
  • API URL'si: http://your-gpustack-url/v1
  • API Key: GPUStack'ta oluşturulan API anahtarı.

Not

API URL ve API Key alanları, Base Model değerini girip Enter tuşuna bastıktan sonra görünür.

  1. Aynı yöntemi kullanarak gömme ve yeniden sıralama modellerini ekleyin:
  • qwen3-embedding-4b

  • qwen3-reranker-4b

qwen3-reranker-4b için Generic Proxy'i etkinleştirin.

MaxKB aşağıdaki uç noktayı kullandığından bu gereklidir:

1
/v2/rerank

Yapılandırma sonrasında modeller model listesinde görünmelidir.

Bilgi Tabanı Oluşturun

  1. Bilgi sayfasına gidin.

  2. Oluştur'e tıklayın ve Web Bilgisi'yi seçin.

  1. Bir dokümantasyon URL'si veya başka bir veri kaynağı girin. MaxKB, içeriği otomatik olarak tarayacak ve ayrıştıracaktır.

Tarama tamamlandıktan sonra:

Bir AI Aracısı Oluşturun

  1. Acente sayfasına gidin.

  2. Yeni bir temsilci oluşturmak için Oluştur'e tıklayın.

  1. Aracıyı şununla yapılandırın:
  • Sohbet modeli
  • Bilgi tabanı
  • Alma ayarları
  1. Aracıyı etkinleştirmek için Yayınla'e tıklayın.

Bilgi Bankasıyla Sohbet Edin

Asistanla etkileşime geçmek için sohbet arayüzünü açın.

Asistan artık bağlı bilgi tabanına ve GPUStack'te dağıtılan modellere dayalı olarak soruları yanıtlayabilir.