RAGFlow ile entegrasyon
RAGFlow, yerel olarak dağıtılan LLM'lerden, görsel modellerden, gömme modellerinden, yeniden sıralamadan, Konuşmadan Metne ve Metinden Konuşmaya yeteneklerinden yararlanmak için GPUStack ile entegre olabilir. RAGFlow, GPUStack'te çalışan modelleri kendisi bulur; bir kez bağlanıp eklenecek modelleri seçmeniz yeterlidir.
Not
Bu kılavuz, GPUStack kurulum kartını ekleyen ve v1.0.0-rc3'ten sonra gelen bir RAGFlow sürümü gerektirir.
Modelleri Dağıtma
-
GPUStack kullanıcı arayüzünde
Deploymentssayfasına gidin ve ihtiyacınız olan modelleri dağıtmak içinDeploy Modeldüğmesine tıklayın. RAGFlow yalnızca çalışan ve rotası olan modelleri bulduğundanEnable Model Routeseçeneğini açık bırakın. Örnek modeller:Model RAGFlow'daki türü qwen3-4bChat qwen2.5-vl-3b-instructChat + Vision bge-m3Embedding bge-reranker-v2-m3Rerank faster-whisper-smallSpeech to text cosyvoice2-0.5bText to speech -
Her modelin replikaları hazır olana kadar bekleyin:
API Anahtarı Oluşturma
-
Access Control>API Keyssayfasına gidin, ardındanAdd API Keydüğmesine tıklayın. -
Adı girin ve
Access PermissionsaltındaModel Accessseçili kalacak şekildeAll modelsseçeneğini koruyun. VarsayılanExpirationdeğeri1 montholduğundan, RAGFlow bu anahtarı kullanmaya devam edecekse daha uzun bir süre seçin. ArdındanSavedüğmesine tıklayın. -
API anahtarını kopyalayın ve daha sonra kullanmak üzere saklayın. Bundan sonra
API Keyssayfası yalnızca maskelenmiş değeri gösterir.
GPUStack'i RAGFlow'a Entegre Etme
-
RAGFlow arayüzünü açın,
Model providerssayfasını açmak için sağ üst köşedeki avatara tıklayın, ardındanAvailable modelsaltındanGPUStackseçeneğini seçin. -
Aşağıdaki alanları doldurun, ardından
Connectdüğmesine tıklayın:- Instance name: Bu GPUStack sunucusunu RAGFlow'da tanımlayan herhangi bir ad, örneğin
gpustack. - GPUStack server URL:
/v1yolu olmadanhttp://your-gpustack-url. Özel bir bağlantı noktası kullanıyorsanız ekleyin.localhostRAGFlow kapsayıcısını gösterdiği için kullanmayın. GPUStack, RAGFlow ile aynı ana makinede çalışıyorsahttp://host.docker.internal:<port>kullanabilirsiniz. - API key: Önceki adımlarda kopyaladığınız API anahtarı.
- Instance name: Bu GPUStack sunucusunu RAGFlow'da tanımlayan herhangi bir ad, örneğin
-
RAGFlow çalışan modelleri türe göre gruplandırarak bağlam uzunluklarıyla birlikte listeler. Eklemek istemediğiniz modellerin onay kutusunu temizleyin. GPUStack bir modelin görüntü kabul edip etmediğini bildirmediğinden,
qwen2.5-vl-3b-instructgibi görsel modelleriChat + Visionolarak ayarlayın:Bağlantı başarısız olursa RAGFlow nedeni formun altında gösterir:
GPUStack rejected this API key.: API anahtarınıAccess Control>API Keysaltında kontrol edin.-
Cannot reach this server from RAGFlow.: URL ve bağlantı noktasını RAGFlow kapsayıcısının içinden kontrol edin. Örneğin, RAGFlowdockerdizininde aşağıdaki komutu çalıştırın;"ok"döndürmelidir:
-
Listenin altındaki
Add 6 modelsdüğmesine tıklayın (sayı, seçiminize göre değişir). Eklenen modeller örnekte görünür:Daha sonra GPUStack'te başka modeller dağıtırsanız, bunları bulup eklemek için örnekteki
Refreshdüğmesine tıklayın. -
Set default modelsdüğmesine tıklayın ve her tür için bir model seçin. Her seçim hemen kaydedilir:
Modelleri Kullanma
Artık modelleri Dataset ve Chat içinde kullanabilirsiniz. Basit bir örnek:
-
Datasetbölümüne gidin ve bir veri kümesi oluşturun. Varsayılan gömme modeli zaten seçilidir: -
Add file>Upload filedüğmesine tıklayın,Parse on creationseçeneğini açın, dosyanızı seçin veSavedüğmesine tıklayın. Ayrıştırma bittiğinde dosya, parça sayısını gösterir: -
Retrieval testingbölümüne gidin,Rerank modeldeğerinibge-reranker-v2-m3olarak ayarlayın, bir soru girin veRundüğmesine tıklayın: -
Chatiçinde bir sohbet oluşturup açın. Sağ üst köşedeki ayarlar simgesine tıklayın,Datasetsaltından veri kümesini seçin,Modelaltındaki sohbet modelini kontrol edin veSavedüğmesine tıklayın:Retrieval testingbölümünde seçilen yeniden sıralama modeli sohbetlere uygulanmaz. Bir sohbetin aramasını yeniden sıralamak için aynı ayarlardaAdvanced settings>Naivebölümünü genişletin,Rerank modeldeğerinibge-reranker-v2-m3olarak ayarlayın veSavedüğmesine tıklayın. -
Bir mesaj gönderin. Artık modelle etkileşime geçebilir ve veri kümesini sorgulayabilirsiniz:
-
Yanıtların sesli okunması için
Advanced settingsaltındaText to speechseçeneğini açın veSavedüğmesine tıklayın. Bir yanıtın üzerine gelin ve hoparlör simgesine tıklayın; ses çalarken simge duraklatma simgesine dönüşür: -
Sesli giriş için mesaj kutusundaki mikrofon simgesine tıklayın, konuşun ve durdurmak için simgeye yeniden tıklayın. RAGFlow kaydı varsayılan Speech to text modeliyle metne dönüştürür ve mesajınız olarak gönderir.
-
Bir görüntü hakkında sohbet etmek için sohbet ayarlarında
Modeldeğeriniqwen2.5-vl-3b-instructolarak değiştirin ve yanıtlara ilgisiz belgelerden alıntılar karışmaması içinDatasetsalanını temizleyin.Savedüğmesine tıklayın, yeni bir konuşma başlatın, ataş simgesiyle bir görüntü ekleyin ve sorunuzu gönderin:











