CPU'larda Çıkarım Çalıştırmak
GPUStack, CPU üzerinde çıkarımı destekler. GPU kaynakları sınırlı olduğunda veya model boyutu ayrılabilir GPU belleğini aştığında bu esneklik sağlar. Şu CPU çıkarım modları kullanılabilir:
- Hibrit CPU+GPU Çıkarımı: VRAM kapasitesi yetersiz olduğunda büyük modellerin bazı kısımlarını CPU'ya aktararak kısmi hızlandırmayı etkinleştirir.
- Tam CPU Çıkarımı: Hiçbir GPU kaynağı olmadığında tamamen CPU üzerinde çalışır.
Not
Yalnızca özel arka uçlar için kullanılabilir.
CPU boşaltma etkinleştirildiğinde, GPU kaynakları yetersizse GPUStack CPU belleğini tahsis edecektir. Çıkarım arka ucunu hibrit CPU+GPU veya tam CPU çıkarımını kullanacak şekilde doğru şekilde yapılandırmanız gerekir.
CPU çıkarımının yalnızca CPU çalışanları üzerinde kullanılması şiddetle tavsiye edilir.
Örneğin, Metin Gömme Çıkarımı ile CPU çıkarımına sahip bir modeli dağıtmak için aşağıdaki yapılandırmayı izleyin:
Kaynak: HuggingFace
Repo Kimliği: BAAI/bge-large-en-v1.5
Arka uç: Custom
İmaj Adı: ghcr.io/huggingface/text-embeddings-inference:cpu-1.8
Yürütme Komutu: --model-id BAAI/bge-large-en-v1.5 --huggingface-hub-cache /var/lib/gpustack/cache/huggingface --port {{port}}
Not
TEI (Text Embeddings Inference) yalnızca HuggingFace'den itibaren modellerin dağıtılmasını destekler.
ghcr.io/huggingface/text-embeddings-inference:cpu-1.8 TEI için CPU çıkarım imajıdır. Bakınız: TEI Destekli Donanım.
--huggingface-hub-cache /var/lib/gpustack/cache/huggingface TEI için HuggingFace Hub önbelleğinin konumunu GPUStack'in indirilen HuggingFace modellerini depoladığı yola ayarlar. Varsayılan yol /var/lib/gpustack/cache/huggingface'dir. Bakınız: TEI CLI Argümanları.
{{port}} GPUStack tarafından otomatik olarak atanan bağlantı noktasını temsil eden bir yer tutucudur.
Ve Gelişmiş Ayarlar'da Allow CPU Offloading'ı kontrol edin:
OpenAI uyumlu olmayan API'lere erişmeniz gerekiyorsa Enable Generic Proxy'ı da işaretleyebilirsiniz.
Daha fazla ayrıntı için bkz. Genel Proxy'yi Etkinleştirme.