Mimari

Aşağıdaki şema GPUStack mimarisinin üst düzey görünümünü sağlar.

Aşağıdaki diyagram dahili bileşenleri ve bunların etkileşimlerini detaylandırmaktadır.

Sunucu

GPUStack sunucusu aşağıdaki bileşenlerden oluşur:

• API Sunucusu: İstemcilerin sistemle etkileşime girmesi için RESTful bir arayüz sağlar. Kimlik doğrulama ve yetkilendirme işlemlerini gerçekleştirir.
• Zamanlayıcı: Model örneklerini çalışanlara atamaktan sorumludur.
• Kontrolörler: Sistemdeki kaynakların durumunu yönetir. Örneğin, istenen sayıda kopyayla eşleşecek şekilde model örneklerinin kullanıma sunulmasını ve ölçeklendirilmesini yönetiyorlar.

İşçi

GPUStack çalışanı aşağıdaki bileşenlerden oluşur:

• GPUStack Çalışma Zamanı: GPU cihazlarını algılar ve model örneklerini dağıtmak için konteyner çalışma zamanı ile etkileşime girer.
• Serving Manager: Çalışandaki model örneklerinin yaşam döngüsünü yönetir.
• Metrik Aktarıcı: Model örnekleri ve performanslarıyla ilgili metrikleri dışa aktarır.

Yapay Zeka Ağ Geçidi

AI Ağ Geçidi, istemcilerden gelen API isteklerini yönetir. Talepleri, talep edilen modele göre uygun model örneklerine yönlendirir. GPUStack, API yönlendirme ve yük dengeleme için Higress'i kullanır.

SQL Veritabanı

GPUStack sunucusu veri deposu olarak bir SQL veritabanına bağlanır. GPUStack varsayılan olarak Gömülü PostgreSQL kullanır, ancak bunu harici bir veritabanı kullanacak şekilde de yapılandırabilirsiniz. Uyumlu veritabanlarının ve doğrulanmış sürümlerin listesi için Veritabanı Gereksinimleri'e bakın.

Çıkarım Sunucusu

Çıkarım sunucuları, çıkarım görevlerini gerçekleştiren arka uçlardır. GPUStack, yerleşik çıkarım sunucusu olarak vLLM, SGLang, Ascend MindIE ve VoxBox'yi destekler. Ayrıca özel çıkarım arka uçları da ekleyebilirsiniz.

Ray

Ray, GPUStack'in dağıtılmış vLLM'yi çalıştırmak için kullandığı dağıtılmış bir bilgi işlem çerçevesidir. GPUStack, birden fazla çalışan arasında dağıtılmış vLLM'yi çalıştırmak için isteğe bağlı olarak Ray kümesini önyükler.